PRML演習問題 1.6(基本)

問題

$2$ つの変数 $x,y$ が独立なら、それらの共分散は $0$ になることを示せ。

参照

$\begin{eqnarray} {\rm cov}[x,y]&=&{\mathbb E}_{x,y}[(x-{\mathbb E}[x])(y-{\mathbb E}[y])]\\ &=&{\mathbb E}_{x,y}[xy]-{\mathbb E}[x]{\mathbb E}[y]\tag{1.41} \end{eqnarray}$

解答

題意を示すには、 ${\rm cov}[x,y]=0$ を示せばよいです。
${\mathbb E}_{x,y}[xy]$ を計算します。わかりやすくするため、 ${\mathbb E}_{p(x,y)}[ \cdot ]$ の表記を用いることにします。

$\begin{eqnarray} {\mathbb E}_{x,y}[xy]&=&{\mathbb E}_{p(x,y)}[xy]\\ &=&{\mathbb E}_{p(x)p(y)}[xy]\tag{1}\\ &=&\iint xyp(x)p(y){\rm d}x{\rm d}y\\ &=&\left(\int xp(x){\rm d}x\right)\cdot\left(\int yp(y){\rm d}y\right)\\ &=&{\mathbb E}_{p(x)}[x]{\mathbb E}_{p(y)}[y]\\ &=&{\mathbb E}[x]{\mathbb E}[y]\tag{2} \end{eqnarray}$