PRML演習問題 1.12(標準) www - 機械学習基礎理論独習

問題

$(1.49)$ と $(1.50)$ を使って

$\begin{eqnarray} {\mathbb E}[x_nx_m]=\mu^2+I_{nm}\sigma^2\tag{1.130} \end{eqnarray}$

を示せ。
ただし、 $x_n$ と $x_m$ は平均 $\mu$ 、分散 $\sigma^2$ のガウス分布から生成されたデータ点を表し、
$I_{nm}$ は $n=m$ のとき $I_{nm}=1$ でそれ以外は $I_{mn}=0$ であるとする。
これから $(1.57)$ と $(1.58)$ を証明せよ。

参照

$\begin{eqnarray} {\mathbb E}[x]=\int_{-\infty}^\infty{\mathcal N}(x|\mu,\sigma^2)x{\rm d}x=\mu\tag{1.49} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[x^2]=\int_{-\infty}^\infty{\mathcal N}(x|\mu,\sigma^2)x^2{\rm d}x=\mu^2+\sigma^2\tag{1.50} \end{eqnarray}$

$\begin{eqnarray} \mu_{ML}=\frac{1}{N}\sum_{n=1}^Nx_n\tag{1.55} \end{eqnarray}$

$\begin{eqnarray} \sigma_{ML}^2=\frac{1}{N}\sum_{n=1}^N(x_n-\mu_{ML})^2\tag{1.56} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\mu_{ML}]=\mu\tag{1.57} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\sigma_{ML}^2]=\left(\frac{N-1}{N}\right)\sigma^2\tag{1.58} \end{eqnarray}$

解答

$x_n$ と $x_m$ の同時分布は、以下の式で表せます。

$\begin{eqnarray} p(x_n,x_m|\mu,\sigma^2)={\mathcal N}(x_n|\mu,\sigma^2)\cdot{\mathcal N}(x_m|\mu,\sigma^2)\tag{1} \end{eqnarray}$

${\mathbb E}[x_nx_m]$ を計算します。

$\begin{eqnarray} {\mathbb E}[x_nx_m]&=&\iint x_nx_mp(x_n,x_m|\mu,\sigma^2){\rm d}x_n{\rm d}x_m\\ &=&\iint x_nx_m{\mathcal N}(x_n|\mu,\sigma^2)\cdot{\mathcal N}(x_m|\mu,\sigma^2){\rm d}x_n{\rm d}x_m\\ &=&\left(\int x_n{\mathcal N}(x_n|\mu,\sigma^2){\rm d}x_n\right)\cdot\left(\int x_m{\mathcal N}(x_m|\mu,\sigma^2){\rm d}x_m\right)\\ &=&\mu\cdot\mu\\ &=&\mu^2\tag{2} \end{eqnarray}$

$n=m$ のとき、式 $(1.50)$ が成り立つので、式 $(2)$ と式 $(1.50)$ をまとめて書くと、以下のようになります。

$\begin{eqnarray} {\mathbb E}[x_nx_m]=\mu^2+I_{nm}\sigma^2\tag{3} \end{eqnarray}$

式 $(3)$ より、式 $(1.130)$ が示せました。

${\mathbb E}[\mu_{ML}]$ を計算します。

$\begin{eqnarray} {\mathbb E}[\mu_{ML}]&=&{\mathbb E}\left[\frac{1}{N}\sum_{n=1}^Nx_n\right]\\ &=&\frac{1}{N}\sum_{n=1}^N{\mathbb E}\left[x_n\right]\\ &=&\frac{1}{N}\sum_{n=1}^N\mu\\ &=&\frac{1}{N}N\mu\\ &=&\mu\tag{4} \end{eqnarray}$

式 $(4)$ より、式 $(1.57)$ が示せました。

${\mathbb E}[\sigma_{ML}^2]$ を計算します。

$\begin{eqnarray} {\mathbb E}[\sigma_{ML}^2]&=&{\mathbb E}\left[\frac{1}{N}\sum_{n=1}^N(x_n-\mu_{ML})^2\right]\\ &=&{\mathbb E}\left[\frac{1}{N}\sum_{n=1}^N\left(x_n-\frac{1}{N}\sum_{m=1}^Nx_m\right)^2\right]\\ &=&{\mathbb E}\left[\frac{1}{N}\sum_{n=1}^N\left(x_n^2-2x_n\left(\frac{1}{N}\sum_{m=1}^Nx_m\right)+\left(\frac{1}{N}\sum_{m=1}^Nx_m\right)^2\right)\right]\\ &=&\frac{1}{N}\sum_{n=1}^N\left({\mathbb E}[x_n^2]-\frac{2}{N}{\mathbb E}\left[x_n\sum_{m=1}^Nx_m\right]+\frac{1}{N^2}{\mathbb E}\left[\left(\sum_{m=1}^Nx_m\right)^2\right]\right)\tag{5} \end{eqnarray}$

式 $(5)$ の ${\mathbb E}\left[x_n\displaystyle\sum_{m=1}^Nx_m\right]$ を計算します。

$\begin{eqnarray} {\mathbb E}\left[x_n\sum_{m=1}^Nx_m\right]&=&{\mathbb E}\left[x_n\left(x_n + \sum_{m=1,m\not=n}^Nx_m\right)\right]\\ &=&{\mathbb E}\left[x_n^2 + x_n\sum_{m=1,m\not=n}^Nx_m\right]\\ &=&{\mathbb E}[x_n^2]+\sum_{m=1,m\not=n}^N{\mathbb E}[x_nx_m]\\ &=&\mu^2+\sigma^2+\sum_{m=1,m\not=n}^N\mu^2\\ &=&\mu^2+\sigma^2+(N-1)\mu^2\\ &=&N\mu^2+\sigma^2\tag{6} \end{eqnarray}$

式 $(5)$ の ${\mathbb E}\left[\left(\displaystyle\sum_{m=1}^Nx_m\right)^2\right]$ を計算します。

$\begin{eqnarray} {\mathbb E}\left[\left(\sum_{m=1}^Nx_m\right)^2\right]&=&{\mathbb E}\left[\left(\sum_{m=1}^Nx_m\right)\left(\sum_{n=1}^Nx_n\right)\right]\\ &=&{\mathbb E}\left[\left(\sum_{m=1}^Nx_m\right)\left(x_m+\sum_{n=1,n\not=m}^Nx_n\right)\right]\\ &=&{\mathbb E}\left[\sum_{m=1}^Nx_m^2+\sum_{m=1}^N\sum_{n=1,n\not=m}^Nx_mx_n\right]\\ &=&\sum_{m=1}^N{\mathbb E}[x_m^2]+\sum_{m=1}^N\sum_{n=1,n\not=m}^N{\mathbb E}[x_mx_n]\\ &=&N{\mathbb E}[x_m^2]+N(N-1){\mathbb E}[x_mx_n]\ \ (m\not= n)\\ &=&N(\mu^2+\sigma^2)+(N^2-N)\mu^2\\ &=&N^2\mu^2+N\sigma^2\tag{7} \end{eqnarray}$

式 $(1.50),(6),(7)$ を式 $(5)$ に代入します。

$\begin{eqnarray} {\mathbb E}[\sigma_{ML}^2]&=&\frac{1}{N}\sum_{n=1}^N\left(\mu^2+\sigma^2-\frac{2}{N}(N\mu^2+\sigma^2)+\frac{1}{N^2}(N^2\mu^2+N\sigma^2)\right)\\ &=&\frac{1}{N}\sum_{n=1}^N\frac{N-1}{N}\sigma^2\\ &=&\frac{N-1}{N}\sigma^2\tag{8} \end{eqnarray}$

式 $(8)$ より、式 $(1.58)$ が示せました。