PRML演習問題 10.9(標準) - 機械学習基礎理論独習

問題

ガンマ分布の平均が ${\mathbb E}[\tau]=a_N/b_N$ になるという標準的な結果、および $(10.26)$ 、 $(10.27)$ 、 $(10.29)$ 、 $(10.30)$ を用いて、
一変数ガウス分布の分解された変分近似の持つ精度の期待値の逆数についての結果 $(10.33)$ を導け。

参照

$\begin{eqnarray} \mu_N=\frac{\lambda_0\mu_0+N\overline{x}}{\lambda_0+N}\tag{10.26} \end{eqnarray}$

$\begin{eqnarray} \lambda_N=(\lambda_0+N){\mathbb E}[\tau]\tag{10.27} \end{eqnarray}$

$\begin{eqnarray} a_N=a_0+\frac{N+1}{2}\tag{10.29} \end{eqnarray}$

$\begin{eqnarray} b_N=b_0+\frac{1}{2}{\mathbb E}_\mu\left[\sum_{n=1}^N(x_n-\mu)^2+\lambda_0(\mu-\mu_0)^2\right]\tag{10.30} \end{eqnarray}$

$\begin{eqnarray} \frac{1}{{\mathbb E}[\tau]}&=&\overline{x^2}-\overline{x}\\ &=&\frac{1}{N}\sum_{n=1}^N(x_n-\overline{x})^2\tag{10.33} \end{eqnarray}$

解答

問題文にはありませんが、PRML下巻p186より、 $\mu_0=a_0=b_0=\lambda_0=0,\ {\mathbb E}[\tau]=a_N/b_N$ です。

$\dfrac{1}{{\mathbb E}[\tau]}$ を計算します。

$\begin{eqnarray} \dfrac{1}{{\mathbb E}[\tau]}&=&\left(\frac{a_N}{b_N}\right)^{-1}\\ &=&\frac{b_N}{a_N}\\ &=&\frac{b_0+\dfrac{1}{2}{\mathbb E}_\mu\left[\displaystyle\sum_{n=1}^N(x_n-\mu)^2+\lambda_0(\mu-\mu_0)^2\right]}{a_0+\dfrac{N+1}{2}}\\ &=&\frac{{\mathbb E}_\mu\left[\displaystyle\sum_{n=1}^N(x_n-\mu)^2\right]}{N+1}\\ &=&\frac{N}{N+1}\cdot\frac{1}{N}{\mathbb E}_\mu\left[\displaystyle\sum_{n=1}^N(x_n-\mu)^2\right]\\ &=&\frac{N}{N+1}{\mathbb E}_\mu\left[\frac{1}{N}\sum_{n=1}^N(x_n-\mu)^2\right]\\ &=&\frac{N}{N+1}{\mathbb E}_\mu\left[\frac{1}{N}\sum_{n=1}^N(x_n^2-2\mu x_n+\mu^2)\right]\\ &=&\frac{N}{N+1}{\mathbb E}_\mu\left[\frac{1}{N}\sum_{n=1}^Nx_n^2-2\mu\frac{1}{N}\sum_{n=1}^Nx_n+\frac{1}{N}\sum_{n=1}^N\mu^2\right]\\ &=&\frac{N}{N+1}{\mathbb E}_\mu\left[\overline{x^2}-2\overline{x}\mu+\mu^2\right]\\ &=&\frac{N}{N+1}\left(\overline{x^2}-2\overline{x}{\mathbb E}_\mu[\mu]+{\mathbb E}_\mu[\mu^2]\right)\tag{1} \end{eqnarray}$

${\mathbb E}_\mu[\mu]$ を計算します。

$\begin{eqnarray} {\mathbb E}_\mu[\mu]&=&\mu_N\\ &=&\frac{\lambda_0\mu_0+N\overline{x}}{\lambda_0+N}\\ &=&\frac{N\overline{x}}{N}\\ &=&\overline{x}\tag{2} \end{eqnarray}$

${\mathbb E}_\mu[\mu^2]$ を計算します。

$\begin{eqnarray} {\mathbb E}_\mu[\mu^2]&=&{\rm var}[\mu]+{\mathbb E}_\mu[\mu]^2\\ &=&\lambda_N^{-1}+\overline{x}^2\\ &=&\left((\lambda_0+N){\mathbb E}[\tau]\right)^{-1}+\overline{x}^2\\ &=&\left(N{\mathbb E}[\tau]\right)^{-1}+\overline{x}^2\\ &=&\frac{1}{N{\mathbb E}[\tau]}+\overline{x}^2\tag{3} \end{eqnarray}$

式 $(2),(3)$ を式 $(1)$ に代入します。

$\begin{eqnarray} &&\dfrac{1}{{\mathbb E}[\tau]}=\frac{N}{N+1}\left(\overline{x^2}-2\overline{x}\cdot\overline{x}+\frac{1}{N{\mathbb E}[\tau]}+\overline{x}^2\right)\\ &&\Leftrightarrow\dfrac{1}{{\mathbb E}[\tau]}=\frac{N}{N+1}\left(\overline{x^2}-\overline{x}^2+\frac{1}{N{\mathbb E}[\tau]}\right)\\ &&\Leftrightarrow\dfrac{1}{{\mathbb E}[\tau]}=\frac{N}{N+1}\left(\overline{x^2}-\overline{x}^2\right)+\frac{1}{N+1}{\mathbb E}[\tau]\\ &&\Leftrightarrow\frac{N}{N+1}\dfrac{1}{{\mathbb E}[\tau]}=\frac{N}{N+1}\left(\overline{x^2}-\overline{x}^2\right)\\ &&\Leftrightarrow\dfrac{1}{{\mathbb E}[\tau]}=\overline{x^2}-\overline{x}^2\tag{4} \end{eqnarray}$

$\dfrac{1}{N}\displaystyle\sum_{n=1}^N(x_n-\overline{x})^2$ を計算します。

$\begin{eqnarray} \frac{1}{N}\sum_{n=1}^N(x_n-\overline{x})^2&=&\frac{1}{N}\sum_{n=1}^N(x_n^2-2\overline{x}x_n+\overline{x}^2)\\ &=&\frac{1}{N}\sum_{n=1}^Nx_n^2-2\overline{x}\frac{1}{N}\sum_{n=1}^Nx_n+\frac{1}{N}\sum_{n=1}^N\overline{x}^2\\ &=&\overline{x^2}-2\overline{x}\cdot\overline{x}+\overline{x}^2\\ &=&\overline{x^2}-\overline{x}^2\tag{5} \end{eqnarray}$

式 $(4),(5)$ より、以下の式が成り立ちます。

$\begin{eqnarray} \frac{1}{{\mathbb E}[\tau]}&=&\overline{x^2}-\overline{x}\\ &=&\frac{1}{N}\sum_{n=1}^N(x_n-\overline{x})^2\tag{6} \end{eqnarray}$

式 $(6)$ より、式 $(10.33)$ が示せました。