PRML演習問題 12.21(標準)

問題

因子分析についてのEMアルゴリズムのEステップに対する公式 $(12.66)$ と $(12.67)$ を導け。
演習問題 $12.20$ の結果から、パラメータ $\boldsymbol\mu$ はサンプル平均 $\bar{\bf x}$ で置き換えられることに注意せよ。

参照

$\begin{eqnarray} p({\bf x}) = \mathcal{N}(\mathbf x | \boldsymbol\mu, \mathbf\Lambda^{-1})\tag{2.113} \end{eqnarray}$

$\begin{eqnarray} p({\bf y} | {\bf x}) = \mathcal{N}({\mathbf y}| {\mathbf A} \mathbf x + \mathbf b, \mathbf{L}^{-1}) \tag{2.114} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}|{\bf y})={\mathcal N}({\bf x}|{\bf\Sigma}({\bf A}^\top{\bf L}({\bf y}-{\bf b})+{\bf\Lambda}{\boldsymbol\mu}),{\bf\Sigma})\tag{2.116} \end{eqnarray}$

$\begin{eqnarray} {\bf\Sigma}=({\bf\Lambda}+{\bf A}^\top{\bf L}{\bf A})^{-1}\tag{2.117} \end{eqnarray}$

$\begin{eqnarray} p({\bf z})={\mathcal N}({\bf z}|{\bf 0},{\bf I})\tag{12.31} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}|{\bf z})={\mathcal N}({\bf x}|{\bf W}{\bf z}+{\boldsymbol\mu},{\boldsymbol\Psi})\tag{12.64} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[{\bf z}_n]={\bf G}{\bf W}^\top{\boldsymbol\Psi}^{-1}({\bf x}_n-\bar{\bf x})\tag{12.66} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[{\bf z}_n{\bf z}_n^\top]={\bf G}+{\mathbb E}[{\bf z}_n]{\mathbb E}[{\bf z}_n]^\top\tag{12.77} \end{eqnarray}$

$\begin{eqnarray} {\bf G}=({\bf I}+{\bf W}^\top{\boldsymbol\Psi}^{-1}{\bf W})^{-1}\tag{12.68} \end{eqnarray}$

解答

式 $(2.113),(2.114),(2.116),(2.117)$ において、次のように対応付けます。
${\bf x}\rightarrow{\bf z},\ {\bf y}\rightarrow{\bf x},\ {\boldsymbol\mu}\rightarrow{\bf 0},\ {\bf\Lambda}^{-1}\rightarrow{\bf I},\ {\bf A}\rightarrow{\bf W},\ {\bf b}\rightarrow{\boldsymbol\mu},\ {\bf L}^{-1}\rightarrow{\boldsymbol\Psi}$
このとき、 $p({\bf z}|{\bf x})$ は以下のようになります。

$\begin{eqnarray} p({\bf z}|{\bf x})&=&{\mathcal N}({\bf z}|({\bf I}+{\bf W}^\top{\boldsymbol\Psi}^{-1}{\bf W})^{-1}({\bf W}^\top{\boldsymbol\Psi}^{-1}({\bf x}-{\boldsymbol\mu})+{\bf I}{\bf 0}),({\bf I}+{\bf W}^\top{\boldsymbol\Psi}^{-1}{\bf W})^{-1})\\ &=&{\mathcal N}({\bf z}|({\bf I}+{\bf W}^\top{\boldsymbol\Psi}^{-1}{\bf W})^{-1}{\bf W}^\top{\boldsymbol\Psi}^{-1}({\bf x}-{\boldsymbol\mu}),({\bf I}+{\bf W}^\top{\boldsymbol\Psi}^{-1}{\bf W})^{-1})\\ &=&{\mathcal N}({\bf z}|{\bf G}{\bf W}^\top{\boldsymbol\Psi}^{-1}({\bf x}-{\boldsymbol\mu}),{\bf G})\\ &=&{\mathcal N}({\bf z}|{\bf G}{\bf W}^\top{\boldsymbol\Psi}^{-1}({\bf x}-\bar{\bf x}),{\bf G})\tag{1} \end{eqnarray}$

${\mathbb E}[{\bf z}_n]$ を計算します。

$\begin{eqnarray} {\mathbb E}[{\bf z}_n]&=&{\mathbb E}_{p({\bf z}_n|{\bf x}_n)}[{\bf z}_n]\\ &=&{\bf G}{\bf W}^\top{\boldsymbol\Psi}^{-1}({\bf x}-\bar{\bf x})\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(12.66)$ が示せました。

${\mathbb E}[{\bf z}_n{\bf z}_n^\top]$ を計算します。

$\begin{eqnarray} {\mathbb E}[{\bf z}_n{\bf z}_n^\top]&=&{\mathbb E}_{p({\bf z}_n|{\bf x}_n)}[{\bf z}_n{\bf z}_n^\top]\\ &=&{\rm cov}_{p({\bf z}_n|{\bf x}_n)}[{\bf z}_n]+{\mathbb E}_{p({\bf z}_n|{\bf x}_n)}[{\bf z}_n]{\mathbb E}_{p({\bf z}_n|{\bf x}_n)}[{\bf z}_n]^\top\\ &=&{\bf G}+{\mathbb E}_{p({\bf z}_n|{\bf x}_n)}[{\bf z}_n]{\mathbb E}_{p({\bf z}_n|{\bf x}_n)}[{\bf z}_n]^\top\\ &=&{\bf G}+{\mathbb E}[{\bf z}_n]{\mathbb E}[{\bf z}_n]^\top\tag{3} \end{eqnarray}$

式 $(3)$ より、式 $(12.67)$ が示せました。

機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

問題

参照

解答

関連リンク