機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 10.2(基本)

問題

{\mathbb E}[z_1]=m_1 および {\mathbb E}[z_2]=m_2 を用いて連立方程式 (10.13),\ (10.15) を解き、
もともとの分布 p({\bf z}) が非特異ならば、近似された因子分布の平均についての一意な解は
{\mathbb E}[z_1]=\mu_1 および {\mathbb E}[z_2]=\mu_2 となることを示せ。

参照

\begin{eqnarray}
{\boldsymbol\mu}=\begin{pmatrix}\mu_1\\ \mu_2\end{pmatrix},\ \ \ {\bf\Lambda}=\begin{pmatrix}\Lambda_{11} & \Lambda_{12}\\ \Lambda_{21} & \Lambda_{22}\end{pmatrix}\tag{10.10}
\end{eqnarray}

\begin{eqnarray}
m_1=\mu_1-\Lambda_{11}^{-1}\Lambda_{12}({\mathbb E}[z_2]-\mu_2)\tag{10.13}
\end{eqnarray}

\begin{eqnarray}
m_2=\mu_2-\Lambda_{22}^{-1}\Lambda_{21}({\mathbb E}[z_1]-\mu_1)\tag{10.15}
\end{eqnarray}

解答

(10.13){\mathbb E}[z_2]=m_2 を代入します。

\begin{eqnarray}
m_1=\mu_1-\Lambda_{11}^{-1}\Lambda_{12}(m_2-\mu_2)\tag{1}
\end{eqnarray}

(10.15){\mathbb E}[z_1]=m_1 を代入します。

\begin{eqnarray}
m_2=\mu_2-\Lambda_{22}^{-1}\Lambda_{21}(m_1-\mu_1)\tag{2}
\end{eqnarray}

(2) を式 (1) に代入します。

\begin{eqnarray}
&&m_1=\mu_1-\Lambda_{11}^{-1}\Lambda_{12}( (\mu_2-\Lambda_{22}^{-1}\Lambda_{21}(m_1-\mu_1) )-\mu_2)\\
&&\Leftrightarrow m_1=\mu_1+\Lambda_{11}^{-1}\Lambda_{12}\Lambda_{22}^{-1}\Lambda_{21}(m_1-\mu_1)\\
&&\Leftrightarrow (1-\Lambda_{11}^{-1}\Lambda_{12}\Lambda_{22}^{-1}\Lambda_{21})m_1=(1-\Lambda_{11}^{-1}\Lambda_{12}\Lambda_{22}^{-1}\Lambda_{21})\mu_1\tag{3}
\end{eqnarray}

p({\bf z}) = {\mathcal N}({\bf z}|{\boldsymbol\mu},{\bf\Lambda}^{-1}) が非特異なので、以下の式が成り立ちます。

\begin{eqnarray}
 |{\bf\Lambda}|=\Lambda_{11}\Lambda_{22}-\Lambda_{21}\Lambda_{12}\not=0\tag{4}
\end{eqnarray}

(2) より、

\begin{eqnarray}
1-\Lambda_{11}^{-1}\Lambda_{22}^{-1}\Lambda_{21}\Lambda_{12}\not=0\tag{5}
\end{eqnarray}

が成り立ちます。

(3),(5) より、以下が成り立ちます。

\begin{eqnarray}
&&m_1=\mu_1\tag{6}\\
&&\Leftrightarrow {\mathbb E}[z_1]=\mu_1\tag{7}
\end{eqnarray}

(7) より、{\mathbb E}[z_1]=\mu_1 が示せました。

(2),(6) より、以下が成り立ちます。

\begin{eqnarray}
&&m_2=\mu_2\\
&&\Leftrightarrow {\mathbb E}[z_2]=\mu_2\tag{8}
\end{eqnarray}

(8) より、{\mathbb E}[z_2]=\mu_2 が示せました。

目次へ戻る