PRML演習問題 9.14(基本)

問題

$p({\bf x}|{\bf z},{\boldsymbol\mu})\ {(9.52)}$ と $p({\bf z}|{\boldsymbol\pi})\ (9.53)$ の積でベルヌーイ分布の潜在変数と観測変数の同時分布を構成しよう。
この同時分布を $\bf z$ について周辺化すると $(9.47)$ が得られることを示せ。

参照

$\begin{eqnarray} p({\bf x}|{\boldsymbol\mu},{\boldsymbol\pi})=\sum_{k=1}^K\pi_kp({\bf x}|{\boldsymbol\mu}_k)\tag{9.47} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}|{\bf z},{\boldsymbol\mu})=\prod_{k=1}^Kp({\bf x}|{\boldsymbol\mu}_k)^{z_k}\tag{9.52} \end{eqnarray}$

$\begin{eqnarray} p({\bf z}|{\boldsymbol\pi})=\prod_{k=1}^K\pi_k^{z_k}\tag{9.53} \end{eqnarray}$

解答

同時分布は、以下のようになります。

$\begin{eqnarray} p({\bf x},{\bf z}|{\boldsymbol\mu},{\boldsymbol\pi})&=&p({\bf x}|{\bf z},{\boldsymbol\mu})p({\bf z}|{\boldsymbol\pi})\\ &=&\prod_{k=1}^Kp({\bf x}|{\boldsymbol\mu}_k)^{z_k}\prod_{k=1}^K\pi_k^{z_k}\\ &=&\prod_{k=1}^K\left(\pi_kp({\bf x}|{\boldsymbol\mu}_k)\right)^{z_k}\tag{1} \end{eqnarray}$

式 $(1)$ を ${\bf z}$ について周辺化します。

$\begin{eqnarray} p({\bf x}|{\boldsymbol\mu},{\boldsymbol\pi})&=&\sum_{\bf z}\prod_{k=1}^K\left(\pi_kp({\bf x}|{\boldsymbol\mu}_k)\right)^{z_k}\\ &=&\sum_{\bf z}(\pi_kp({\bf x}|{\boldsymbol\mu}_k))^{z_1}(\pi_kp({\bf x}|{\boldsymbol\mu}_k))^{z_2}\cdots(\pi_kp({\bf x}|{\boldsymbol\mu}_k))^{z_K}\\ &=&(\pi_kp({\bf x}|{\boldsymbol\mu}_1))^1(\pi_kp({\bf x}|{\boldsymbol\mu}_2))^0\cdots(\pi_kp({\bf x}|{\boldsymbol\mu}_K))^0\\ &+&(\pi_kp({\bf x}|{\boldsymbol\mu}_1))^0(\pi_kp({\bf x}|{\boldsymbol\mu}_2))^1\cdots(\pi_kp({\bf x}|{\boldsymbol\mu}_K))^0\\ &+&\cdots\\ &+&(\pi_kp({\bf x}|{\boldsymbol\mu}_1))^0(\pi_kp({\bf x}|{\boldsymbol\mu}_2))^0\cdots(\pi_kp({\bf x}|{\boldsymbol\mu}_K))^1\\ &=&\pi_kp({\bf x}|{\boldsymbol\mu}_1)+\pi_kp({\bf x}|{\boldsymbol\mu}_2)+\cdots+\pi_kp({\bf x}|{\boldsymbol\mu}_K)\\ &=&\sum_{k=1}^K\pi_kp({\bf x}|{\boldsymbol\mu}_k)\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(9.47)$ が示せました。

機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

問題

参照

解答

関連リンク