PRML演習問題 9.3(基本) www - 機械学習基礎理論独習

問題

混合ガウスモデルを考え、
潜在変数の周辺分布 $p({\bf z})$ が $(9.10)$ で、観測変数の条件付き分布 $p({\bf x}|{\bf z})$ が $(9.11)$ でそれぞれ与えられると仮定する。
$p({\bf z})p({\bf x}|{\bf z})$ を $\bf z$ の可能な値について足して得られる周辺分布 $p({\bf x})$ が $(9.7)$ の形の混合ガウス分布になることを示せ。

参照

$\begin{eqnarray} p({\bf x})=\sum_{k=1}^K\pi_k{\mathcal N}({\bf x}|{\boldsymbol\mu}_k,{\bf\Sigma}_k)\tag{9.7} \end{eqnarray}$

$\begin{eqnarray} p({\bf z})=\prod_{k=1}^K\pi_k^{z_k}\tag{9.10} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}|{\bf z})=\prod_{k=1}^K{\mathcal N}({\bf x}|{\boldsymbol\mu}_k,{\bf\Sigma}_k)^{z_k}\tag{9.11} \end{eqnarray}$

解答

$p({\bf x},{\bf z})$ を ${\bf z}$ で周辺化することにより、 $p({\bf x})$ を求めます。

$\begin{eqnarray} p({\bf x})&=&\sum_{\bf z}p({\bf x},{\bf z})\\ &=&\sum_{\bf z}p({\bf z})p({\bf x}|{\bf z})\\ &=&\sum_{\bf z}\Bigg(\underbrace{\prod_{k=1}^K\pi_k^{z_k}}_{(9.10)}\Bigg)\Bigg(\underbrace{\prod_{k=1}^K{\mathcal N}({\bf x}|{\boldsymbol\mu}_k,{\bf\Sigma}_k)^{z_k}}_{(9.11)}\Bigg)\\ &=&\sum_{\bf z}\prod_{k=1}^K(\pi_k\mathcal{N}({\bf x}|{\boldsymbol\mu}_k,{\bf\Sigma}_k))^{z_k}\\ &=&\left(\pi_1\mathcal{N}({\bf x}|{\boldsymbol\mu}_1,{\bf\Sigma}_1)\right)^1+\left(\pi_2\mathcal{N}({\bf x}|{\boldsymbol\mu}_2,{\bf\Sigma}_2)\right)^0+\cdots+\left(\pi_K\mathcal{N}({\bf x}|{\boldsymbol\mu}_K,{\bf\Sigma}_K)\right)^0\\ &+&\left(\pi_1\mathcal{N}({\bf x}|{\boldsymbol\mu}_1,{\bf\Sigma}_1)\right)^0+\left(\pi_2\mathcal{N}({\bf x}|{\boldsymbol\mu}_2,{\bf\Sigma}_2)\right)^1+\cdots+\left(\pi_K\mathcal{N}({\bf x}|{\boldsymbol\mu}_K,{\bf\Sigma}_K)\right)^0\\ &+&\cdots\\ &+&\left(\pi_1\mathcal{N}({\bf x}|{\boldsymbol\mu}_1,{\bf\Sigma}_1)\right)^0+\left(\pi_2\mathcal{N}({\bf x}|{\boldsymbol\mu}_2,{\bf\Sigma}_2)\right)^0+\cdots+\left(\pi_K\mathcal{N}({\bf x}|{\boldsymbol\mu}_K,{\bf\Sigma}_K)\right)^1\\ &=&\pi_1\mathcal{N}({\bf x}|{\boldsymbol\mu}_1,{\bf\Sigma}_1)+\pi_2\mathcal{N}({\bf x}|{\boldsymbol\mu}_2,{\bf\Sigma}_2)+\cdots+\pi_K\mathcal{N}({\bf x}|{\boldsymbol\mu}_K,{\bf\Sigma}_K)\\ &=&\sum_{k=1}^K\pi_k\mathcal{N}({\bf x}|{\boldsymbol\mu}_k,{\bf\Sigma}_k)\tag{1}\\ \end{eqnarray}$

式 $(1)$ より、 $p({\bf x})$ が $(9.7)$ の形の混合ガウス分布になることが示せました。

補足

本問題のポイントは $\displaystyle\sum_{\bf z}$ だと思います。
$\displaystyle\sum_{\bf z}$ の意味は、「全ての ${\bf z}$ について足し合わせる」ということなので、
例えば、 ${\bf z}$ が $3$ 次元の場合、 $(1,0,0),\ (0,1,0),\ (0,0,1)$ の $3$ パターンについて足しわせるということです。