PRML演習問題 9.12(基本) www - 機械学習基礎理論独習

問題

$\begin{eqnarray} p({\bf x})=\sum_{k=1}^K\pi_kp({\bf x}|k)\tag{9.82} \end{eqnarray}$

の形の混合分布を考える。
ここに、 ${\bf x}$ は離散、連続、その組み合わせのいずれでもよい。
$p({\bf x}|k)$ の平均と共分散をそれぞれ ${\boldsymbol\mu}_k$ と ${\bf\Sigma}_k$ で表す。
混合分布の平均と共分散がそれぞれ $(9.49)$ と $(9.50)$ で与えられることを示せ。

参照

$\begin{eqnarray} {\mathbb E}[{\bf x}]=\sum_{k=1}^K\pi_k{\boldsymbol\mu}_k\tag{9.49} \end{eqnarray}$

$\begin{eqnarray} {\rm cov}[{\bf x}]=\sum_{k=1}^K({\bf\Sigma}_k+{\boldsymbol\mu}_k{\boldsymbol\mu}_k^\top)-{\mathbb E}[{\bf x}]{\mathbb E}[{\bf x}]^\top\tag{9.50} \end{eqnarray}$

解答

平均 ${\mathbb E}[{\bf x}]$ を計算します。

$\begin{eqnarray} {\mathbb E}[{\bf x}]&=&\int{\bf x}p({\bf x}){\rm d}{\bf x}\\ &=&\int{\bf x}\sum_{k=1}^K\pi_kp({\bf x}|k){\rm d}{\bf x}\\ &=&\sum_{k=1}^K\pi_k\int{\bf x}p({\bf x}|k){\rm d}{\bf x}\\ &=&\sum_{k=1}^K\pi_k{\boldsymbol\mu}_k\tag{1} \end{eqnarray}$

式 $(1)$ より、式 $(9.49)$ が成り立ちます。

共分散 ${\rm cov}[{\bf x}]$ を計算します。

$\begin{eqnarray} {\rm cov}[{\bf x}]&=&{\mathbb E}[{\bf x}{\bf x}^\top]-{\mathbb E}[{\bf x}]{\mathbb E}[{\bf x}]^\top\\ &=&\int{\bf x}{\bf x}^\top\sum_{k=1}^K\pi_kp({\bf x}|k){\rm d}{\bf x}-{\mathbb E}[{\bf x}]{\mathbb E}[{\bf x}]^\top\\ &=&\sum_{k=1}^K\pi_k\int{\bf x}{\bf x}^\top p({\bf x}|k){\rm d}{\bf x}-{\mathbb E}[{\bf x}]{\mathbb E}[{\bf x}]^\top\\ &=&\sum_{k=1}^K\pi_k{\mathbb E}_{{\bf x}|k}[{\bf x}{\bf x}^\top]-{\mathbb E}[{\bf x}]{\mathbb E}[{\bf x}]^\top\\ &=&\sum_{k=1}^K\pi_k({\rm cov}_{{\bf x}|k}[{\bf x}]+{\mathbb E}_{{\bf x}|k}[{\bf x}]{\mathbb E}[{\bf x}|k]^\top)-{\mathbb E}[{\bf x}]{\mathbb E}[{\bf x}]^\top\\ &=&\sum_{k=1}^K\pi_k({\bf\Sigma}_k+{\boldsymbol\mu}_k{\boldsymbol\mu}_k^\top)-{\mathbb E}[{\bf x}]{\mathbb E}[{\bf x}]^\top\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(9.50)$ が成り立ちます。