PRML演習問題 9.15(基本) www

問題

混合ベルヌーイ分布についての期待完全データ対数尤度関数 $(9.55)$ を ${\boldsymbol\mu}_k$ について最大化すると、
Mステップ方程式 $(9.59)$ が得られることを示せ。

参照

$\begin{eqnarray} {\mathbb E}_{\bf Z}[\ln p({\bf X},{\bf Z}|{\boldsymbol\mu},{\boldsymbol\pi})]=\sum_{n=1}^N\sum_{k=1}^K\gamma(z_{nk})\left(\ln\pi_k+\sum_{i=1}^D\left(x_{ni}\ln\mu_{ki}+(1-x_{ni})\ln(1-\mu_{ki})\right)\right)\tag{9.55} \end{eqnarray}$

$\begin{eqnarray} {\boldsymbol\mu}_k=\bar{\bf x}_k\tag{9.59} \end{eqnarray}$

解答

$N_k$ を以下のようにおきます。

$\begin{eqnarray} N_k=\sum_{n=1}^N\gamma(z_{nk})\tag{1} \end{eqnarray}$

${\mathbb E}_{\bf Z}[\ln p({\bf X},{\bf Z}|{\boldsymbol\mu},{\boldsymbol\pi})]$ を $\mu_{ki}$ で微分して $=0$ とおきます。

$\begin{eqnarray} &&\frac{\partial}{\partial\mu_{ki}}{\mathbb E}_{\bf Z}[\ln p({\bf X},{\bf Z}|{\boldsymbol\mu},{\boldsymbol\pi})]=0\\ &&\Leftrightarrow \frac{\partial}{\partial\mu_{ki}}\sum_{n=1}^N\sum_{k'=1}^K\gamma(z_{nk'})\left(\ln\pi_{k'}+\sum_{i'=1}^D\left(x_{ni'}\ln\mu_{k'i'}+(1-x_{ni'})\ln(1-\mu_{k'i'})\right)\right)=0\\ &&\Leftrightarrow \sum_{n=1}^N\gamma(z_{nk})\left(x_{ni}\frac{\partial}{\partial\mu_{ki}}\ln\mu_{ki}+(1-x_{ni})\frac{\partial}{\partial\mu_{ki}}\ln(1-\mu_{ki})\right)=0\\ &&\Leftrightarrow \sum_{n=1}^N\gamma(z_{nk})\left(\frac{x_{ni}}{\mu_{ki}}-\frac{1-x_{ni}}{1-\mu_{ki}}\right)=0\\ &&\Leftrightarrow \sum_{n=1}^N\gamma(z_{nk})\frac{x_{ni}}{\mu_{ki}}-\sum_{n=1}^N\gamma(z_{nk})\frac{1-x_{ni}}{1-\mu_{ki}}=0\\ &&\Leftrightarrow \sum_{n=1}^N\gamma(z_{nk})x_{ni}(1-\mu_{ki})-\sum_{n=1}^N\gamma(z_{nk})(1-x_{ni})\mu_{ki}=0\\ &&\Leftrightarrow \mu_{ki}\sum_{n=1}^N\gamma(z_{nk})=\sum_{n=1}^N\gamma(z_{nk})x_{ni}\\ &&\Leftrightarrow \mu_{ki}=\frac{\sum_{n=1}^N\gamma(z_{nk})x_{ni}}{\sum_{n=1}^N\gamma(z_{nk})}\\ &&\Leftrightarrow \mu_{ki}=\frac{\bar{x}_{ni}}{N_k}\tag{2} \end{eqnarray}$