PRML演習問題 9.25(基本) www - 機械学習基礎理論独習

問題

対数尤度関数 $\ln p({\bf X}|{\boldsymbol\theta})$ とその下界 ${\mathcal L}(q,{\boldsymbol\theta})\ (9.71)$ (ただし $q({\bf Z})=p({\bf Z}|{\bf X},{\boldsymbol\theta}^{(old)}$ )は、
点 ${\boldsymbol\theta}={\boldsymbol\theta}^{(old)}$ において同じ勾配を持つことを示せ。

参照

$\begin{eqnarray} \ln p({\bf X}|{\boldsymbol\theta})={\mathcal L}(q,{\boldsymbol\theta})+{\rm KL}(q||p)\tag{9.70}\\ \end{eqnarray}$

$\begin{eqnarray} \mathcal{L}(q,{\boldsymbol\theta})=\sum_{\bf Z}q({\bf Z})\ln\left(\frac{p({\bf X},{\bf Z}|{\boldsymbol\theta})}{q({\bf Z})}\right)\tag{9.71}\\ \end{eqnarray}$

解答

問題文より、 $q({\bf Z})=p({\bf Z}|{\bf X},{\boldsymbol\theta}^{(old)})$ なので、この時 ${\rm KL}(q||p)=0$ であり、
式 $(9.70)$ より、以下の式が成り立ちます。

$\begin{eqnarray} \ln p({\bf X}|{\boldsymbol\theta})={\mathcal L}(q,{\boldsymbol\theta})\tag{1} \end{eqnarray}$

式 $(1)$ の両辺を ${\boldsymbol\theta}$ で微分して、 ${\boldsymbol\theta}={\boldsymbol\theta}^{(old)}$ とします。

$\begin{eqnarray} \left.\frac{\partial}{\partial{\boldsymbol\theta}}\ln p({\bf X}|{\boldsymbol\theta})\right|_{{\boldsymbol\theta}={\boldsymbol\theta}^{(old)}}=\left.\frac{\partial}{\partial{\boldsymbol\theta}}{\mathcal L}(q,{\boldsymbol\theta})\right|_{{\boldsymbol\theta}={\boldsymbol\theta}^{(old)}}\tag{2} \end{eqnarray}$

式 $(2)$ より、題意が示せました。