PRML演習問題 9.23(標準) www - 機械学習基礎理論独習

問題

$7.2.1$ 節において、回帰問題のためのRVMの超パラメータ ${\boldsymbol\alpha}$ と $\beta$ の
更新式 $(7.87)$ と $(7.88)$ を導くのに周辺尤度を直接最大化した。
同様に $9.3.4$ 節において、同じ周辺尤度を最大化するのにEMアルゴリズムを用いて
更新式 $(9.67)$ と $(9.68)$ を求めた。
任意の停留点においてこれら $2$ 組の更新式が厳密に等価であることを示せ。

参照

$\begin{eqnarray} \alpha_i^{\rm new}=\frac{\gamma_i}{m_i^2}\tag{7.87} \end{eqnarray}$

$\begin{eqnarray} (\beta^{\rm new})^{-1}=\frac{||{\bf t}-{\boldsymbol\Phi}{\bf m}||^2}{N-\sum_i\gamma_i}\tag{7.88} \end{eqnarray}$

$\begin{eqnarray} \gamma_i=1-\alpha_i\Sigma_{ii}\tag{7.89} \end{eqnarray}$

$\begin{eqnarray} \alpha_i^{\rm new}=\frac{1}{m_i^2+\Sigma_{ii}}\tag{9.67} \end{eqnarray}$

$\begin{eqnarray} (\beta^{\rm new})^{-1}=\frac{||{\bf t}-{\boldsymbol\Phi}{\bf m}||^2+\beta^{-1}\sum_i\gamma_i}{N}\tag{9.68} \end{eqnarray}$

解答

式 $(7.89)$ を $(7.87)$ に代入します。

$\begin{eqnarray} &&\alpha_i=\frac{1-\alpha_i\Sigma_{ii}}{m_i^2}\\ &&\Leftrightarrow\alpha_i=\frac{1}{m_i^2+\Sigma_{ii}}\tag{1} \end{eqnarray}$

式 $(1)$ より、式 $(7.87)$ と式 $(9.67)$ が等しいことが示せました。

式 $(7.88)$ を計算します。

$\begin{eqnarray} &&\beta^{-1}=\frac{||{\bf t}-{\boldsymbol\Phi}{\bf m}||^2}{N-\displaystyle\sum_{i=1}^M\gamma_i}\\ &&\Leftrightarrow\left(N-\sum_{i=1}^M\gamma_i\right)\beta^{-1}=||{\bf t}-{\boldsymbol\Phi}{\bf m}||^2\\ &&\Leftrightarrow N\beta^{-1}=||{\bf t}-{\boldsymbol\Phi}{\bf m}||^2+\beta^{-1}\sum_{i=1}^M\gamma_i\\ &&\Leftrightarrow \beta^{-1}=\frac{1}{N}\left(||{\bf t}-{\boldsymbol\Phi}{\bf m}||^2+\beta^{-1}\sum_{i=1}^M\gamma_i\right)\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(7.88)$ と式 $(9.68)$ が等しいことが示せました。