PRML演習問題 7.9(基本) - 機械学習基礎理論独習

問題

RVM回帰モデルについて重みに対する事後確率分布の平均および共分散が $(7.82)$ と $(7.83)$ で与えられることを示せ。

参照

$\begin{eqnarray} p({\bf w}|{\bf t},{\bf X},{\boldsymbol\alpha},\beta)={\mathcal N}({\bf w}|{\bf m},{\bf\Sigma})\tag{7.81} \end{eqnarray}$

$\begin{eqnarray} {\bf m}=\beta{\bf\Sigma}{\boldsymbol\Phi}^\top{\bf t}\tag{7.82} \end{eqnarray}$

$\begin{eqnarray} {\bf\Sigma}=\left({\bf A}+\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}\right)^{-1}\tag{7.83} \end{eqnarray}$

解答

$\bf w$ の事後分布 $p({\bf w}|{\bf t},{\bf X},{\boldsymbol\alpha},\beta)$ を求めます。

$\begin{eqnarray} p({\bf w}|{\bf t},{\bf X},{\boldsymbol\alpha},\beta)&\propto&p({\bf t}|{\bf X},{\bf w},\beta)p({\bf w}|{\boldsymbol\alpha})\\ &=&\mathcal{N}({\bf t}|{\boldsymbol\Phi}{\bf w},\beta^{-1}{\bf I}_N)\mathcal{N}({\bf w}|{\bf 0},{\bf A}^{-1})\tag{1}\\ \end{eqnarray}$

$(1)$ に対数を取って、 $\bf w$ についてまとめます。

$\begin{eqnarray} \ln p({\bf w}|{\bf t},{\bf X},{\boldsymbol\alpha},\beta)&=&\ln\mathcal{N}({\bf t}|{\boldsymbol\Phi}{\bf w},\beta^{-1}{\bf I}_N)+\ln \mathcal{N}({\bf w}|{\bf 0},{\bf A}^{-1})+{\rm const.}\\ &=&-\frac{N}{2}\ln2\pi+\frac{N}{2}\ln\beta-\frac{\beta}{2}({\bf t}-{\boldsymbol\Phi}{\bf w})^\top({\bf t}-{\boldsymbol\Phi}{\bf w})-\frac{N+1}{2}\ln 2\pi+\frac{1}{2}\ln|{\bf A}^{-1}|-\frac{1}{2}{\bf w}^\top{\bf A}{\bf w}+{\rm const.}\\ &=&-\frac{\beta}{2}({\bf t}-{\boldsymbol\Phi}{\bf w})^\top({\bf t}-{\boldsymbol\Phi}{\bf w})-\frac{1}{2}{\bf w}^\top{\bf A}{\bf w}+{\rm const.}\\ &=&-\frac{\beta}{2}({\bf w}^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf w}-2{\bf w}^\top{\boldsymbol\Phi}^\top{\bf t})-\frac{1}{2}{\bf w}^\top{\bf A}{\bf w}+{\rm const.}\\ &=&-\frac{1}{2}({\bf w}^\top({\bf A}+\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}){\bf w}-2\beta{\bf w}^\top{\boldsymbol\Phi}^\top{\bf t})+{\rm const.}\tag{2}\\ \end{eqnarray}$

$p({\bf w}|{\bf t},{\bf X},{\boldsymbol\alpha},\beta)$ は多次元ガウス分布なので、平均を ${\bf m}$ 、共分散を ${\bf \Sigma}$ とおき、 $\bf w$ についてまとめます。

$\begin{eqnarray} \ln p({\bf w}|{\bf t},{\bf X},{\boldsymbol\alpha},\beta)&=&\ln \mathcal{N}({\bf w}|{\bf m},{\bf \Sigma})\\ &=&-\frac{1}{2}({\bf w}^\top{\bf \Sigma}^{-1}{\bf w}-2{\bf w}^\top{\bf \Sigma}^{-1}{\bf m})+{\rm const.}\tag{3}\\ \end{eqnarray}$

$(10)$ と $(11)$ を係数比較することにより、 ${\bf m},{\bf\Sigma}$ が求まります。

$\begin{eqnarray} &&{\bf m}=\beta{\bf\Sigma}{\boldsymbol\Phi}^\top{\bf t}\tag{4}\\ &&{\bf \Sigma}=({\bf A}+\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi})^{-1}\tag{5}\\ \end{eqnarray}$

式 $(4),(5)$ より、式 $(7.82),(7.83)$ が示せました。