PRML演習問題 3.7(基本) - 機械学習基礎理論独習

問題

${\bf m}_N$ と ${\bf S}_N$ がそれぞれ $(3.50)$ と $(3.51)$ で定義される線形基底関数モデルを考える。
平方完成を用いて、このモデルのパラメータ $\bf w$ の事後分布が $(3.49)$ で与えられることを確かめよ。

参照

$\begin{eqnarray} p({\bf t}|{\bf X},{\bf w},\beta)=\prod_{n=1}^N{\mathcal N}(t_n|{\bf w}^\top{\boldsymbol\phi}({\bf x}_n),\beta^{-1})\tag{3.10} \end{eqnarray}$

$\begin{eqnarray} p({\bf w})={\mathcal N}({\bf w}|{\bf m}_0,{\bf S}_0)\tag{3.48} \end{eqnarray}$

$\begin{eqnarray} p({\bf w}|{\bf t})={\mathcal N}({\bf w}|{\bf m}_N,{\bf S}_N)\tag{3.49} \end{eqnarray}$

$\begin{eqnarray} {\bf m}_N={\bf S}_N\left({\bf S}_0^{-1}{\bf m}_0+\beta{\boldsymbol\Phi}^\top{\bf t}\right)\tag{3.50} \end{eqnarray}$

$\begin{eqnarray} {\bf S}_N^{-1}={\bf S}_0^{-1}+\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}\tag{3.51} \end{eqnarray}$

解答

$p({\bf w}|{\bf t})$ を変形します。

$\begin{eqnarray} p({\bf w}|{\bf t})&\propto& p({\bf t}|{\bf w})p({\bf w})\\ &=&\underbrace{\left(\prod_{n=1}^N{\mathcal N}\left(t_n|{\bf w}^\top({\bf x}_n),\beta^{-1}\right)\right)}_{(3.10)}\underbrace{{\mathcal N}({\bf w}|{\bf m}_0,{\bf S}_0)}_{(3.48)}\\ &=&{\mathcal N}\left({\bf t}|{\boldsymbol\Phi}{\bf w},\beta^{-1}{\bf I}\right){\mathcal N}({\bf w}|{\bf m}_0,{\bf S}_0)\\ &\propto&\exp\left(-\frac{\beta}{2}({\bf t}-{\boldsymbol\Phi}{\bf w})^\top({\bf t}-{\boldsymbol\Phi}{\bf w})\right)\exp\left(-\frac{1}{2}({\bf w}-{\bf m}_0)^\top{\bf S}_0^{-1}({\bf w}-{\bf m}_0)\right)\\ &=&\exp\left(-\frac{\beta}{2}({\bf t}-{\boldsymbol\Phi}{\bf w})^\top({\bf t}-{\boldsymbol\Phi}{\bf w})-\frac{1}{2}({\bf w}-{\bf m}_0)^\top{\bf S}_0^{-1}({\bf w}-{\bf m}_0)\right)\\ &\propto&\exp\left(-\frac{1}{2}\left(\beta{\bf w}^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf w}-2\beta{\bf w}^\top{\boldsymbol\Phi}^\top{\bf t}-{\bf w}^\top{\bf S}_0^{-1}{\bf w}-2{\bf w}^\top{\bf S}_0^{-1}{\bf m}_0\right)\right)\\ &=&\exp\left(-\frac{1}{2}\left({\bf w}^\top(\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}+{\bf S}_0^{-1}){\bf w}-2{\bf w}^\top(\beta{\boldsymbol\Phi}^\top{\bf t}+{\bf S}_0^{-1}{\bf m}_0)\right)\right)\\ &=&\exp\Bigg(-\frac{1}{2}\Big({\bf w}^\top\underbrace{{\bf S}_N^{-1}}_{(3.51)}{\bf w}-2{\bf w}^\top\underbrace{{\bf S}_N^{-1}{\bf m}_N}_{(3.50)}\Big)\Bigg)\\ &\propto&\exp\left(-\frac{1}{2}({\bf w}-{\bf m}_N)^\top{\bf S}_N^{-1}({\bf w}-{\bf m}_N)\right)\tag{1} \end{eqnarray}$

式 $(1)$ より、 ${\bf w}$ の事後分布が $(3.49)$ であることが示せました。