PRML演習問題 3.17(基本) - 機械学習基礎理論独習

問題

ベイズ線形回帰モデルに対するエビデンス関数が $(3.78)$ の形式で書けることを示せ。
ただし、 $E({\bf w})$ は $(3.79)$ で定義される。

参照

$\begin{eqnarray} \ln p({\bf t}|{\bf w},\beta)&=&\sum_{n=1}^N\ln{\mathcal N}(t_n|{\bf w}^\top{\boldsymbol\phi}({\bf x}_n),\beta^{-1})\\ &=&\frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi)-\beta E_D({\bf w})\tag{3.11} \end{eqnarray}$

$\begin{eqnarray} E_W({\bf w})=\frac{1}{2}{\bf w}^\top{\bf w}\tag{3.25} \end{eqnarray}$

$\begin{eqnarray} p({\bf w}|\alpha)={\mathcal N}({\bf w}|{\bf 0},\alpha^{-1}{\bf I})\tag{3.52} \end{eqnarray}$

$\begin{eqnarray} p({\bf t}|\alpha,\beta)=\int p({\bf t}|{\bf w},\beta)p({\bf w}|\alpha){\rm d}{\bf w}\tag{3.77} \end{eqnarray}$

$\begin{eqnarray} p({\bf t}|\alpha,\beta)=\left(\frac{\beta}{2\pi}\right)^{N/2}\left(\frac{\alpha}{2\pi}\right)^{M/2}\int\exp(-E({\bf w})){\rm d}{\bf w}\tag{3.78} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})&=&\beta E_D({\bf w})+\alpha E_W({\bf w})\\ &=&\frac{\beta}{2}\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf w}\right|\right|+\frac{\alpha}{2}{\bf w}^\top{\bf w}\tag{3.79} \end{eqnarray}$

解答

式 $(3.11)$ の対数を外します。

$\begin{eqnarray} p({\bf t}|{\bf w},\beta)&=&\frac{\beta^{N/2}}{(2\pi)^{N/2}}\exp(-\beta E_D({\bf w}))\\ &=&\left(\frac{\beta}{2\pi}\right)^{N/2}\exp(-\beta E_D({\bf w}))\tag{1} \end{eqnarray}$

式 $(3.52)$ を計算します。

$\begin{eqnarray} p({\bf w}|\alpha)&=&{\mathcal N}({\bf w}|{\bf 0},\alpha^{-1}{\bf I})\\ &=&\frac{|\alpha{\bf I}_M|^{1/2}}{(2\pi)^{M/2}}\exp\left(-\frac{\alpha}{2}{\bf w}^\top{\bf w}\right)\\ &=&\frac{\alpha^{M/2}}{(2\pi)^{M/2}}\exp(-\alpha \underbrace{E_W({\bf w})}_{(3.25)})\\ &=&\left(\frac{\alpha}{2\pi}\right)^{M/2}\exp\left(-\alpha E_W({\bf w})\right)\tag{2} \end{eqnarray}$

式 $(1),(2)$ を式 $(3.77)$ に代入します。

$\begin{eqnarray} p({\bf t}|\alpha,\beta)&=&\int\left(\frac{\beta}{2\pi}\right)^{N/2}\exp(-\beta E_D({\bf w}))\cdot \left(\frac{\alpha}{2\pi}\right)^{M/2}\exp\left(-\alpha E_W({\bf w})\right){\rm d}{\bf w}\\ &=&\left(\frac{\beta}{2\pi}\right)^{N/2}\left(\frac{\alpha}{2\pi}\right)^{M/2}\int\exp(-\beta E_D({\bf w})-\alpha E_W({\bf w})){\rm d}{\bf w}\\ &=&\left(\frac{\beta}{2\pi}\right)^{N/2}\left(\frac{\alpha}{2\pi}\right)^{M/2}\int\exp(-\underbrace{E({\bf w})}_{(3.79)}){\rm d}{\bf w}\tag{3} \end{eqnarray}$

式 $(3)$ より、ベイズ線形回帰モデルに対するエビデンス関数が $(3.78)$ の形式で書けることを示せました。