PRML演習問題 3.19(標準) - 機械学習基礎理論独習

問題

ベイズ線形回帰モデルの $\bf w$ に関する積分が $(3.85)$ で与えられることを示せ。
したがって、対数周辺尤度が $(3.86)$ で与えられることを示せ。

参照

$\begin{eqnarray} p({\bf t}|\alpha,\beta)=\left(\frac{\beta}{2\pi}\right)^{N/2}\left(\frac{\alpha}{2\pi}\right)^{M/2}\int\exp(-E({\bf w})){\rm d}{\bf w}\tag{3.78} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})&=&\beta E_D({\bf w})+\alpha E_W({\bf w})\\ &=&\frac{\beta}{2}\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf w}\right|\right|+\frac{\alpha}{2}{\bf w}^\top{\bf w}\tag{3.79} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})=E({\bf m}_N)+\frac{1}{2}({\bf w}-{\bf m})^\top{\bf A}({\bf w}-{\bf m})\tag{3.80} \end{eqnarray}$

$\begin{eqnarray} &&\int\exp\left(-E({\bf w})\right){\rm d}{\bf w}\\ &=&\exp\left(-E({\bf m}_N)\right)\int\exp\left(-\frac{1}{2}({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)\right){\rm d}{\bf w}\\ &=&\exp\left(-E({\bf m}_N)\right)(2\pi)^{M/2}|{\bf A}|^{-1/2}\tag{3.85} \end{eqnarray}$

$\begin{eqnarray} \ln p({\bf t}|\alpha,\beta)=\frac{M}{2}\ln\alpha+\frac{N}{2}\ln\beta-E({\bf m}_N)-\frac{1}{2}\ln|{\bf A}|-\frac{N}{2}\ln(2\pi)\tag{3.86}\\ \end{eqnarray}$

解答

$\begin{eqnarray} \int\exp\left(-E({\bf w})\right){\rm d}{\bf w}&=&\int\exp\Bigg(-\underbrace{\left(E({\bf m}_N)+\frac{1}{2}({\bf w}-{\bf m})^\top{\bf A}({\bf w}-{\bf m})\right)}_{(3.80)}\Bigg){\rm d}{\bf w}\\ &=&\exp\left(-E({\bf m}_N)\right)\int\exp\left(-\frac{1}{2}({\bf w}-{\bf m})^\top{\bf A}({\bf w}-{\bf m})\right){\rm d}{\bf w}\tag{1}\\ &=&\exp\left(-E({\bf m}_N)\right)(2\pi)^{M/2}|{\bf A}|^{-1/2}\int(2\pi)^{-M/2}|{\bf A}|^{1/2}\exp\left(-\frac{1}{2}({\bf w}-{\bf m})^\top{\bf A}({\bf w}-{\bf m})\right){\rm d}{\bf w}\\ &=&\exp\left(-E({\bf m}_N)\right)(2\pi)^{M/2}|{\bf A}|^{-1/2}\int{\mathcal N}({\bf w}|{\bf m},{\bf A}^{-1}){\rm d}{\bf w}\\ &=&\exp\left(-E({\bf m}_N)\right)(2\pi)^{M/2}|{\bf A}|^{-1/2}\tag{2} \end{eqnarray}$

式 $(1)$ より、式 $(3.85)$ の $2$ 行目が示せました。
式 $(2)$ より、式 $(3.85)$ の $3$ 行目が示せました。

$\ln p({\bf t}|\alpha,\beta)$ を計算します。

$\begin{eqnarray} \ln p({\bf t}|\alpha,\beta)&=&\ln\Bigg(\underbrace{\left(\frac{\beta}{2\pi}\right)^{N/2}\left(\frac{\alpha}{2\pi}\right)^{M/2}\int\exp(-E({\bf w})){\rm d}{\bf w}}_{(3.78)}\Bigg)\\ &=&\ln\Bigg(\left(\frac{\beta}{2\pi}\right)^{N/2}\left(\frac{\alpha}{2\pi}\right)^{M / 2}\underbrace{\exp\left(-E({\bf m}_N)\right)(2\pi)^{M / 2} | {\bf A} | ^{-1/2}}_{(3.85)}\Bigg)\\ &=&\frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi)+\frac{M}{2}\ln\alpha-\frac{M}{2}\ln(2\pi)-E({\bf m}_N)+\frac{M}{2}\ln(2\pi)-\frac{1}{2}\ln|{\bf A} | \\ &=&\frac{M}{2}\ln\alpha+\frac{N}{2}\ln\beta-E({\bf m}_N)-\frac{1}{2}\ln|{\bf A}|-\frac{N}{2}\ln(2\pi)\tag{3} \end{eqnarray}$

式 $(3)$ より、式 $(3.86)$ が示せました。