PRML演習問題 3.18(標準) www - 機械学習基礎理論独習

問題

$\bf w$ に関して平方完成することにより、 $(3.79)$ で定義されるベイズ線形回帰の誤差関数が $(3.80)$ の形で書けることを示せ。

参照

$\begin{eqnarray} E({\bf w})&=&\beta E_D({\bf w})+\alpha E_W({\bf w})\\ &=&\frac{\beta}{2}\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf w}\right|\right|+\frac{\alpha}{2}{\bf w}^\top{\bf w}\tag{3.79} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})=E({\bf m}_N)+\frac{1}{2}({\bf w}-{\bf m})^\top{\bf A}({\bf w}-{\bf m})\tag{3.80} \end{eqnarray}$

$\begin{eqnarray} {\bf A}=\alpha{\bf I}+\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}\tag{3.81} \end{eqnarray}$

$\begin{eqnarray} {\bf m}_N=\beta{\bf A}^{-1}{\boldsymbol\Phi}^\top{\bf t}\tag{3.84} \end{eqnarray}$

解答

準備として、式 $(3.84)$ を変形します。

$\begin{eqnarray} &&{\bf m}_N=\beta{\bf A}^{-1}{\boldsymbol\Phi}^\top{\bf t}\\ &&\Leftrightarrow{\bf A}{\bf m}_N=\beta{\boldsymbol\Phi}^\top{\bf t}\\ &&\Leftrightarrow({\bf A}{\bf m}_N)^\top=(\beta{\boldsymbol\Phi}^\top{\bf t})^\top\\ &&\Leftrightarrow{\bf m}_N^\top{\bf A}^\top=\beta{\bf t}^\top{\boldsymbol\Phi}\\ &&\Leftrightarrow{\bf m}_N^\top{\bf A}=\beta{\bf t}^\top{\boldsymbol\Phi}\\ &&\Leftrightarrow\beta{\bf t}^\top{\boldsymbol\Phi}-{\bf m}_N^\top{\bf A}={\bf 0}\tag{1} \end{eqnarray}$

$E({\bf w})$ を計算します。

$\begin{eqnarray} E({\bf w})&=&\frac{\beta}{2}\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf w}\right|\right|+\frac{\alpha}{2}{\bf w}^\top{\bf w}\\ &=&\frac{\beta}{2}({\bf t}-{\boldsymbol\Phi}{\bf w})^\top({\bf t}-{\boldsymbol\Phi}{\bf w})+\frac{\alpha}{2}{\bf w}^\top{\bf w}\\ &=&\frac{\beta}{2}({\bf t}^\top-{\bf w}^\top{\boldsymbol\Phi}^\top)({\bf t}-{\boldsymbol\Phi}{\bf w})+\frac{\alpha}{2}{\bf w}^\top{\bf w}\\ &=&\frac{\beta}{2}({\bf t}^\top{\bf t}-2{\bf t}^\top{\boldsymbol\Phi}{\bf w}+{\bf w}^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf w})+\frac{\alpha}{2}{\bf w}^\top{\bf w}\\ &=&\frac{1}{2}\left({\bf w}^\top(\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}+\alpha{\bf I}){\bf w}-2\beta{\bf t}^\top{\boldsymbol\Phi}{\bf w}+\beta{\bf t}^\top{\bf t}\right)\\ &=&\frac{1}{2}({\bf w}^\top\underbrace{{\bf A}}_{(3.81)}{\bf w}-2\beta{\bf t}^\top{\boldsymbol\Phi}{\bf w}+\beta{\bf t}^\top{\bf t})\\ &=&\frac{1}{2}(({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)-{\bf w}^\top{\bf A}{\bf w}+2{\bf m}_N^\top{\bf A}{\bf w}-{\bf m}_N^\top{\bf A}{\bf m}_N+{\bf w}^\top{\bf A}{\bf w}-2\beta{\bf t}^\top{\boldsymbol\Phi}{\bf w}+\beta{\bf t}^\top{\bf t})\\ &=&\frac{1}{2}(({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)+2{\bf m}_N^\top{\bf A}{\bf w}-{\bf m}_N^\top{\bf A}{\bf m}_N-2\beta{\bf t}^\top{\boldsymbol\Phi}{\bf w}+\beta{\bf t}^\top{\bf t})\\ &=&\frac{1}{2}(({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)+2(\underbrace{{\bf m}_N^\top{\bf A}-\beta{\bf t}^\top{\boldsymbol\Phi}}_{(1)}){\bf w}-{\bf m}_N^\top{\bf A}{\bf m}_N+\beta{\bf t}^\top{\bf t})\\ &=&\frac{1}{2}(({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)-{\bf m}_N^\top{\bf A}{\bf m}_N+\beta{\bf t}^\top{\bf t})\\ &=&\frac{1}{2}(\underbrace{\beta{\bf t}^\top{\bf t}-{\bf m}_N^\top{\bf A}{\bf m}_N}_{=:X})+\frac{1}{2}({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)\tag{2} \end{eqnarray}$

$X:=\beta{\bf t}^\top{\bf t}-{\bf m}_N^\top{\bf A}{\bf m}_N$ を計算します。

$\begin{eqnarray} X&:=&\beta{\bf t}^\top{\bf t}-{\bf m}_N^\top{\bf A}{\bf m}_N\\ &=&\beta({\bf t}-{\boldsymbol\Phi}{\bf m}_N)^\top({\bf t}-{\boldsymbol\Phi}{\bf m}_N)-\beta{\bf t}^\top{\bf t}+2\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\bf t}-\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf m}_N+\beta{\bf t}^\top{\bf t}-{\bf m}_N^\top{\bf A}{\bf m}_N\\ &=&\beta\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf m}_N\right|\right|^2+\underbrace{2\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\bf t}-\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf m}_N-{\bf m}_N^\top{\bf A}{\bf m}_N}_{=:Y}\tag{3} \end{eqnarray}$

$Y:=2\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\bf t}-\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf m}_N-{\bf m}_N^\top{\bf A}{\bf m}_N$ を計算します。

$\begin{eqnarray} Y&:=&2\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\bf t}-\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf m}_N-{\bf m}_N^\top{\bf A}{\bf m}_N\\ &=&2\beta{\bf m}_N^\top\underbrace{\beta^{-1}{\bf A}{\bf m}_N}_{(3.84)}-\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf m}_N-{\bf m}_N^\top{\bf A}{\bf m}_N\\ &=&2{\bf m}_N^\top{\bf A}{\bf m}_N-\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf m}_N-{\bf m}_N^\top{\bf A}{\bf m}_N\\ &=&{\bf m}_N^\top{\bf A}{\bf m}_N-\beta{\bf m}_N^\top{\boldsymbol\Phi}^\top{\boldsymbol\Phi}{\bf m}_N\\ &=&{\bf m}_N^\top({\bf A}-\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}){\bf m}_N\\ &=&{\bf m}_N^\top(\underbrace{\alpha{\bf I}}_{(3.81)}){\bf m}_N\\ &=&\alpha{\bf m}_N^\top{\bf m}_N\tag{4} \end{eqnarray}$

式 $(4)$ を式 $(3)$ に代入します。

$\begin{eqnarray} X=\beta\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf m}_N\right|\right|^2+\alpha{\bf m}_N^\top{\bf m}_N\tag{5} \end{eqnarray}$

式 $(5)$ を式 $(2)$ に代入します。

$\begin{eqnarray} E({\bf w})&=&\frac{1}{2}(\beta\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf m}_N\right|\right|^2+\alpha{\bf m}_N^\top{\bf m}_N)+\frac{1}{2}({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)\\ &=&\frac{\beta}{2}\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf m}_N\right|\right|^2+\frac{\alpha}{2}{\bf m}_N^\top{\bf m}_N+\frac{1}{2}({\bf w}-{\bf m}_N)^\top{\bf A}({\bf w}-{\bf m}_N)\\ &=&\beta \underbrace{E_D({\bf m}_N)+\alpha E_W({\bf m}_N)}_{(3.79)}+\frac{1}{2}({\bf w}-{\bf m})^\top{\bf A}({\bf w}-{\bf m})\\ &=&\underbrace{E({\bf m}_N)}_{(3.79)}+\frac{1}{2}({\bf w}-{\bf m})^\top{\bf A}({\bf w}-{\bf m})\tag{6} \end{eqnarray}$

式 $(6)$ より、式 $(3.80)$ が示せました。