PRML演習問題 5.2(基本) www - 機械学習基礎理論独習

問題

複数の出力を持つニューラルネットワークについて、条件付き分布 $(5.16)$ の尤度関数最大化は、
二乗和誤差関数 $(5.11)$ の最小化と等価であることを示せ。

参照

$\begin{eqnarray} E({\bf w})=\frac{1}{2}\sum_{n=1}^N||{\bf y}({\bf x}_n,{\bf w})-{\bf t}_n||\tag{5.11} \end{eqnarray}$

$\begin{eqnarray} p({\bf t}|{\bf x},{\bf w})={\mathcal N}({\bf t}|{\bf y}({\bf x},{\bf w}),\beta^{-1}{\bf I})\tag{5.16} \end{eqnarray}$

解答

観測値がそれぞれ独立であると仮定すると、条件付き分布 $(5.16)$ の尤度関数は以下のようになります。

$\begin{eqnarray} L({\bf w})&=&\prod_{n=1}^N {\mathcal N}({\bf t}_n|{\bf y}({\bf x}_n,{\bf w}),\beta^{-1}{\bf I})\\ &\propto&\prod_{n=1}^N {\rm exp}\left(-\frac{\beta}{2}||{\bf t}_n-{\bf y}({\bf x}_n,{\bf w})||^2\right)\tag{1} \end{eqnarray}$

$(1)$ より、負の対数尤度を求めます。

$\begin{eqnarray} -\ln L({\bf w}) =\beta\cdot\underbrace{\frac{1}{2}\sum_{n=1}^N || {\bf t}_n-{\bf y}({\bf x}_n,{\bf w}) || ^2}_{=(5.11)}+ {\rm const.} \tag{2} \end{eqnarray}$

よって、対数尤度関数 $L({\bf w})$ の最大化は、負の対数尤度 $-\ln L({\bf w})$ の最小化に等しく、
それは二乗和誤差関数 $(5.11)$ の最小化と等しいことがわかります。
よって、題意が示されました。