PRML演習問題 5.5(基本)www - 機械学習基礎理論独習

問題

出力が $y_k({\bf x},{\bf w})=p(t_k=1|{\bf x})$ と解釈される多クラスニューラルネットワークモデルについて、
尤度を最適化することは、交差エントロピー誤差関数 $(5.24)$ を最小化することと等価であることを示せ。

参照

$\begin{eqnarray} p({\bf T}|{\bf w}_1,\ldots,{\bf w}_K)=\prod_{n=1}^N\prod_{k=1}^Kp({\mathcal C}_k|{\boldsymbol\phi}_n)^{t_{nk}}=\prod_{n=1}^N\prod_{k=1}^Ky_{nk}^{t_{nk}}\tag{4.107} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})=-\sum_{n=1}^N\sum_{k=1}^Kt_{nk}\ln y_k({\bf x}_n,{\bf w})\tag{5.24} \end{eqnarray}$

解答

問題が間違ているらしいです。(こちらを参照してください。)
本文(p235,p236)では、「 $K$ 個の異なる $2$ クラス分類問題」のところで、本問題が紹介されていますが、
本問題は「多クラス分類のモデル」です。

$(4.107)$ の負の対数尤度を求めます。

$\begin{eqnarray} -\ln p({\bf T}|{\bf w}_1,\ldots,{\bf w}_K)=-\sum_{n=1}^N\sum_{k=1}^Kt_{nk}\ln y_{nk}\tag{1} \end{eqnarray}$

以上より、題意が示せました。

参考

【第５章ニューラルネットワーク】PRML演習問題解答を全力で分かりやすく解説＜5.5＞