機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです

目次へ戻る

2023-01-26

PRML演習問題 5.13(基本)

PRML演習問題

問題

ヘッセ行列 $\bf H$ の対称性により、二次誤差関数 $(5.28)$ の独立成分の数は $W(W+3)/2$ で与えられることを示せ。

参照

$\begin{eqnarray} E({\bf w})\simeq E(\hat{\bf w})+({\bf w}-\hat{\bf w})^\top{\bf b}+\frac{1}{2}({\bf w}-\hat{\bf w})^\top{\bf H}({\bf w}-\hat{\bf w})\tag{5.28} \end{eqnarray}$

解答

$(5.28)$ で未知の変数は ${\bf H}$ と $\bf b$ です。
$\bf H$ は対称性により未知の要素数は

$\begin{eqnarray} \dfrac{1}{2}(W^2-W)+W=\frac{1}{2}W(W+1)\tag{1} \end{eqnarray}$

個です。
$\bf b$ の未知の要素数は $W$ 個なので、
二次誤差関数 $(5.28)$ の独立成分の数は $\dfrac{1}{2}W(W+1) + W = W(W+3)/2$ 個です。

目次へ戻る