PRML演習問題 5.11(標準) www - 機械学習基礎理論独習

問題

$(5.32)$ で定義される二次誤差関数を考える。
ここで、ヘッセ行列 $\bf H$ が $(5.33)$ で与えられる固有方程式を持つとする。
このとき誤差一定の等高線は、方向が固有ベクトル ${\bf u}_i$ であり、
長さが対応する固有値 $\lambda_i$ の平方根の逆数であるような軸を持つ楕円であることを示せ。

参照

$\begin{eqnarray} E({\bf w})\simeq E({\bf w}^\star)+\frac{1}{2}({\bf w}-{\bf w}^\star)^\top{\bf H}({\bf w}-{\bf w}^\star)\tag{5.32} \end{eqnarray}$

$\begin{eqnarray} {\bf H}{\bf u}_i=\lambda_i{\bf u}_i\tag{5.33} \end{eqnarray}$

$\begin{eqnarray} {\bf w}-{\bf w}^\star=\sum_i\alpha_i{\bf u}_i\tag{5.35} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})=E({\bf w}^\star)+\frac{1}{2}\lambda_i\alpha_i^2\tag{5.36} \end{eqnarray}$

解答

誤差一定の等高線をについて考えるので、 $(5.32)$ より以下の式が成り立ちます。

$\begin{eqnarray} E({\bf w}^\star)+\frac{1}{2}({\bf w}-{\bf w}^\star)^\top{\bf H}({\bf w}-{\bf w}^\star)=C\tag{1} \end{eqnarray}$

$(1)$ で $C$ は定数としました。
$(1)$ と $(5.36)$ より、

$\begin{eqnarray} &&E({\bf w}^\star)+\frac{1}{2}\sum_i\lambda_i\alpha_i^2=C\\ &&\Leftrightarrow\sum_i\lambda_i\alpha_i^2=C-2E({\bf w}^\star)=\tilde{C}\tag{2} \end{eqnarray}$

となります。
$(2)$ は各軸の長さが $\displaystyle\sqrt{\dfrac{\tilde{C}}{\lambda_i}}$ の楕円であるので、題意が示せました。

補足

本問題のイメージ図は以下です。