PRML演習問題 5.12(標準) www - 機械学習基礎理論独習

問題

停留点 ${\bf w}^\star$ まわりでの誤差関数のテイラー展開 $(5.32)$ を考えることで、
停留点が誤差関数の局所的極小点であることの必要十分条件は、
$(5.30)$ で定義されるヘッセ行列 $\bf H$ が正定値であることを示せ。
ただし、 $\hat{\bf w}={\bf w}^\star$ である。

参照

$\begin{eqnarray} ({\bf H})_{ij}=\left.\frac{\partial E}{\partial w_i\partial w_j}\right|_{{\bf w}=\hat{\bf w}}\tag{5.30} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})\simeq E({\bf w}^\star)+\frac{1}{2}({\bf w}-{\bf w}^\star)^\top{\bf H}({\bf w}-{\bf w}^\star)\tag{5.32} \end{eqnarray}$

解答

停留点 ${\bf w}^\star$ が誤差関数の局所的極小点であるとします。
このとき、 $E({\bf w})>E({\bf w}^\star)$ が成り立ち、 $({\bf w}-{\bf w}^\star)^\top{\bf H}({\bf w}-{\bf w}^\star)>0$ となり ${\bf H}$ が正定値行列であることがわかります。

${\bf H}$ が正定値行列であるとします。
このとき、 $({\bf w}-{\bf w}^\star)^\top{\bf H}({\bf w}-{\bf w}^\star)>0$ が成り立ち、 $E({\bf w})>E({\bf w}^\star)$ となり、停留点 ${\bf w}^\star$ が誤差関数の局所的極小点であることがわかります。

以上より、題意が示せました。