問題 停留点 まわりでの誤差関数のテイラー展開 を考えることで、 停留点が誤差関数の局所的極小点であることの必要十分条件は、 で定義されるヘッセ行列 が正定値であることを示せ。 ただし、 である。 参照 解答 停留点 が誤差関数の局所的極小点であると…

問題 で定義される二次誤差関数を考える。 ここで、ヘッセ行列 が で与えられる固有方程式を持つとする。 このとき誤差一定の等高線は、方向が固有ベクトル であり、 長さが対応する固有値 の平方根の逆数であるような軸を持つ楕円であることを示せ。 参照 …

問題 固有方程式 を持つへッセ行列 を考える。 におけるベクトル を順々に固有ベクトル のそれぞれと等しくすることにより、 すべての固有値が正であるとき、そのときに限り は正定値であることを示せ。 参照 解答 題意を示すには、「すべての固有値が正であ…

問題 ソフトマックス活性化関数の微分の結果 を使って、 交差エントロピー誤差 の勾配が で与えられることを示せ。 参照 解答 をで偏微分します。 の4行目で とおきました。 の と を別々に計算します。ではを使いました。の2行目から3行目では、よりの項だ…

問題 ロジスティックシグモイド活性化関数を持つ出力ユニットの活性 に関する 誤差関数 の微分は、 を満たすことを示せ。 参考 解答 を で微分します。以上より、題意が示せました。

問題 出力が と解釈される多クラスニューラルネットワークモデルについて、 尤度を最適化することは、交差エントロピー誤差関数 を最小化することと等価であることを示せ。 参照 解答 問題が間違ているらしいです。(こちらを参照してください。) 本文(p235,p…