問題 入力に、分布 を持つノイズがある場合の二乗和誤差関数 を考える。 変分法を用いて、この誤差関数を関数 について最小化し最適な解は、 基底関数として を用いた展開 の形で与えられることを示せ。 参照 解答 は二乗和誤差の期待値を足しわせたものであ…

パーセプトロンの収束定理の証明 特徴空間上の学習データ は線形分離可能とします。 に を乗算します。パーセプトロンの誤り訂正の過程で正しく識別できなかった学習パターンを順にとします。 ということは、 は正しく識別できなかった 番目のパターンを表し…

バッチ手法・逐次学習 すべての訓練データ集合を一度に処理する最尤推定のような方法はバッチ手法と呼ばれます。 バッチ手法の問題点は、大規模なデータ集合に対して計算に時間がかかるという点です。データ集合が大規模なときには、データ点を一度に つだけ…