バッチ手法・逐次学習
すべての訓練データ集合を一度に処理する最尤推定のような方法はバッチ手法と呼ばれます。
バッチ手法の問題点は、大規模なデータ集合に対して計算に時間がかかるという点です。
データ集合が大規模なときには、データ点を一度に つだけ用いてモデルのパラメータを順次更新してしいく
逐次学習(あるいはオンライン学習としても知られる)アルゴリズムを使うとよいです。
確率的勾配降下法
逐次学習のアルゴリズムは、以下のように確率的勾配降下法を適用することにより得られます。
誤差関数が のようにデータ点の和からなるとき、パターン
が与えられた(
はランダムに選ぶことが多い)とき、
確率的勾配降下法では、パラメータベクトル を
を用いて更新します。
は繰り返しの回数で、
は学習率パラメータです。
は適当に初期化しておく必要があります。
偉人の名言
数学は、人間精神の栄光のためにある。
ヤコビ
