バッチ手法・逐次学習 すべての訓練データ集合を一度に処理する最尤推定のような方法はバッチ手法と呼ばれます。 バッチ手法の問題点は、大規模なデータ集合に対して計算に時間がかかるという点です。データ集合が大規模なときには、データ点を一度に つだけ…

凸集合 空でない集合内の任意の2つのベクトルと、 を満たす任意の実数に対して、が成り立つとき、を凸集合といいます。 凸集合と非凸集合のイメージを下に記します。 凸関数 凸集合上で定義された関数が、 内の任意の2つのベクトルと、なる任意のに対してを…

イェンゼンの不等式とは 関数が凸関数であるとする。このときを満たすに対して、が成り立つ。※凸関数とは下に凸の関数のことです。(例:) 例1 式より、各を確率、式の両辺を期待値の演算と解釈できます。 よって、が成り立ちます。 例2 を考えます。 この時は…

ニュートン法は真の解に近い近似値から出発すると、収束が極めて速いことが知られています。 回目の反復の近似値と真値との値の差をとすると、回目の反復の近似値と真値との値の差をは ほぼの定数倍であり、これを2次収束といいます。 2次収束 - 1変数の場合…

直線探索を用いる反復法において、探索方向をとするのではなく、もっと良い探索方向を見つけようというのが本記事の趣旨です。 共役勾配法はニュートン法のように計算量の多いを計算する必要はありません。 共役勾配法 現在の近似解がであるとき、関数の2次…

1変数の場合 2階導関数も計算できるなら、効率的な方法があります。軸上の点の近くの点での関数の値はテイラー展開して、と書けます。 ここで、はの次以上の項で、が小さいと急速に小さくなります。 これを無視して、の2次式を最大化(最小化)するために、で…

以下の最急降下法において、を固定するのではなく、ざっくり求めようというのが本記事の趣旨です。 直線探索法 関数 の最小化アルゴリズムにおいて、点 を 方向に更新することを考えます。 このとき、1変数関数 を扱うことになります。 を満たすとします。( …

最急降下法 最急降下法とは関数の一階微分のみから、関数の最小値を探索する連続最適化問題の勾配法のアルゴリズムの一つです。 反復法を用いてを解に近づけていきます。 式で書くと、以下のようになります。このは機械学習では学習係数と呼ばれる場合があり…