機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

最急降下法

最急降下法

最急降下法とは関数の一階微分のみから、関数の最小値を探索する連続最適化問題の勾配法のアルゴリズムの一つです。
反復法を用いて\bf xを解に近づけていきます。
式で書くと、以下のようになります。

\begin{eqnarray}
{\bf x}^{(k+1)}={\bf x}^{(k)}-\alpha\nabla f({\bf x}^{(k)})\tag{1}
\end{eqnarray}

この\alpha> 0機械学習では学習係数と呼ばれる場合があります。

「勾配ベクトル方向に点を動かす」の記事でも書きましたが、
勾配ベクトルと同じ方向へ点を動かすと関数値は最も増加するので、
最急降下法では、関数の最小値を見つけるために、勾配ベクトルと逆方向へ動かすわけです。

解の探索能力、収束速度は\alphaに強く依存しており、\alphaが大きすぎると発散の恐れがあり、小さすぎると収束が遅くなります。

最急降下法のイメージを以下に記します。
{\bf x}_0がスタート地点で、{\bf x}_1,{\bf x}_2と徐々に最小値へ近づいていることが分かります。


偉人の名言


良い評判を得る方法は、あなた自身が望む姿になるよう努力することだ。
ソクラテス

参考リンク

最急降下法 - Wikipedia

動画

なし

目次へ戻る