最急降下法

最急降下法とは関数の一階微分のみから、関数の最小値を探索する連続最適化問題の勾配法のアルゴリズムの一つです。
反復法を用いて $\bf x$ を解に近づけていきます。
式で書くと、以下のようになります。

$\begin{eqnarray} {\bf x}^{(k+1)}={\bf x}^{(k)}-\alpha\nabla f({\bf x}^{(k)})\tag{1} \end{eqnarray}$

この $\alpha> 0$ は機械学習では学習係数と呼ばれる場合があります。

「勾配ベクトル方向に点を動かす」の記事でも書きましたが、
勾配ベクトルと同じ方向へ点を動かすと関数値は最も増加するので、
最急降下法では、関数の最小値を見つけるために、勾配ベクトルと逆方向へ動かすわけです。

解の探索能力、収束速度は $\alpha$ に強く依存しており、 $\alpha$ が大きすぎると発散の恐れがあり、小さすぎると収束が遅くなります。

最急降下法のイメージを以下に記します。
${\bf x}_0$ がスタート地点で、 ${\bf x}_1,{\bf x}_2$ と徐々に最小値へ近づいていることが分かります。

良い評判を得る方法は、あなた自身が望む姿になるよう努力することだ。
ソクラテス

なし