勾配ベクトル方向に点を動かす - 機械学習基礎理論独習

点 $(\bar{x},\bar{y})$ から $(\Delta x,\Delta y)$ 動かしたときの $f(x,y)$ の増加量は
$f(\bar{x}+\Delta x,\bar{y}+\Delta y)-f(\bar{x},\bar{y})$ です。

テイラーの定理より

$\begin{eqnarray} f(\bar{x}+\Delta x,\bar{y}+\Delta y)=f(x,y)+\frac{\partial}{\partial x}f(\bar{x},\bar{y})\Delta x+\frac{\partial}{\partial y}f(\bar{x},\bar{y})\Delta y+\cdots\tag{1} \end{eqnarray}$

となります。

$\Delta x,\Delta y$ の2次以上の項を無視すると、

$\begin{eqnarray} f(\bar{x}+\Delta x,\bar{y}+\Delta y)=f(x,y)+\frac{\partial}{\partial x}f(\bar{x},\bar{y})\Delta x+\frac{\partial}{\partial y}f(\bar{x},\bar{y})\Delta y\tag{2} \end{eqnarray}$

となります。

ここで、以下のようにおきます。

$\begin{eqnarray} &&\nabla\bar{f}=\left(\frac{\partial}{\partial x}f(\bar{x},\bar{y}),\frac{\partial}{\partial y}f(\bar{x},\bar{y})\right)^\top\tag{3}\\ &&\Delta{\bf x}=(\Delta x,\Delta y)^\top\tag{4} \end{eqnarray}$

$(2),(3),(4)$ より

$\begin{eqnarray} f(\bar{x}+\Delta x,\bar{y}+\Delta y)-f(x,y)&=&\frac{\partial}{\partial x}f(\bar{x},\bar{y})\Delta x+\frac{\partial}{\partial y}f(\bar{x},\bar{y})\Delta y\\ &=&\nabla\bar{f}^\top\Delta{\bf x}\\ &=&||\nabla\bar{f}||\cdot||\Delta{\bf x}||\cos\theta\tag{5} \end{eqnarray}$