等高線と勾配ベクトル - 機械学習基礎理論独習

等高線

2変数関数 $f(x,y)$ を考えます。
$xy$ 平面上で関数値が一定の軌跡を等高線( $f(x,y)=c$ )と呼びます。
例として、 $f(x,y)=x^2+y^2$ のグラフと等高線と以下に示します。

f:id:olj611:20210309212044p:plain:w600

等高線と勾配ベクトルは垂直

点 $(\bar{x},\bar{y})$ での関数値を $c$ とすると、点 $(\bar{x},\bar{y})$ は $f(x,y)=c$ 上にある。
点 $(\bar{x},\bar{y})$ の近くにあって、その等高線上にある点 $(\bar{x}+\Delta x,\bar{y}+\Delta y)$ を考えます。
この時、

$\begin{eqnarray} f(\bar{x}+\Delta x+\bar{y}+\Delta y)=c\tag{1} \end{eqnarray}$

です。(1)をテイラー展開します。

$\begin{eqnarray} &&f(\bar{x},\bar{y})+\frac{\partial}{\partial x}f(\bar{x},\bar{y})\Delta x+\frac{\partial}{\partial y}f(\bar{x},\bar{y})\Delta y+\cdots=c\\ &&\Leftrightarrow \frac{\partial}{\partial x}f(\bar{x},\bar{y})\Delta x+\frac{\partial}{\partial y}f(\bar{x},\bar{y})\Delta y+\cdots=0\tag{2}\\ \end{eqnarray}$

(2)の $\cdots$ は $\Delta x,\Delta y$ の2次以上の項です。
$\nabla f,\Delta{\bf x}$ を以下のようにおきます。

$\begin{eqnarray} &&\nabla f=\left(\frac{\partial}{\partial x}f(\bar{x},\bar{y}),\frac{\partial}{\partial y}f(\bar{x},\bar{y})\right)^\top\tag{3}\\ &&\Delta{\bf x}=(\Delta x,\Delta y)^\top\tag{4} \end{eqnarray}$