ヘッセ行列をベクトルによる微分で表す

ヘッセ行列の定義

関数 $f({\bf x})$ のヘッセ行列は以下で定義されます。

$\begin{eqnarray} {\rm \bf H}=\nabla\nabla f=\begin{pmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2f}{\partial x_1\partial x_n}\\ \frac{\partial^2f}{\partial x_2 \partial x_1} & \frac{\partial^2f}{\partial x_2^2} & \cdots & \frac{\partial^2f}{\partial x_2\partial x_n}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial^2f}{\partial x_n \partial x_1} & \frac{\partial^2f}{\partial x_n\partial x_1} & \cdots & \frac{\partial^2f}{\partial x_n^2}\\ \end{pmatrix}\tag{1} \end{eqnarray}$

上記のヘッセ行列の行列式 $|{\bf H}|$ はヘシアンまたはヘッシアンと呼ばれます。
また、ヘッセ行列は対象行列です。

ヘッセ行列をベクトルの微分で表す

Matrix calculus- Wikipediaによると、ヘッセ行列はベクトルによる微分を使って

f:id:olj611:20211210235706p:plain:w800

と書けるようです。

ここで、

$\begin{eqnarray} \frac{\partial^2f}{\partial{\bf x}\partial{\bf x}^\top}=\frac{\partial}{\partial{\bf x}}\left(\frac{\partial f}{\partial{\bf x}}\right)\tag{2} \end{eqnarray}$

です。(だと思います。)

PRMLによると、ベクトルのベクトルによる微分は、Numerator Layout なので、ヘッセ行列 $\rm\bf H$ はベクトル微分を使って次のように書けます。

$\begin{eqnarray} &&{\rm {\bf H}}^\top= \frac{\partial^2f}{\partial{\bf x}\partial{\bf x}^\top}\\ &&\Leftrightarrow {\rm {\bf H}} = \left(\frac{\partial^2f}{\partial{\bf x}\partial{\bf x}^\top}\right)^\top=\left(\frac{\partial}{\partial{\bf x}}\left(\frac{\partial f}{\partial{\bf x}}\right)\right)^\top\tag{3} \end{eqnarray}$

$(3)$ を計算して、 $(3)$ が $(1)$ と等しいことを示します。

$\begin{eqnarray} {\rm {\bf H}} &=&\left(\dfrac{\partial^2f}{\partial{\bf x}\partial{\bf x}^\top}\right)^\top\\ &=&\left(\frac{\partial}{\partial{\bf x}}\left(\frac{\partial f}{\partial{\bf x}}\right)\right)^\top\\ &=&\left(\frac{\partial}{\partial{\bf x}}\begin{pmatrix}\frac{\partial f}{\partial x_1}\\ \vdots\\ \frac{\partial f}{\partial x_n}\end{pmatrix}\right)^\top\\ &=&\begin{pmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_2\partial x_1} & \cdots & \frac{\partial^2f}{\partial x_n\partial x_1}\\ \frac{\partial^2f}{\partial x_1 \partial x_2} & \frac{\partial^2f}{\partial x_2^2} & \cdots & \frac{\partial^2f}{\partial x_n\partial x_2}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial^2f}{\partial x_1 \partial x_n} & \frac{\partial^2f}{\partial x_2\partial x_n} & \cdots & \frac{\partial^2f}{\partial x_n^2}\\ \end{pmatrix}^\top\\ &=&\begin{pmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2f}{\partial x_1\partial x_n}\\ \frac{\partial^2f}{\partial x_2 \partial x_1} & \frac{\partial^2f}{\partial x_2^2} & \cdots & \frac{\partial^2f}{\partial x_2\partial x_n}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial^2f}{\partial x_n \partial x_1} & \frac{\partial^2f}{\partial x_n\partial x_1} & \cdots & \frac{\partial^2f}{\partial x_n^2}\\ \end{pmatrix}\tag{4} \end{eqnarray}$