ベクトル、行列に関する微分の定義 - 機械学習基礎理論独習

定義

ベクトルや行列のスカラーについての微分を考える必要があることがあります。

以下で、
「ベクトルのスカラーによる微分」、「行列のスカラーの行列による微分」、
「スカラーのベクトルによる微分」、「スカラーの行列による微分」、「ベクトルのベクトルによる微分」を
恐らく日本で一番読まれている機械学習の本「パターン認識と機械学習」(以下、PRML)に従って定義します。

数学的には「ベクトルで微分」というのはおかしな話ですが、
微分の連鎖率が使えたり、式の見通しがよくなるので、そういったものを定義したんだと思います。

ベクトル ${\bf a}\in{\mathbb R}^n$ のスカラー $x$ による微分は、それ自身ベクトルであり、その各要素は

$\begin{eqnarray} \left(\frac{\partial {\bf a}}{\partial x}\right)_i=\frac{\partial a_i}{\partial x}\tag{1} \end{eqnarray}$

によって与えられ、全成分書き出すと以下のように書けます。

$\begin{eqnarray} \frac{\partial {\bf a}}{\partial x}=\begin{pmatrix}\frac{\partial a_1}{\partial x}\\ \vdots\\ \frac{\partial a_n}{\partial x} \end{pmatrix}\tag{2} \end{eqnarray}$

行列 ${\bf A}\in{\mathbb R}^{m\times n}$ のスカラー $x$ による微分は、それ自身行列であり、その各要素は

$\begin{eqnarray} \left(\frac{\partial {\bf A}}{\partial x}\right)_{ij}=\frac{\partial a_{ij}}{\partial x}\tag{3} \end{eqnarray}$

によって与えられ、全成分書き出すと以下のように書けます。

$\begin{eqnarray} \frac{\partial {\bf A}}{\partial x}=\begin{pmatrix} \frac{\partial a_{11}}{\partial x} & \cdots & \frac{\partial a_{1n}}{\partial x} \\ \vdots & \ddots & \vdots\\ \frac{\partial a_{m1}}{\partial x} & \cdots & \frac{\partial a_{mn}}{\partial x}\\ \end{pmatrix}\tag{4} \end{eqnarray}$

スカラー $x$ のベクトル ${\bf a}\in{\mathbb R}^n$ による微分は、それ自身ベクトルであり、その各要素は

$\begin{eqnarray} \left(\frac{\partial x}{\partial {\bf a}}\right)_i=\frac{\partial x}{\partial a_i}\tag{5} \end{eqnarray}$

によって与えられ、全成分書き出すと以下のように書けます。

$\begin{eqnarray} \frac{\partial x}{\partial {\bf a}}=\begin{pmatrix}\frac{\partial x}{\partial a_1}\\ \vdots\\ \frac{\partial x}{\partial a_n} \end{pmatrix}\tag{6} \end{eqnarray}$

スカラー $x$ の行列 ${\bf A}\in{\mathbb R}^{m\times n}$ による微分は、それ自身行列であり、その各要素は

$\begin{eqnarray} \left(\frac{\partial x}{\partial {\bf A}}\right)_{ij}=\frac{\partial x}{\partial a_{ij}}\tag{7} \end{eqnarray}$

によって与えられ、全成分書き出すと以下のように書けます。

$\begin{eqnarray} \frac{\partial x}{\partial {\bf A}}=\begin{pmatrix} \frac{\partial x}{\partial a_{11}} & \cdots & \frac{\partial x}{\partial a_{1n}} \\ \vdots & \ddots & \vdots\\ \frac{\partial x}{\partial a_{m1}} & \cdots & \frac{\partial x}{\partial a_{mn}}\\ \end{pmatrix}\tag{8} \end{eqnarray}$

ベクトル ${\bf a}\in{\mathbb R}^n$ のベクトル ${\bf b}\in{\mathbb R}^n$ についての微分は、それ自身行列であり、その各要素は

$\begin{eqnarray} \left(\frac{\partial {\bf a}}{\partial {\bf b}}\right)_{ij}=\frac{\partial a_i}{\partial b_j}\tag{9} \end{eqnarray}$

によって与えられ、全成分書き出すと以下のように書けます。

$\begin{eqnarray} \frac{\partial {\bf a}}{\partial {\bf b}}=\begin{pmatrix} \frac{\partial a_1}{\partial b_1} & \cdots & \frac{\partial a_1}{\partial b_n} \\ \vdots & \ddots & \vdots\\ \frac{\partial a_n}{\partial b_1} & \cdots & \frac{\partial a_n}{\partial b_n}\\ \end{pmatrix}\tag{10} \end{eqnarray}$