最小2次近似 - 機械学習基礎理論独習

最小2次近似の定義

$r(\leq n)$ 本のベクトルの正規直交系 $\{{\bf u}_i\},i=1,\ldots,r$ に対しては、ベクトル ${\bf x}$ を式 $(1)$ のように展開できるとは限りません。

$\begin{eqnarray} {\bf x}=\langle{\bf u}_1,{\bf x}\rangle{\bf u}_1+\cdots+\langle{\bf u}_r,{\bf x}\rangle{\bf u}_r\tag{1} \end{eqnarray}$

しかし、

$\begin{eqnarray} J=||{\bf x}-(c_1{\bf u}_1+\cdots+c_r{\bf u}_r)||^2\tag{2} \end{eqnarray}$

が最小になるように展開係数 $c_i,i=1,\ldots,r$ を定めることができます。
そのような係数による展開を最小2次近似といいます。

係数の導出

式 $(2)$ は次のように書き直せます。

$\begin{eqnarray} J=\langle{\bf x}-\sum_{i=1}^rc_i{\bf u}_i,{\bf x}-\sum_{j=1}^rc_j{\bf u}_j\rangle\tag{3} \end{eqnarray}$

式 $(3)$ を $c_k$ で微分すると、次のようになります。

$\begin{eqnarray} \frac{\partial J}{\partial c_k}&=&\frac{\partial}{\partial c_k}\langle{\bf x}-\sum_{i=1}^rc_i{\bf u}_i,{\bf x}-\sum_{j=1}^rc_j{\bf u}_j\rangle\\ &=&\langle\frac{\partial}{\partial c_k}\left({\bf x}-\sum_{i=1}^rc_i{\bf u}_i\right),{\bf x}-\sum_{j=1}^rc_j{\bf u}_j\rangle+\langle{\bf x}-\sum_{i=1}^rc_i{\bf u}_i,\frac{\partial}{\partial c_k}\left({\bf x}-\sum_{j=1}^rc_j{\bf u}_j\right)\rangle\\ &=&\langle-{\bf u}_k,{\bf x}-\sum_{j=1}^rc_j{\bf u}_j\rangle+\langle{\bf x}-\sum_{i=1}^rc_i{\bf u}_i,-{\bf u}_k\rangle\\ &=&-2\langle{\bf u}_k,{\bf x}\rangle+2\sum_{j=1}^nc_j\langle{\bf u}_k,{\bf u}_j\rangle\\ &=&-2\langle{\bf u}_k,{\bf x}\rangle+2c_k\tag{4} \end{eqnarray}$

式 $(4)$ の2行目の式変形では次の公式を用いました。
${\bf u},{\bf v}$ が $x$ の関数であるとする。

$\begin{eqnarray} \frac{\partial}{\partial x}\langle{\bf u},{\bf v}\rangle=\langle\frac{\partial{\bf u}}{\partial x},{\bf v}\rangle+\langle{\bf u},\frac{\partial{\bf v}}{\partial x}\rangle\tag{5} \end{eqnarray}$

式 $(5)$ の導出については、こちらの $({\rm C}.20)$ をご覧ください。
式 $(4)$ を $=0$ とおきます。

$\begin{eqnarray} &&-2\langle{\bf u}_k,{\bf x}\rangle+2c_k=0\\ &&\Leftrightarrow c_k=\langle{\bf u}_k,{\bf x}\rangle\tag{6} \end{eqnarray}$

よって、式 $(6)$ より最小2次近似は次のように書けます。

$\begin{eqnarray} {\bf x}\approx\langle{\bf u}_1,{\bf x}\rangle{\bf u}_1+\cdots+\langle{\bf u}_r,{\bf x}\rangle{\bf u}_r\tag{7} \end{eqnarray}$

式 $(7)$ は式 $(1)$ の展開を第 $r$ 項で打ち切ったものとなっています。

${\bf u}_1,\ldots,{\bf u}_r$ の線形結合で表せるベクトル全体 $\mathcal{U}$ を ${\bf u}_1,\ldots,{\bf u}_r$ の張る部分空間と呼びます。
${\bf u}_1,\ldots,{\bf u}_r$ が線形独立であれば(特に正規直交基底であれば)、これらは部分空間 $\mathcal{U}$ の基底となり、その次元は $r$ です。