固有値と固有ベクトル - 機械学習基礎理論独習

$n\times n$ 対象行列 ${\bf A}$ に対して、

$\begin{eqnarray} {\bf A}{\bf u}=\lambda{\bf u},\ {\bf u}\not={\bf 0}\tag{1} \end{eqnarray}$

となる $\lambda$ を固有値と呼び、 ${\bf u}(\not={\bf 0})$ を固有ベクトルと呼びます。
式 $(1)$ は次のように書き直せます。

$\begin{eqnarray} (\lambda{\bf I}-{\bf A}){\bf u}={\bf 0}\tag{2} \end{eqnarray}$

これは ${\bf u}$ に関する連立1次方程式であり、これが ${\bf u}\not={\bf 0}$ の解を持つのは、
係数行列の行列式が $0$ になることです。
すなわち、

$\begin{eqnarray} \phi(\lambda)=|\lambda{\bf I}-{\bf A}|=0\tag{3} \end{eqnarray}$

です。これを固有方程式と呼びます。
$\phi(\lambda)$ は $\lambda$ の $n$ 次多項式であり、固有多項式と呼びます。
式 $(3)$ は実数係数の $n$ 次方程式であるから、一般に複素数の範囲で重複を含めて $n$ 個の解を持ちます。
したがって、 $n$ 個の固有値と対応する固有ベクトルが存在します。
しかし、対象行列に対しては、固有値はすべて実数であり、固有ベクトルは次数成分からなります。

異なる固有値に対する固有ベクトルは直交する

さらに、異なる固有値に対応する固有ベクトルは互いに直交します。
これは次のように示せます。
${\bf A}$ の固有値 $\lambda,\lambda'$ に対応する固有ベクトルをそれぞれ ${\bf u},{\bf u}'$ とします。

$\begin{eqnarray} {\bf A}{\bf u}=\lambda{\bf u},\ {\bf A}{\bf u}'=\lambda'{\bf u}'\tag{4} \end{eqnarray}$

式 $(4)$ の第1式の両辺と ${\bf u}'$ との内積、および、式 $(4)$ の第2式の両辺と ${\bf u}$ との内積はそれぞれ次のようになります。

$\begin{eqnarray} \langle{\bf u}',{\bf A}{\bf u}\rangle=\lambda\langle{\bf u}',{\bf u}\rangle,\ \langle{\bf u},{\bf A}{\bf u}'\rangle=\lambda'\langle{\bf u},{\bf u}'\rangle\tag{5} \end{eqnarray}$

${\bf A}$ が対象行列であるから、

$\begin{eqnarray} \langle{\bf u}',{\bf A}{\bf u}\rangle&=&\langle{\bf A}^\top{\bf u}',{\bf u}\rangle\\ &=&\langle{\bf A}{\bf u}',{\bf u}\rangle\\ &=&\langle{\bf u},{\bf A}{\bf u}'\rangle\tag{6} \end{eqnarray}$

です。
よって、式 $(5)$ より、

$\begin{eqnarray} &&\lambda\langle{\bf u}',{\bf u}\rangle=\lambda'\langle{\bf u},{\bf u}'\rangle\\ &&\Leftrightarrow(\lambda-\lambda')\langle{\bf u}',{\bf u}\rangle=0\\ &&\Leftrightarrow\langle{\bf u}',{\bf u}\rangle=0\ (\because\lambda\not=\lambda')\tag{7} \end{eqnarray}$

であり、式 $(7)$ より、 ${\bf u}$ と ${\bf u}'$ は直交します。

$n$ 個の固有値に重複するものがあると、重複する固有値に対しては固有ベクトルは一意的ではありません。
しかし、それらの任意の線形結合も同じ固有値に対する固有ベクトルとなるので、
それらを例えばシュミットの直交化によって、互いに直交するように選ぶことができます。
そして、 ${\bf u}$ が固有ベクトルなら、それに任意の $0$ でない定数を掛けた $c{\bf u}(c\not=0)$ も固有ベクトルです。
この結果、対象行列の固有ベクトル $\{{\bf u}_i\},i=1,\ldots,n$ を正規直交系に選ぶことができます。

偉人の名言

愚者の実験が好きで、私は常にそれを行っている。
ダーウィン

参考文献

線形代数セミナー p113-115

動画

なし