PRML演習問題 2.19(標準) - 機械学習基礎理論独習

問題

固有ベクトルの方程式について $(2.45)$ が成立する実対称行列 ${\bf\Sigma}$ は、
固有値を係数とする固有ベクトルで展開した、 $(2.48)$ の形で表せることを示せ。
同様に逆行列 ${\bf\Sigma}^{-1}$ は $(2.49)$ の形で表現できることを示せ。

参照

$\begin{eqnarray} {\bf\Sigma}{\bf u}_i=\lambda_i{\bf u}_i\tag{2.45} \end{eqnarray}$

$\begin{eqnarray} {\bf\Sigma}=\sum_{i=1}^D\lambda_i{\bf u}_i{\bf u}_i^\top\tag{2.48} \end{eqnarray}$

$\begin{eqnarray} {\bf\Sigma}^{-1}=\sum_{i=1}^D\frac{1}{\lambda_i}{\bf u}_i{\bf u}_i^\top\tag{2.49} \end{eqnarray}$

解答

直交行列 ${\bf U}$ を以下のように定義します。

$\begin{eqnarray} {\bf U}=({\bf u}_1,\cdots,{\bf u}_D)\tag{1} \end{eqnarray}$

対象行列 ${\bf\Lambda}$ を以下のように定義します。

$\begin{eqnarray} {\bf\Lambda}&=&{\rm diag}(\lambda_1,\ldots,\lambda_D)\\ &=&\begin{pmatrix}\lambda_1 & & 0\\ & \ddots & \\0 & & \lambda_D\end{pmatrix}\tag{2} \end{eqnarray}$

式 $(2.45)$ を全ての $i$ についてまとめて書きます。

$\begin{eqnarray} &&{\bf\Sigma}({\bf u}_1\cdots{\bf u}_K)=(\lambda_1{\bf u}_1\cdots\lambda_K{\bf u}_K)\\ &&\Leftrightarrow {\bf\Sigma}{\bf U}={\bf\Lambda}{\bf U}\\ &&\Leftrightarrow {\bf\Sigma}={\bf\Lambda}{\bf U}{\bf U}^{-1}\\ &&\Leftrightarrow {\bf\Sigma}={\bf\Lambda}{\bf U}{\bf U}^\top\\ &&\Leftrightarrow {\bf\Sigma}=\sum_{i=1}^D\lambda_i{\bf u}_i{\bf u}_i^\top\tag{3} \end{eqnarray}$

式 $(3)$ より、式 $(2.48)$ が示せました。

${\bf\Sigma}^{-1}$ を計算します。

$\begin{eqnarray} {\bf\Sigma}^{-1}&=&({\bf\Lambda}{\bf U}{\bf U}^\top)^{-1}\\ &=&({\bf U}^\top)^{-1}{\bf U}^{-1}{\bf\Lambda}^{-1}\\ &=&\sum_{i=1}^D\frac{1}{\lambda_i}{\bf u}_i{\bf u}_i^\top\tag{4} \end{eqnarray}$

式 $(4)$ より、式 $(2.49)$ が示せました。