機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

ムーア・ぺンローズ型一般逆行列

ムーア・ぺンローズ型一般逆行列

m\times n行列{\bf A}\not={\bf O}特異値分解されている時、(ムーア・ペンローズ型)一般逆行列(疑似逆行列)を次のn\times m行列と定義します。

\begin{eqnarray}
{\bf A}^{-}=\frac{{\bf v}_1{\bf u}_1^\top}{\sigma_1}+\cdots+\frac{{\bf v}_r{\bf u}_r^\top}{\sigma_r}\tag{1}
\end{eqnarray}

\bf Aが正則であれば、これは{\bf A}^{-1}と一致します。これを以下で証明します。

[証明]

\begin{eqnarray}
{\bf A}^{-}{\bf A}&=&\left(\sum_{i=1}^n\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\right)\left(\sum_{j=1}^n\sigma_j{\bf v}_j{\bf u}_j^\top\right)\\
&=&\sum_{i=1}^n\sum_{j=1}^n\frac{\sigma_j}{\sigma_i}{\bf v}_i{\bf u}_i^\top{\bf u}_j{\bf v}_j^\top\\
&=&\sum_{i=1}^n\sum_{j=1}^n\frac{\sigma_j}{\sigma_i}\delta_{ij}{\bf v}_i{\bf v}_j^\top\\
&=&\sum_{i=1}^n{\bf v}_i{\bf v}_i^\top\\
&=&{\bf I}\tag{2}
\end{eqnarray}

[証明終わり]

特異値分解のときのように以下の行列の形でも示せます。

\begin{eqnarray}
{\bf A}^{-}={\bf V}\begin{pmatrix}1 / \sigma_1 & & \\ & \ddots & \\ & & 1 / \sigma_r\end{pmatrix}{\bf U}^\top\tag{2}
\end{eqnarray}

列空間と行空間への射影

{\bf A}{\bf A}^{-},{\bf A}^{-}{\bf A}を計算します。

\begin{eqnarray}
{\bf A}{\bf A}^{-}&=&\left(\sum_{i=1}^r\sigma_i{\bf v}_i{\bf u}_i^\top\right)\left(\sum_{j=1}^r\frac{{\bf v}_j{\bf u}_j^\top}{\sigma_j}\right)\\
&=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_i}{\sigma_j}{\bf u}_i{\bf v}_i^\top{\bf v}_j{\bf u}_j^\top\\
&=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_i}{\sigma_j}\delta_{ij}{\bf u}_i{\bf u}_j^\top\\
&=&\sum_{i=1}^r{\bf u}_i{\bf u}_i^\top\\
&=&{\bf P}_{\mathcal{U}}\tag{3}
\end{eqnarray}

(3){\bf P}_{\mathcal{U}}は列空間\mathcal{U}への射影です。

\begin{eqnarray}
{\bf A}^{-}{\bf A}&=&\left(\sum_{i=1}^r\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\right)\left(\sum_{j=1}^r\sigma_j{\bf v}_j{\bf u}_j^\top\right)\\
&=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_j}{\sigma_i}{\bf v}_i{\bf u}_i^\top{\bf u}_j{\bf v}_j^\top\\
&=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_j}{\sigma_i}\delta_{ij}{\bf v}_i{\bf v}_j^\top\\
&=&\sum_{i=1}^r{\bf v}_i{\bf v}_i^\top\\
&=&{\bf P}_{\mathcal{V}}\tag{4}
\end{eqnarray}

(4){\bf P}_{\mathcal{V}}は行空間\mathcal{V}への射影です。

{\bf x}\in\mathcal{U}に対して、{\bf P}_{\mathcal{U}}{\bf x}={\bf x}であるから、
列空間\mathcal{U}において、{\bf A}^{-}{\bf A}の逆変換です。
同様に、行空間\mathcal{V}において、{\bf A}^{-}{\bf A}の逆変換です。

また、特異値分解のときと同様に以下の式が成り立ちます。

\begin{eqnarray}
{\bf P}_{\mathcal{V}}{\bf A}^{-}&=&\sum_{i=1}^r\sum_{j=1}^r\frac{1}{\sigma_j}{\bf v}_i{\bf v}_i^\top{\bf v}_j{\bf u}_j^\top\\
&=&\sum_{i=1}^r\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\\
&=&{\bf A}\tag{5}
\end{eqnarray}

\begin{eqnarray}
{\bf A}^{-}{\bf P}_{\mathcal{U}}&=&\sum_{i=1}^r\sum_{j=1}^r\frac{1}{\sigma_i}{\bf v}_i{\bf u}_i^\top{\bf u}_j{\bf u}_j^\top\\
&=&\sum_{i=1}^r\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\\
&=&{\bf A}\tag{6}
\end{eqnarray}

以上より、次の一般逆行列に関する基本的な恒等式が得られます。

\begin{eqnarray}
&&{\bf A}^{-}{\bf A}{\bf A}^{-}={\bf A}^{-}\tag{7}\\
&&{\bf A}{\bf A}^{-}{\bf A}={\bf A}\tag{8}\\
\end{eqnarray}

(7)式を満たす{\bf A}^{-}は「一般の」一般逆行列
加えて(8)式が成り立つものは「反射型」一般逆行列
加えて{\bf A}{\bf A}^{-},{\bf A}^{-}{\bf A}が対象行列であるものが「ムーア・ペンローズ型」一般逆行列です。

f:id:olj611:20210518162924p:plain:w500

偉人の名言

f:id:olj611:20210518163230p:plain:w300
踏まれても叩かれても、努力さえしつづけていれば、必ずいつかは実を結ぶ。
升田幸三

参考文献

線形代数セミナー

動画

目次へ戻る