ムーア・ぺンローズ型一般逆行列

$m\times n$ 行列 ${\bf A}\not={\bf O}$ が特異値分解されている時、(ムーア・ペンローズ型)一般逆行列(疑似逆行列)を次の $n\times m$ 行列と定義します。

$\begin{eqnarray} {\bf A}^{-}=\frac{{\bf v}_1{\bf u}_1^\top}{\sigma_1}+\cdots+\frac{{\bf v}_r{\bf u}_r^\top}{\sigma_r}\tag{1} \end{eqnarray}$

$\bf A$ が正則であれば、これは ${\bf A}^{-1}$ と一致します。これを以下で証明します。

[証明]

$\begin{eqnarray} {\bf A}^{-}{\bf A}&=&\left(\sum_{i=1}^n\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\right)\left(\sum_{j=1}^n\sigma_j{\bf v}_j{\bf u}_j^\top\right)\\ &=&\sum_{i=1}^n\sum_{j=1}^n\frac{\sigma_j}{\sigma_i}{\bf v}_i{\bf u}_i^\top{\bf u}_j{\bf v}_j^\top\\ &=&\sum_{i=1}^n\sum_{j=1}^n\frac{\sigma_j}{\sigma_i}\delta_{ij}{\bf v}_i{\bf v}_j^\top\\ &=&\sum_{i=1}^n{\bf v}_i{\bf v}_i^\top\\ &=&{\bf I}\tag{2} \end{eqnarray}$

[証明終わり]

特異値分解のときのように以下の行列の形でも示せます。

$\begin{eqnarray} {\bf A}^{-}={\bf V}\begin{pmatrix}1 / \sigma_1 & & \\ & \ddots & \\ & & 1 / \sigma_r\end{pmatrix}{\bf U}^\top\tag{2} \end{eqnarray}$

列空間と行空間への射影

${\bf A}{\bf A}^{-},{\bf A}^{-}{\bf A}$ を計算します。

$\begin{eqnarray} {\bf A}{\bf A}^{-}&=&\left(\sum_{i=1}^r\sigma_i{\bf v}_i{\bf u}_i^\top\right)\left(\sum_{j=1}^r\frac{{\bf v}_j{\bf u}_j^\top}{\sigma_j}\right)\\ &=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_i}{\sigma_j}{\bf u}_i{\bf v}_i^\top{\bf v}_j{\bf u}_j^\top\\ &=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_i}{\sigma_j}\delta_{ij}{\bf u}_i{\bf u}_j^\top\\ &=&\sum_{i=1}^r{\bf u}_i{\bf u}_i^\top\\ &=&{\bf P}_{\mathcal{U}}\tag{3} \end{eqnarray}$

$(3)$ の ${\bf P}_{\mathcal{U}}$ は列空間 $\mathcal{U}$ への射影です。

$\begin{eqnarray} {\bf A}^{-}{\bf A}&=&\left(\sum_{i=1}^r\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\right)\left(\sum_{j=1}^r\sigma_j{\bf v}_j{\bf u}_j^\top\right)\\ &=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_j}{\sigma_i}{\bf v}_i{\bf u}_i^\top{\bf u}_j{\bf v}_j^\top\\ &=&\sum_{i=1}^r\sum_{j=1}^r\frac{\sigma_j}{\sigma_i}\delta_{ij}{\bf v}_i{\bf v}_j^\top\\ &=&\sum_{i=1}^r{\bf v}_i{\bf v}_i^\top\\ &=&{\bf P}_{\mathcal{V}}\tag{4} \end{eqnarray}$

$(4)$ の ${\bf P}_{\mathcal{V}}$ は行空間 $\mathcal{V}$ への射影です。

${\bf x}\in\mathcal{U}$ に対して、 ${\bf P}_{\mathcal{U}}{\bf x}={\bf x}$ であるから、
列空間 $\mathcal{U}$ において、 ${\bf A}^{-}$ は ${\bf A}$ の逆変換です。
同様に、行空間 $\mathcal{V}$ において、 ${\bf A}^{-}$ は ${\bf A}$ の逆変換です。

また、特異値分解のときと同様に以下の式が成り立ちます。

$\begin{eqnarray} {\bf P}_{\mathcal{V}}{\bf A}^{-}&=&\sum_{i=1}^r\sum_{j=1}^r\frac{1}{\sigma_j}{\bf v}_i{\bf v}_i^\top{\bf v}_j{\bf u}_j^\top\\ &=&\sum_{i=1}^r\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\\ &=&{\bf A}\tag{5} \end{eqnarray}$

$\begin{eqnarray} {\bf A}^{-}{\bf P}_{\mathcal{U}}&=&\sum_{i=1}^r\sum_{j=1}^r\frac{1}{\sigma_i}{\bf v}_i{\bf u}_i^\top{\bf u}_j{\bf u}_j^\top\\ &=&\sum_{i=1}^r\frac{{\bf v}_i{\bf u}_i^\top}{\sigma_i}\\ &=&{\bf A}\tag{6} \end{eqnarray}$