PRML演習問題 2.17(基本) www - 機械学習基礎理論独習

問題

$(2.43)$ の多変量ガウス分布を考える精度行列(逆共分散行列) ${\bf\Sigma}^{-1}$ を対称行列と反対称行列(歪対称行列)の和の形で書くと、
反対称行列の項がガウス分布の指数部分には現れなくなるため、一般性を失うことなく精度行列は対称であるとしてよいことを示せ。
この結果から、対称行列の逆行列も対称(⇒演習 $2.22$ )なので、一般性を失うことなく、共分散行列にも対称なものを選んでよいことになる。

参照

$\begin{eqnarray} \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}, \boldsymbol{\Sigma})=\frac{1}{(2 \pi)^{D / 2}} \frac{1}{|\boldsymbol{\Sigma}|^{1 / 2}} \exp \left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{\top} \mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right)\tag{2.43} \end{eqnarray}$

解答

精度行列を ${\bf\Lambda}$ とし、その成分を $\Lambda_{ij}$ とします。
対称行列と反対称行列を、 ${\bf\Lambda}^{\rm S},\ {\bf\Lambda}^{\rm A}$ とすると、 ${\bf\Lambda}$ は以下のように書けます。

$\begin{eqnarray} {\bf\Lambda}={\bf\Lambda}^{\rm S}+{\bf\Lambda}^{\rm A}\tag{1} \end{eqnarray}$

このとき、 ${\bf\Lambda}^{\rm A},\ {\bf\Lambda}^{\rm S}$ の成分は

$\begin{eqnarray} \Lambda_{ij}^{\rm S}=\frac{\Lambda_{ij}+\Lambda_{ji}}{2},\ \Lambda_{ij}^{\rm A}=\frac{\Lambda_{ij}-\Lambda_{ji}}{2}\tag{2} \end{eqnarray}$

と表せます。

ガウス分布の指数部分 $({\bf x}-{\boldsymbol\mu})^\top{\bf\Lambda}({\bf x}-{\boldsymbol\mu})$ を計算します。

$\begin{eqnarray} ({\bf x}-{\boldsymbol\mu})^\top{\bf\Lambda}({\bf x}-{\boldsymbol\mu})&=&\sum_{i=1}^D\sum_{j=1}^D(x_i-\mu_i)\Lambda_{ij}(x_j-\mu_j)\\ &=&\sum_{i=1}^D\sum_{j=1}^D(x_i-\mu_i)(\Lambda_{ij}^{\rm S}+\Lambda_{ij}^{\rm A})(x_j-\mu_j)\\ &=&\sum_{i=1}^D\sum_{j=1}^D(x_i-\mu_i)\Lambda_{ij}^{\rm S}(x_j-\mu_j)+\sum_{i=1}^D\sum_{j=1}^D(x_i-\mu_i)\Lambda_{ij}^{\rm A}(x_j-\mu_j)\\ &=&({\bf x}-{\boldsymbol\mu})^\top{\bf\Lambda}^{\rm S}({\bf x}-{\boldsymbol\mu})+\sum_{i=1}^D\sum_{j=1}^D(x_i-\mu_i)\frac{\Lambda_{ij}-\Lambda_{ji}}{2}(x_j-\mu_j)\\ &=&({\bf x}-{\boldsymbol\mu})^\top{\bf\Lambda}^{\rm S}({\bf x}-{\boldsymbol\mu})+\frac{1}{2}\left(\sum_{i=1}^D\sum_{j=1}^D(x_i-\mu_i)\Lambda_{ij}(x_j-\mu_j)-\sum_{i=1}^D\sum_{j=1}^D(x_i-\mu_i)\Lambda_{ji}(x_j-\mu_j)\right)\\ &=&({\bf x}-{\boldsymbol\mu})^\top{\bf\Lambda}^{\rm S}({\bf x}-{\boldsymbol\mu})\tag{3} \end{eqnarray}$

式 $(3)$ より、反対称行列の項がガウス分布の指数部分には現れなくなるため、
一般性を失うことなく精度行列は対称であるとしてよいことが示せました。

参考リンク

PRML演習問題 1.14(標準)