PRML演習問題 2.13(標準)

問題

$2$ つのガウス分布 $p({\bf x})={\mathcal N}({\bf x}|{\boldsymbol\mu},{\bf\Sigma})$ と $q({\bf x})={\mathcal N}({\bf x}|{\bf m},{\bf L})$ の間の
カルバック-ライブラーダイバージェンス $(1.113)$ を求めよ。

参照

$\begin{eqnarray} {\rm KL}(p||q)&=&-\int p({\bf x})\ln q({\bf x}){\rm d}{\bf x}-\left(-\int p({\bf x})\ln p({\bf x}){\rm d}{\bf x}\right)\\ &=&-\int p({\bf x})\ln \left(\frac{q({\bf x})}{p({\bf x})}\right){\rm d}{\bf x}\tag{1.113} \end{eqnarray}$

$\begin{eqnarray} &&{\rm H}[{\bf x}]=\frac{1}{2}\ln|{\bf\Sigma}|+\frac{D}{2}(1+\ln(2\pi))\tag{2.283} \end{eqnarray}$

解答

先に解答で使う式を書いておきます。
※本問題の解答の期待値は、 $p({\bf x})$ に関する期待値なので、 $\langle\rangle_{p({\bf x})}$ と書くべきですが、 $\langle\rangle$ と確率密度関数を省略しています。

$\begin{eqnarray} &&\langle{\bf x}\rangle={\boldsymbol\mu}\tag{1}\\ &&\langle{\bf x}{\bf x}^\top\rangle={\boldsymbol\mu}{\boldsymbol\mu}^\top+{\bf\Sigma}\tag{2}\\ &&{\rm Tr}({\bf A}{\bf B})={\rm Tr}({\bf B}{\bf A})\tag{3} \end{eqnarray}$

式 $(1)$ は多変量ガウス分布の期待値です。
式 $(2)$ は多変量ガウス分布の共分散の式より求まります。

${\rm KL}(p||q)$ を計算していきます。

$\begin{eqnarray} {\rm KL}(p||q)&=&-\int p({\bf x})\ln q({\bf x}){\rm d}{\bf x}+\int p({\bf x})\ln p({\bf x}){\rm d}{\bf x}\\ &=&-\langle\ln{\mathcal N}({\bf x}|{\bf m},{\bf L})\rangle-{\rm H}[{\bf x}]\\ &=&-\left\langle\ln\frac{1}{\sqrt{(2\pi)^D|{\bf L}|}}\exp\left(({\bf x}-{\bf m})^\top{\bf L}^{-1}({\bf x}-{\bf m})\right)\right\rangle-\frac{1}{2}\ln|{\bf\Sigma}|-\frac{D}{2}(1+\ln{(2\pi)})\\ &=&\frac{1}{2}\left(\langle({\bf x}-{\bf m})^\top{\bf L}^{-1}({\bf x}-{\bf m})\rangle+\ln|{\bf L}|+D\ln2\pi\right)-\frac{1}{2}\ln|{\bf\Sigma}|-\frac{D}{2}(1+\ln{(2\pi)})\\ &=&\frac{1}{2}\left(\langle({\bf x}-{\bf m})^\top{\bf L}^{-1}({\bf x}-{\bf m})\rangle+\ln\frac{|{\bf L}|}{|{\bf\Sigma}|}-D\right)\tag{4} \end{eqnarray}$

式 $(4)$ の $\langle({\bf x}-{\bf m})^\top{\bf L}^{-1}({\bf x}-{\bf m})\rangle$ を計算します。

$\begin{eqnarray} &&\langle({\bf x}-{\bf m})^\top{\bf L}^{-1}({\bf x}-{\bf m})\rangle\\ &=&{\rm Tr}(\langle({\bf x}-{\bf m})^\top{\bf L}^{-1}({\bf x}-{\bf m})\rangle)\\ &=&{\rm Tr}(\langle({\bf x}-{\bf m})({\bf x}-{\bf m})^\top{\bf L}^{-1}\rangle)\\ &=&{\rm Tr}(\langle({\bf x}-{\bf m})({\bf x}^\top-{\bf m}^\top){\bf L}^{-1}\rangle)\\ &=&{\rm Tr}(\langle({\bf x}{\bf x}^\top-{\bf x}{\bf m}^\top-{\bf m}{\bf x}^\top+{\bf m}{\bf m}^\top){\bf L}^{-1}\rangle)\\ &=&{\rm Tr}((\langle{\bf x}{\bf x}^\top\rangle-\langle{\bf x}\rangle{\bf m}^\top-{\bf m}\langle{\bf x}\rangle^\top+{\bf m}{\bf m}^\top){\bf L}^{-1})\\ &=&{\rm Tr}(({\boldsymbol\mu}{\boldsymbol\mu}^\top+{\bf\Sigma}-{\bf m}{\boldsymbol\mu}^\top-{\boldsymbol\mu}{\bf m}^\top+{\bf m}{\bf m}^\top){\bf L}^{-1})\\ &=&{\rm Tr}(({\boldsymbol\mu}({\boldsymbol\mu}^\top-{\bf m}^\top)-{\bf m}({\boldsymbol\mu}^\top-{\bf m}^\top)+{\bf\Sigma}){\bf L}^{-1})\\ &=&{\rm Tr}((({\boldsymbol\mu}-{\bf m})({\boldsymbol\mu}^\top-{\bf m}^\top)+{\bf\Sigma}){\bf L}^{-1})\\ &=&{\rm Tr}((({\boldsymbol\mu}-{\bf m})({\boldsymbol\mu}-{\bf m})^\top+{\bf\Sigma}){\bf L}^{-1})\tag{5} \end{eqnarray}$

式 $(5)$ の2行目ですが、スカラーのトレースはスカラーであることを用いています。わかりにくい場合はスカラーに $1\times 1$ の単位行列がかかっているとみてもよいと思います。
式 $(5)$ の3行目ですが、式 $(3)$ を用いています。

$(5)$ を $(4)$ に代入します。

$\begin{eqnarray} {\rm KL}(p||q)=\frac{1}{2}\left({\rm Tr}((({\boldsymbol\mu}-{\bf m})({\boldsymbol\mu}-{\bf m})^\top+{\bf\Sigma}){\bf L}^{-1})+\ln\frac{|{\bf L}|}{|{\bf\Sigma}|}-D\right)\tag{6} \end{eqnarray}$

参考文献

ベイズ推論による機械学習入門 p66-p67

機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

問題

参照

解答

関連問題

参考文献