PRML演習問題 10.6(標準) - 機械学習基礎理論独習

問題

$\alpha$ ダイバージェンスは $(10.19)$ で定義される。
カルバック-ライブラーダイバージェンス ${\rm KL}(p||q)$ はこのとき $\alpha\rightarrow1$ の場合に対応することを示せ。
これには $p^\epsilon=\exp(\epsilon\ln p)=1+\epsilon\ln p+O(\epsilon^2)$ と書き、 $\epsilon\rightarrow0$ すればよい。
同様にして、 ${\rm KL}(q||p)$ は $\alpha\rightarrow-1$ の場合に対応することを示せ。

参照

$\begin{eqnarray} {\rm D}_\alpha(p||q)=\frac{4}{1-\alpha^2}\left(1-\int p(x)^{(1+\alpha)/2}q(x)^{(1-\alpha)/2}{\rm d}x\right)\tag{10.19} \end{eqnarray}$

解答

まず、 $\alpha\rightarrow1$ の場合を考えます。
${\rm D}_\alpha(p||q)$ を計算します。

$\begin{eqnarray} {\rm D}_\alpha(p||q)&=&\frac{4}{1-\alpha^2}\left(1-\int p(x)^{(1+\alpha)/2}q(x)^{(1-\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int p(x)\cdot p(x)^{(-1+\alpha)/2}q(x)^{(1-\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int p(x)\cdot p(x)^{-(1-\alpha)/2}q(x)^{(1-\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int p(x)\left(\frac{q(x)}{p(x)}\right)^{(1-\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int p(x)\left(1+\frac{1-\alpha}{2}\ln\frac{q(x)}{p(x)}+O\left(\left(\frac{1-\alpha}{2}\right)^2\right)\right){\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int p(x){\rm d}x-\frac{1-\alpha}{2}\int p(x)\ln\frac{q(x)}{p(x)}{\rm d}x-O\left(\left(\frac{1-\alpha}{2}\right)^2\right)\int p(x){\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-1-\frac{1-\alpha}{2}\int p(x)\ln\frac{q(x)}{p(x)}{\rm d}x-O\left(\left(\frac{1-\alpha}{2}\right)^2\right)\cdot1\right)\\ &=&-\frac{2}{1+\alpha}\int p(x)\ln\frac{q(x)}{p(x)}{\rm d}x-\frac{4}{1-\alpha^2}O\left(\left(\frac{1-\alpha}{2}\right)^2\right)\\ &=&-\frac{2}{1+\alpha}\int p(x)\ln\frac{q(x)}{p(x)}{\rm d}x-\frac{4}{(1-\alpha)(1+\alpha)}O\left(\frac{(1-\alpha)(1-\alpha)}{4}\right)\tag{1} \end{eqnarray}$

式 $(1)$ において、 $\alpha\rightarrow1$ とします。

$\begin{eqnarray} \lim_{\alpha\rightarrow1}{\rm D}_\alpha(p||q)&=&-\frac{2}{1+1}\int p(x)\ln\frac{q(x)}{p(x)}{\rm d}x-\frac{0}{2}\\ &=&-\int p(x)\ln\frac{q(x)}{p(x)}{\rm d}x\\ &=&{\rm KL}(p||q)\tag{2} \end{eqnarray}$

式 $(2)$ より、 $\alpha\rightarrow1$ のとき、 ${\rm D}_\alpha(p||q)$ が ${\rm KL}(p||q)$ になることを示せました。

次に、 $\alpha\rightarrow-1$ の場合を考えます。
${\rm D}_\alpha(p||q)$ を計算します。

$\begin{eqnarray} {\rm D}_\alpha(p||q)&=&\frac{4}{1-\alpha^2}\left(1-\int p(x)^{(1+\alpha)/2}q(x)^{(1-\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int q(x)\cdot p(x)^{(1+\alpha)/2}q(x)^{(-1-\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int q(x)\cdot p(x)^{(1+\alpha)/2}q(x)^{-(1+\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int q(x)\left(\frac{p(x)}{q(x)}\right)^{(1+\alpha)/2}{\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int q(x)\left(1+\frac{1+\alpha}{2}\ln\frac{p(x)}{q(x)}+O\left(\left(\frac{1+\alpha}{2}\right)^2\right)\right){\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-\int q(x){\rm d}x-\frac{1+\alpha}{2}\int q(x)\ln\frac{p(x)}{q(x)}{\rm d}x-O\left(\left(\frac{1+\alpha}{2}\right)^2\right)\int q(x){\rm d}x\right)\\ &=&\frac{4}{1-\alpha^2}\left(1-1-\frac{1+\alpha}{2}\int q(x)\ln\frac{p(x)}{q(x)}{\rm d}x-O\left(\left(\frac{1+\alpha}{2}\right)^2\right)\cdot1\right)\\ &=&-\frac{2}{1-\alpha}\int q(x)\ln\frac{p(x)}{q(x)}{\rm d}x-\frac{4}{1-\alpha^2}O\left(\left(\frac{1+\alpha}{2}\right)^2\right)\\ &=&-\frac{2}{1-\alpha}\int q(x)\ln\frac{p(x)}{q(x)}{\rm d}x-\frac{4}{(1-\alpha)(1+\alpha)}O\left(\frac{(1+\alpha)(1+\alpha)}{4}\right)\tag{3} \end{eqnarray}$

式 $(3)$ において、 $\alpha\rightarrow-1$ とします。

$\begin{eqnarray} \lim_{\alpha\rightarrow-1}{\rm D}_\alpha(p||q)&=&-\frac{2}{1+1}\int q(x)\ln\frac{p(x)}{q(x)}{\rm d}x-\frac{0}{2}\\ &=&-\int q(x)\ln\frac{p(x)}{q(x)}{\rm d}x\\ &=&{\rm KL}(q||p)\tag{4} \end{eqnarray}$

式 $(4)$ より、 $\alpha\rightarrow-1$ のとき、 ${\rm D}_\alpha(p||q)$ が ${\rm KL}(q||p)$ になることを示せました。