PRML演習問題 1.34(標準) www - 機械学習基礎理論独習

問題

変分法を使って、 $(1.108)$ 式の上にある汎関数の停留点が $(1.108)$ で与えられることを示せ。
また、制約 $(1.105),(1.106),(1.107)$ を使ってラグランジュ乗数を消去し、
最大エントロピー解がガウス分布 $(1.109)$ で与えられることを示せ。

参照

$\begin{eqnarray} \int_{-\infty}^\infty p(x){\rm d}x=1\tag{1.105} \end{eqnarray}$

$\begin{eqnarray} \int_{-\infty}^\infty xp(x){\rm d}x=\mu\tag{1.106} \end{eqnarray}$

$\begin{eqnarray} \int_{-\infty}^\infty (x-\mu)^2p(x){\rm d}x=\sigma^2\tag{1.107} \end{eqnarray}$

$\begin{eqnarray} p(x)=\exp\left(-1+\lambda_1+\lambda_2x+\lambda_3(x-\mu)^2\right)\tag{1.108} \end{eqnarray}$

$\begin{eqnarray} p(x)=\frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\tag{1.109} \end{eqnarray}$

解答

PRML p56より、エントロピーを最大化するため、制約 $(1.105),(1.106),(1.107)$ の下でのラグランジュ関数は以下のようになります。
(これが問題文でいう「 $(1.108)$ 式の上にある汎関数」のことです。)

$\begin{eqnarray} F(p(x))&=&-\int_{-\infty}^{\infty}p(x)\ln p(x){\rm d}x+\lambda_1\left(\int_{-\infty}^{\infty}p(x){\rm d}x-1\right)+\lambda_2\left(\int_{-\infty}^{\infty}xp(x){\rm d}x-\mu\right)+\lambda_3\left(\int_{-\infty}^{\infty}(x-\mu)^2p(x){\rm d}x-\sigma^2\right)\\ &=&\int_{-\infty}^{\infty}\left(-p(x)\ln p(x)+\lambda_1p(x)+\lambda_2xp(x)+\lambda_3(x-\mu)^2p(x)\right){\rm d}x+\left(-\lambda_1-\lambda_2\mu-\lambda_3\sigma^2\right)\\ &=&\int_{-\infty}^{\infty}G(p(x)){\rm d}x+\left(-\lambda_1-\lambda_2\mu-\lambda_3\sigma^2\right)\tag{1} \end{eqnarray}$

$F(p(x))$ を $p(x)$ で変分して、 $=0$ とおきます。

$\begin{eqnarray} &&\frac{\delta F(p(x))}{\delta p(x)}=0\\ &&\Leftrightarrow\frac{\partial G(p(x))}{\partial p(x)}=0\\ &&\Leftrightarrow\frac{\partial }{\partial p(x)}\left(-p(x)\ln p(x)+\lambda_1p(x)+\lambda_2xp(x)+\lambda_3(x-\mu)^2p(x)\right)=0\\ &&\Leftrightarrow-\ln p(x)-p(x)\frac{1}{p(x)}+\lambda_1+\lambda_2x+\lambda_3(x-\mu)^2=0\\ &&\Leftrightarrow\ln p(x)=\lambda_1+\lambda_2x+\lambda_3(x-\mu)^2-1\\ &&\Leftrightarrow p(x)=\exp\left(\lambda_1+\lambda_2x+\lambda_3(x-\mu)^2-1\right)\tag{2} \end{eqnarray}$

式 $(2)$ より、 $(1.108)$ 式の上にある汎関数の停留点が $(1.108)$ で与えられることが示せました。

式 $(2)$ を計算します。

$\begin{eqnarray} p(x)&=&\exp\left(\lambda_1+\lambda_2x+\lambda_3(x-\mu)^2-1\right)\\ &=&\exp(\lambda_3x^2-(2\lambda_3\mu-\lambda_2)x+\lambda_1+\lambda_2\mu^2-1)\tag{3} \end{eqnarray}$

$p(x)$ はガウス分布であるので、式 $(1.106),(1.107)$ より、平均は $\mu$ 、分散は $\sigma^2$ であるので、以下が成り立ちます。

$\begin{eqnarray} p(x)&=&\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\\ &=&\exp\left(-\frac{1}{2}\ln(2\pi\sigma^2)\right)\exp\left(-\frac{1}{2\sigma^2}x^2+\frac{1}{\sigma^2}\mu x+-\frac{1}{2\sigma^2}\mu^2\right)\\ &=&\exp\left(-\frac{1}{2\sigma^2}x^2+\frac{1}{\sigma^2}\mu x+-\frac{1}{2\sigma^2}\mu^2-\frac{1}{2}\ln(2\pi\sigma^2)\right)\tag{4} \end{eqnarray}$

式 $(3),(4)$ の $x$ の係数比較すると、 $\lambda_1,\lambda_2,\lambda_3$ は以下のようになります。

$\begin{eqnarray} \lambda_1&=&1-\frac{1}{2}\ln(2\pi\sigma^2)\\ \lambda_2&=&0\\ \lambda_3&=&-\frac{1}{2\sigma^2}\tag{5} \end{eqnarray}$

$\lambda_1,\lambda_2,\lambda_3$ を代入した $p(x)$ はガウス分布なので、式 $(1.105),(1.106),(1.107)$ を満たします。