PRML演習問題 1.35(基本) www - 機械学習基礎理論独習

問題

$(1.106)$ と $(1.107)$ を使って $1$ 変数ガウス分布 $(1.109)$ のエントロピーが $(1.110)$ で与えられることを示せ。

参照

$\begin{eqnarray} {\rm H}[{\bf x}]=-\int p({\bf x})\ln p({\bf x}){\rm d}{\bf x}\tag{1.104} \end{eqnarray}$

$\begin{eqnarray} \int_{-\infty}^\infty p(x){\rm d}x=1\tag{1.105} \end{eqnarray}$

$\begin{eqnarray} \int_{-\infty}^\infty xp(x){\rm d}x=\mu\tag{1.106} \end{eqnarray}$

$\begin{eqnarray} \int_{-\infty}^\infty (x-\mu)^2p(x){\rm d}x=\sigma^2\tag{1.107} \end{eqnarray}$

$\begin{eqnarray} p(x)=\frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\tag{1.109} \end{eqnarray}$

$\begin{eqnarray} {\rm H}[x]=\frac{1}{2}\left(1+\ln(2\pi\sigma^2)\right)\tag{1.110} \end{eqnarray}$

解答

式 $(1.109)$ を式 $(1.104)$ に代入します。

$\begin{eqnarray} {\rm H}[x]&=&-\int \frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\ln\left(\frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\right){\rm d}x\\ &=&-\int \frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\left(-\frac{1}{2}\ln(2\pi\sigma^2)-\frac{(x-\mu)^2}{2\sigma^2}\right){\rm d}x\\ &=&\int \frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\frac{1}{2}\ln(2\pi\sigma^2){\rm d}x+\int \frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\frac{(x-\mu)^2}{2\sigma^2}{\rm d}x\\ &=&\frac{1}{2}\ln(2\pi\sigma^2)\int \frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right){\rm d}x+\frac{1}{2\sigma^2}\int (x-\mu)^2\frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right){\rm d}x\\ &=&\frac{1}{2}\ln(2\pi\sigma^2)\cdot 1+\frac{1}{2\sigma^2}\sigma^2\tag{1}\\ &=&\frac{1}{2}\left(1+\ln(2\pi\sigma^2)\right)\tag{2} \end{eqnarray}$

式 $(1)$ で、式 $(1.105)$ と式 $(1.107)$ を用いました。
式 $(2)$ より、 $1$ 変数ガウス分布のエントロピーが $(1.110)$ で与えられることを示せました。

補足

問題文には、「 $(1.106)$ を使って」とありますが、この問題に限っては使いどころがないと思います。
なので、「 $(1.106)$ を使って」は「 $(1.105)$ を使って」の間違いではないかと思います。