PRML演習問題 1.8(標準) www - 機械学習基礎理論独習

問題

変数変換を使って $1$ 変数ガウス分布 $(1.46)$ が $(1.49)$ を満たすことを確かめよ。
次に、規格化条件

$\begin{eqnarray} \int_{-\infty}^\infty{\mathcal N}(x|\mu,\sigma^2){\rm d}x=1\tag{1.127} \end{eqnarray}$

の両辺を $\sigma^2$ に関して微分し、ガウス分布が $(1.50)$ を満たすことを確かめよ。
最後に $(1.51)$ が成り立つことを示せ。

参照

$\begin{eqnarray} {\mathcal N}(x|\mu,\sigma^2)=\frac{1}{(2\pi\sigma^2)^{1 / 2}}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\tag{1.46} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[x]=\int_{-\infty}^\infty{\mathcal N}(x|\mu,\sigma^2)x{\rm d}x=\mu\tag{1.49} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[x^2]=\int_{-\infty}^\infty{\mathcal N}(x|\mu,\sigma^2)x^2{\rm d}x=\mu^2+\sigma^2\tag{1.50} \end{eqnarray}$

$\begin{eqnarray} {\rm var}[x]={\mathbb E}[x^2]-{\mathbb E}[x]^2=\sigma^2\tag{1.51} \end{eqnarray}$

解答

式 $(1.46)$ を式 $(1.49)$ に代入します。

$\begin{eqnarray} {\mathbb E}[x]=\int_{-\infty}^\infty\frac{1}{(2\pi\sigma^2)^{1 / 2}}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)x{\rm d}x\tag{1} \end{eqnarray}$

式 $(1)$ に $y=x-\mu$ の変数変換を行います。

$\begin{eqnarray} {\mathbb E}[x]&=&\int_{-\infty}^\infty\frac{1}{(2\pi\sigma^2)^{1 / 2}}\exp\left(-\frac{1}{2\sigma^2}y^2\right)(y+\mu){\rm d}y\\ &=&\frac{1}{(2\pi\sigma^2)^{1 / 2}}\left(\int_{-\infty}^\infty\exp\left(-\frac{1}{2\sigma^2}y^2\right)y{\rm d}y+\mu\int_{-\infty}^\infty\exp\left(-\frac{1}{2\sigma^2}y^2\right){\rm d}y\right)\tag{2}\\ &=&\frac{1}{(2\pi\sigma^2)^{1 / 2}}\mu(2\pi\sigma^2)^{1 / 2}\\ &=&\mu\tag{3} \end{eqnarray}$

式 $(2)$ では $\exp\left(-\dfrac{1}{2\sigma^2}y^2\right)y$ が奇関数であることを用いました。
式 $(3)$ より、 $1$ 変数ガウス分布が $(1.49)$ を満たします。

式 $(1.127)$ で $z=\sigma^2$ と置き換えます。

$\begin{eqnarray} &&\int_{-\infty}^\infty{\mathcal N}(x|\mu,z){\rm d}x=1\\ &&\Leftrightarrow\int_{-\infty}^\infty\frac{1}{(2\pi z)^{1 / 2}}\exp\left(-\frac{1}{2z}(x-\mu)^2\right){\rm d}x=1\\ &&\Leftrightarrow\int_{-\infty}^\infty\exp\left(-\frac{1}{2z}(x-\mu)^2\right){\rm d}x=(2\pi z)^{1 / 2}\tag{4} \end{eqnarray}$

式 $(4)$ の両辺を $z$ で微分します。

$\begin{eqnarray} &&\frac{\rm d}{{\rm d}z}\int_{-\infty}^\infty\exp\left(-\frac{1}{2z}(x-\mu)^2\right){\rm d}x=\frac{\rm d}{{\rm d}z}(2\pi z)^{1 / 2}\\ &&\Leftrightarrow\int_{-\infty}^\infty\frac{\rm d}{{\rm d}z}\exp\left(-\frac{1}{2z}(x-\mu)^2\right){\rm d}x=\frac{\rm d}{{\rm d}z}(2\pi z)^{1 / 2}\\ &&\Leftrightarrow\int_{-\infty}^\infty\frac{\rm d}{{\rm d}t}\exp(t)\frac{\rm d}{{\rm d}z}\left(-\frac{1}{2z}(x-\mu)^2\right){\rm d}x=\frac{\rm d}{{\rm d}s}s^{1 / 2}\frac{\rm d}{{\rm d}z}2\pi z\tag{5}\\ &&\Leftrightarrow\int_{-\infty}^\infty\exp\left(-\frac{1}{2z}(x-\mu)^2\right)\frac{1}{2z^2}(x-\mu)^2{\rm d}x=\frac{1}{2}(2\pi z)^{-1 / 2}2\pi\\ &&\Leftrightarrow\frac{1}{2z^2}\int_{-\infty}^\infty\exp\left(-\frac{1}{2z}(x-\mu)^2\right)(x-\mu)^2{\rm d}x=\frac{1}{2}(2\pi)^{1 / 2}z^{-1 / 2}\\ &&\Leftrightarrow\frac{1}{2\sigma^4}\int_{-\infty}^\infty\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)(x-\mu)^2{\rm d}x=\frac{1}{2}(2\pi)^{1 / 2}\sigma^{-1}\\ &&\Leftrightarrow\frac{1}{(2\pi\sigma^2)^{1 / 2}}\int_{-\infty}^\infty\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)(x-\mu)^2{\rm d}x=\sigma^{2}\\ &&\Leftrightarrow{\mathbb E}[(x-\mu)^2]=\sigma^{2}\\ &&\Leftrightarrow{\mathbb E}[x^2-2x\mu+\mu^2]=\sigma^{2}\\ &&\Leftrightarrow{\mathbb E}[x^2]-2{\mathbb E}[x]\mu+\mu^2=\sigma^{2}\\ &&\Leftrightarrow{\mathbb E}[x^2]-2\mu^2+\mu^2=\sigma^2\\ &&\Leftrightarrow{\mathbb E}[x^2]=\mu^2+\sigma^{2}\tag{6} \end{eqnarray}$