PRML演習問題 1.9(基本) www - 機械学習基礎理論独習

問題

ガウス分布 $(1.46)$ のモード(つまり分布が最大となる $x$ の値)が $\mu$ で与えられることを示せ。
同様に、多変量ガウス分布 $(1.52)$ のモードは ${\boldsymbol\mu}$ で与えられることを示せ。

参照

$\begin{eqnarray} {\mathcal N}(x|\mu,\sigma^2)=\frac{1}{(2\pi\sigma^2)^{1 / 2}}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\tag{1.46} \end{eqnarray}$

$\begin{eqnarray} {\mathcal N}({\bf x}|{\boldsymbol\mu},{\bf\Sigma})=\frac{1}{(2\pi)^{D / 2}}\frac{1}{|{\bf\Sigma}|^{1 / 2}}\exp\left(-\frac{1}{2}({\bf x}-{\boldsymbol\mu})^\top{\bf\Sigma}^{-1}({\bf x}-{\boldsymbol\mu})\right)\tag{1.52} \end{eqnarray}$

解答

式 $(1.46)$ を $x$ で微分します。

$\begin{eqnarray} \frac{{\partial}}{{\partial}x}{\mathcal N}(x|\mu,\sigma^2)&=&\frac{{\partial}}{{\partial}x}\frac{1}{(2\pi\sigma^2)^{1 / 2}}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\\ &=&\frac{1}{(2\pi\sigma^2)^{1 / 2}}\frac{{\partial}}{{\partial}x}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\\ &=&\frac{1}{(2\pi\sigma^2)^{1 / 2}}\frac{{\partial}}{{\partial}t}\exp(t)\frac{\partial}{\partial x}\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\\ &=&\frac{1}{(2\pi\sigma^2)^{1 / 2}}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\left(-\frac{x-\mu}{\sigma^2}\right)\tag{1} \end{eqnarray}$

式 $(1)$ で $x=\mu$ とします。

$\begin{eqnarray} \left.\frac{{\partial}}{{\partial}x}{\mathcal N}(x|\mu,\sigma^2)\right|_{x=\mu}&=&\frac{1}{(2\pi\sigma^2)^{1 / 2}}\exp\left(-\frac{1}{2\sigma^2}(\mu-\mu)^2\right)\left(-\frac{\mu-\mu}{\sigma^2}\right)\\ &=&0\tag{2} \end{eqnarray}$

式 $(2)$ より、1変数ガウス分布のモードが $\mu$ で与えられることが示せました。

式 $(1.52)$ を ${\bf x}$ で微分します。

$\begin{eqnarray} \frac{\partial}{\partial{\bf x}}{\mathcal N}({\bf x}|{\boldsymbol\mu},{\bf\Sigma})&=&\frac{\partial}{\partial{\bf x}}\frac{1}{(2\pi)^{D / 2}}\frac{1}{|{\bf\Sigma}|^{1 / 2}}\exp\left(-\frac{1}{2}({\bf x}-{\boldsymbol\mu})^\top{\bf\Sigma}^{-1}({\bf x}-{\boldsymbol\mu})\right)\\ &=&\frac{1}{(2\pi)^{D / 2}}\frac{1}{|{\bf\Sigma}|^{1 / 2}}\frac{\partial}{\partial{\bf x}}\exp\left(-\frac{1}{2}({\bf x}-{\boldsymbol\mu})^\top{\bf\Sigma}^{-1}({\bf x}-{\boldsymbol\mu})\right)\\ &=&\frac{1}{(2\pi)^{D / 2}}\frac{1}{|{\bf\Sigma}|^{1 / 2}}\frac{\partial}{\partial t}\exp(t)\frac{\partial}{\partial {\bf x}}\left(-\frac{1}{2}({\bf x}-{\boldsymbol\mu})^\top{\bf\Sigma}^{-1}({\bf x}-{\boldsymbol\mu})\right)\\ &=&\frac{1}{(2\pi)^{D / 2}}\frac{1}{|{\bf\Sigma}|^{1 / 2}}\frac{\partial}{\partial t}\exp(t)\frac{\partial}{\partial {\bf x}}\left(-\frac{1}{2}({\bf x}^\top{\bf\Sigma}^{-1}{\bf x}-{\bf x}^\top{\bf\Sigma}^{-1}{\boldsymbol\mu}-{\boldsymbol\mu}^\top{\bf\Sigma}^{-1}{\bf x}+{\boldsymbol\mu}^\top{\bf\Sigma}^{-1}{\boldsymbol\mu})\right)\\ &=&\frac{1}{(2\pi)^{D / 2}}\frac{1}{|{\bf\Sigma}|^{1 / 2}}\exp\left(-\frac{1}{2}({\bf x}-{\boldsymbol\mu})^\top{\bf\Sigma}^{-1}({\bf x}-{\boldsymbol\mu})\right)\left(-{\bf\Sigma}^{-1}({\bf x}-{\boldsymbol\mu})\right)\tag{3} \end{eqnarray}$

式 $(3)$ で ${\bf x}={\boldsymbol\mu}$ とします。

$\begin{eqnarray} \left.\frac{\partial}{\partial{\bf x}}{\mathcal N}({\bf x}|{\boldsymbol\mu},{\bf\Sigma})\right|_{{\bf x}={\boldsymbol\mu}}&=&\frac{1}{(2\pi)^{D / 2}}\frac{1}{|{\bf\Sigma}|^{1 / 2}}\exp\left(-\frac{1}{2}({\boldsymbol\mu}-{\boldsymbol\mu})^\top{\bf\Sigma}^{-1}({\boldsymbol\mu}-{\boldsymbol\mu})\right)\left(-{\bf\Sigma}^{-1}({\boldsymbol\mu}-{\boldsymbol\mu})\right)\\ &=&{\bf 0}\tag{4} \end{eqnarray}$

式 $(4)$ より、多変量ガウス分布のモードが ${\boldsymbol\mu}$ で与えられることが示せました。