PRML演習問題 2.54(基本) - 機械学習基礎理論独習

問題

フォン・ミーゼス分布 $(2.179)$ の $1$ 階と $2$ 階の導関数を求め、
さらに $m>0$ で $I_0(m) > 0$ であることを用いて、
分布は $\theta=\theta_0$ で最大になり、 $\theta=\theta_0+\pi({\rm mod}\ 2\pi)$ で最小になることを示せ。

参照

$\begin{eqnarray} p\left(\theta | \theta_{0}, m\right)=\frac{1}{2 \pi I_{0}(m)} \exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\tag{2.179} \end{eqnarray}$

解答

式 $(2.179)$ を $\theta$ で微分します。

$\begin{eqnarray} \frac{\partial}{\partial\theta}p\left(\theta | \theta_{0}, m\right)&=&\frac{1}{2 \pi I_{0}(m)} \frac{\partial}{\partial\theta}\exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\\ &=&\frac{1}{2 \pi I_{0}(m)}\exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\left(-m \sin \left(\theta-\theta_{0}\right)\right)\\ &=&\frac{-m}{2 \pi I_{0}(m)}\exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\sin \left(\theta-\theta_{0}\right)\tag{1} \end{eqnarray}$

式 $(1)$ を $\theta$ で微分します。

$\begin{eqnarray} \frac{\partial^2}{\partial\theta^2}p\left(\theta | \theta_{0}, m\right)&=&\frac{-m}{2 \pi I_{0}(m)}\frac{\partial}{\partial\theta} \exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\sin \left(\theta-\theta_{0}\right)\\ &=&\frac{-m}{2 \pi I_{0}(m)}\left(\exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\left(-m \sin \left(\theta-\theta_{0}\right)\right)\sin \left(\theta-\theta_{0}\right)+\exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\cos \left(\theta-\theta_{0}\right)\right)\\ &=&\frac{m}{2 \pi I_{0}(m)}\exp\left( m \cos \left(\theta-\theta_{0}\right)\right)\left(m \sin^2 \left(\theta-\theta_{0}\right)-\cos \left(\theta-\theta_{0}\right)\right)\tag{2} \end{eqnarray}$

問題文より、 $m>0$ で $I_0(m) > 0$ なので、 $m>0$ で $\dfrac{m}{2 \pi I_{0}(m)}\exp\left( m \cos \left(\theta-\theta_{0}\right)\right) > 0$ が成り立ちます。
よって、 $\dfrac{\partial}{\partial\theta}p\left(\theta | \theta_{0}, m\right)=0$ とおくと

$\begin{eqnarray} &&\frac{-m}{2 \pi I_{0}(m)}\exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\sin \left(\theta-\theta_{0}\right)=0\\ &&\Leftrightarrow\sin \left(\theta-\theta_{0}\right)=0\tag{3} \end{eqnarray}$

となります。
式 $(3)$ を満たす $\theta$ は、 $\theta=\theta_0+0({\rm mod}\ 2\pi)=\theta_0$ または $\theta=\theta_0+\pi({\rm mod}\ 2\pi)$ です。

$\theta=\theta_0$ の時の $\dfrac{\partial^2}{\partial\theta^2}p\left(\theta | \theta_{0}, m\right)$ を計算してみます。

$\begin{eqnarray} &&\left.\dfrac{\partial^2}{\partial\theta^2}p\left(\theta | \theta_{0}, m\right)\right|_{\theta=\theta_0}\\ &=&\frac{m}{2 \pi I_{0}(m)}\exp\left( m \cos \left(\theta_0-\theta_{0}\right)\right)\left(m \sin^2 \left(\theta_0-\theta_{0}\right)-\cos \left(\theta_0-\theta_{0}\right)\right)\\ &=&\frac{m}{2 \pi I_{0}(m)}\exp\left( m \right)\left(-1\right)\\ &=&\frac{-m}{2 \pi I_{0}(m)}\exp\left( m \right)<0\tag{4} \end{eqnarray}$

式 $(4)$ より、 $\theta=\theta_0$ のとき、分布は極大値を取ります。

$\theta=\theta_0+\pi({\rm mod}\ 2\pi)$ の時の $\dfrac{\partial^2}{\partial\theta^2}p\left(\theta | \theta_{0}, m\right)$ を計算してみます。

$\begin{eqnarray} &&\left.\dfrac{\partial^2}{\partial\theta^2}p\left(\theta | \theta_{0}, m\right)\right|_{\theta=\theta_0+\pi({\rm mod}\ 2\pi)}\\ &=&\frac{m}{2 \pi I_{0}(m)}\exp\left( m \cos \left(\theta_0+\pi({\rm mod}\ 2\pi)-\theta_{0}\right)\right)\left(m \sin^2 \left(\theta_0+\pi({\rm mod}\ 2\pi)-\theta_{0}\right)-\cos \left(\theta_0+\pi({\rm mod}\ 2\pi)-\theta_{0}\right)\right)\\ &=&\frac{m}{2 \pi I_{0}(m)}\exp\left( -m \right)\left(1\right)\\ &=&\frac{m}{2 \pi I_{0}(m)}\exp\left( m \right)>0\tag{5} \end{eqnarray}$

式 $(5)$ より、 $\theta=\theta_0+\pi({\rm mod}\ 2\pi)$ のとき、分布は極小値を取ります。

補足

問題文には、「最大、最小となることを示せ」とありますが、解答で示したのは、「極小、極大」です。