PRML演習問題 2.56(標準) www - 機械学習基礎理論独習

問題

ベータ分布 $(2.13)$ 、ガンマ分布 $(2.146)$ 、およびフォン・ミーゼス分布 $(2.179)$ を
指数型分布族の形 $(2.194)$ に変形し、これらの分布の自然パラメータを求めよ。

参照

$\begin{eqnarray} \operatorname{Beta}(\mu | a, b)=\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \mu^{a-1}(1-\mu)^{b-1}\tag{2.13} \end{eqnarray}$

$\begin{eqnarray} \operatorname{Gam}(\lambda | a, b)=\frac{1}{\Gamma(a)} b^{a} \lambda^{a-1} \exp (-b \lambda)\tag{2.146} \end{eqnarray}$

$\begin{eqnarray} p\left(\theta | \theta_{0}, m\right)=\frac{1}{2 \pi I_{0}(m)} \exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\tag{2.179} \end{eqnarray}$

$\begin{eqnarray} p(\mathbf{x}|{\boldsymbol\eta})=h(\mathbf{x}) g(\boldsymbol{\eta}) \exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right)\tag{2.194} \end{eqnarray}$

解答

式 $(2.13)$ を変形します。

$\begin{eqnarray} \operatorname{Beta}(\mu | a, b)&=&\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \mu^{a-1}(1-\mu)^{b-1}\\ &=&\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \underbrace{\exp\left(\ln\left(\mu^{a-1}(1-\mu)^{b-1}\right)\right)}_{x=\exp(\ln x)}\\ &=&\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \exp\left((a-1)\ln\mu+(b-1)\ln(1-\mu)\right)\\ &=&\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \exp\left(\begin{pmatrix}a-1\\b-1\end{pmatrix}^\top\begin{pmatrix}\ln\mu\\ \ln(1-\mu)\end{pmatrix}\right)\tag{1} \end{eqnarray}$

式 $(1)$ と式 $(2.194)$ を比較します。

$\begin{eqnarray} h(\mu) &=&1 \tag{2}\\ g(a, b) &=&\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \tag{3}\\ \mathbf{u}(\mu) &=&\left(\begin{array}{c} \ln \mu \\ \ln (1-\mu) \end{array}\right) \tag{4}\\ \boldsymbol{\eta}(a, b) &=&\left(\begin{array}{l} a-1 \\ b-1 \end{array}\right)\tag{5} \end{eqnarray}$

式 $(2),(3),(4),(5)$ を式 $(1)$ に代入します。

$\begin{eqnarray} \operatorname{Beta}(\mu | a, b)=h(\mu)g(a, b)\exp\left(\boldsymbol{\eta}(a, b)^\top\mathbf{u}(\mu)\right)\tag{6} \end{eqnarray}$

式 $(6)$ がベータ分布の指数型分布族の形であり、式 $(5)$ がその自然パラメータです。

式 $(2.146)$ を変形します。

$\begin{eqnarray} \operatorname{Gam}(\lambda | a, b)&=&\frac{1}{\Gamma(a)} b^{a} \lambda^{a-1} \exp (-b \lambda)\\ &=&\frac{b^{a}}{\Gamma(a)} \exp\left(\ln \lambda^{a-1} \right) \exp (-b \lambda)\\ &=&\frac{b^{a}}{\Gamma(a)} \exp\left((a-1)\ln \lambda -b \lambda\right)\\ &=&\frac{b^{a}}{\Gamma(a)} \exp\left(\begin{pmatrix}a-1\\ -b \end{pmatrix}^\top\begin{pmatrix}\ln \lambda\\ \lambda\end{pmatrix}\right)\tag{7} \end{eqnarray}$

式 $(7)$ と式 $(2.194)$ を比較します。

$\begin{eqnarray} h(\lambda) &=1 \tag{8}\\ g(a, b) &=\frac{b^{a}}{\Gamma(a)} \tag{9}\\ \mathbf{u}(\lambda) &=\left(\begin{array}{c} \ln \lambda \\ \lambda \end{array}\right) \tag{10}\\ \boldsymbol{\eta}(a, b) &=\left(\begin{array}{c} a-1 \\ -b \end{array}\right)\tag{11} \end{eqnarray}$

式 $(8),(9),(10),(11)$ を式 $(7)$ に代入します。

$\begin{eqnarray} \operatorname{Gam}(\lambda | a, b)=h(\lambda)g(a, b)\exp\left(\boldsymbol{\eta}(a, b)^\top\mathbf{u}(\lambda)\right)\tag{12} \end{eqnarray}$

式 $(12)$ がガンマ分布の指数型分布族の形であり、式 $(11)$ がその自然パラメータです。

式 $(2.179)$ を変形します。

$\begin{eqnarray} p\left(\theta | \theta_{0}, m\right)&=&\frac{1}{2 \pi I_{0}(m)} \exp \left(m \cos \left(\theta-\theta_{0}\right)\right)\\ &=&\frac{1}{2 \pi I_{0}(m)} \exp \left(m \cos \theta\cos\theta_0+m\sin\theta\sin\theta_0\right)\\ &=&\frac{1}{2 \pi I_{0}(m)} \exp \left(\begin{pmatrix}m \cos\theta_0\\ m\sin\theta_0\end{pmatrix}^\top\begin{pmatrix}\cos\theta\\ \sin\theta\end{pmatrix}\right)\tag{13} \end{eqnarray}$

式 $(13)$ と式 $(2.194)$ を比較します。

$\begin{eqnarray} h(\theta) &=1 \tag{14}\\ g\left(\theta_{0}, m\right) &=\frac{1}{2 \pi I_{0}(m)} \tag{15}\\ \mathbf{u}(\theta) &=\left(\begin{array}{c} \cos \theta \\ \sin \theta \end{array}\right) \tag{16}\\ \boldsymbol{\eta}\left(\theta_{0}, m\right) &=\left(\begin{array}{c} m \cos \theta_{0} \\ m \sin \theta_{0} \end{array}\right)\tag{17} \end{eqnarray}$

式 $(14),(15),(16),(17)$ を式 $(13)$ に代入します。

$\begin{eqnarray} p\left(\theta | \theta_{0}, m\right)=h(\theta)g\left(\theta_{0}, m\right)\exp\left(\boldsymbol{\eta}\left(\theta_{0}, m\right)^\top\mathbf{u}(\theta)\right)\tag{18} \end{eqnarray}$

式 $(18)$ がフォン・ミーゼス分布の指数型分布族の形であり、式 $(17)$ がその自然パラメータです。