1次元ガウス分布の分散の事後分布

本記事では分散 $\sigma^2$ の代わりにその逆数である精度パラメータ $\lambda=\frac{1}{\sigma^2}$ を用います。

1次元ガウス分布

1次元ガウス分布は以下のように表されるのでした。

$\begin{eqnarray} {\mathcal N}(x|\mu,\sigma^{2})=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\tag{1} \end{eqnarray}$

$x\in\mathbb{R},\ \mu\in\mathbb{R},\ \sigma^2\in\mathbb{R}^+$ です。
(1)を精度パラメータ $\lambda\in\mathbb{R}^{+}$ を用いて表すと以下のようになります。

$\begin{eqnarray} {\mathcal N}(x|\mu,\lambda^{-1})=\frac{\sqrt{\lambda}}{\sqrt{2\pi}}\exp\left(-\frac{\lambda}{2}(x-\mu)^2\right)\tag{2} \end{eqnarray}$

対数を取ってみます。

$\begin{eqnarray} \ln{\mathcal N}(x|\mu,\lambda^{-1})=-\frac{1}{2}(\lambda(x-\mu)^2-\ln\lambda+\ln2\pi)\tag{3} \end{eqnarray}$

ガンマ分布

ガンマ分布は以下の式で表されるのでした。

$\begin{eqnarray} {\rm Gam}(\lambda|a, b)=C_{\rm G}(a, b)\lambda^{a-1}e^{-b\lambda}\tag{4}\\ \end{eqnarray}$

$\lambda\in\mathbb{R}^+,a\in\mathbb{R}^+b\in\mathbb{R}^+$ です。
$C_{\rm G}(a, b)$ はガンマ分布の正規化項です。

$\begin{eqnarray} C_{\rm G}(a, b)=\frac{b^a}{\Gamma(a)}\tag{5}\\ \end{eqnarray}$

$\Gamma(\cdot)$ はガンマ関数です。
対数を取ると以下のようになります。

$\begin{eqnarray} \ln {\rm Gam}(\lambda|a, b)=(a-1)\ln \lambda-b\lambda+\ln C_{\rm G}(a, b)\tag{6}\\ \end{eqnarray}$

事後分布

ガウス分布に従う $N$ 個の1次元の連続値データ ${\bf X}=\{x_1,\ldots,x_N\}$ が与えられた時の精度 $\lambda\in\mathbb{R}^+$ の事後分布を求めてみます。平均 $\mu\in{\mathbb{R}}$ は固定であるとします。

f:id:olj611:20210224044707p:plain

$\lambda$ の事前分布にはガウス分布の分散の共役事前分布であるガンマ分布を用います。

$\begin{eqnarray} p(\lambda)={\rm Gam}(\lambda|a,b)\tag{7} \end{eqnarray}$

$a\in\mathbb{R}^+,\ b\in\mathbb{R}^+$ は固定されたハイパーパラメータです。

事後分布は以下のようになります。ベイズの定理を用います。

$\begin{eqnarray} p(\lambda|{\bf X})&\propto&p({\bf X}|\lambda)p(\lambda)\\ &=&\left(\prod_{n=1}^Np(x_n|\lambda)\right)p(\lambda)\\ &=&\left(\prod_{n=1}^N\mathcal{N}(x_n|\mu,\lambda^{-1})\right){\rm Gam}(\lambda|a,b)\tag{8}\\ \end{eqnarray}$

対数を取って $\lambda$ についてまとめます。

$\begin{eqnarray} \ln p(\lambda|{\bf X})&=&\sum_{n=1}^N\ln\mathcal{N}(x_n|\mu,\lambda^{-1})+\ln {\rm Gam}(\lambda|a,b)+{\rm const.}\\ &=&\sum_{n=1}^N\left(-\frac{1}{2}(\lambda(x_n-\mu)^2-\ln\lambda)\right)+(a-1)\ln \lambda-b\lambda+{\rm const.}\\ &=&\left(\frac{N}{2}+a-1\right)\ln\lambda-\left(\frac{1}{2}\sum_{n=1}^N(x_n-\mu)^2+b\right)\lambda+{\rm const.}\tag{9}\\ \end{eqnarray}$

(9)より事後分布がガンマ分布になっていることが分かります。
事後分布のパラメータを $\hat{a},\hat{b}$ とおき、(6)と(9)を係数比較すると以下のように求まります。

$\begin{eqnarray} &&p(\lambda|{\bf X})={\rm Gam}(\lambda|\hat{a},\hat{b})\tag{10}\\ &&\hat{a}=\frac{N}{2}+a\tag{11}\\ &&\hat{b}=\frac{1}{2}\sum_{n=1}^N(x_n-\mu)^2+b\tag{12} \end{eqnarray}$

以上で、事後分布がガンマ分布で得られることが分かりました。

偉人の名言

f:id:olj611:20210224234602p:plain
過ちを改めざるこれを過ちという
孔子

機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

1次元ガウス分布

ガンマ分布

事後分布

偉人の名言

動画