機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 2.42(標準)

問題

ガンマ分布(2 .146)の平均、分散およびモードを求めよ。

参照

\begin{eqnarray}
{\rm Gam}(\lambda|a,b)=\frac{1}{\Gamma(a)}b^a\lambda^{a-1}\exp(-b\lambda)\tag{2.146}
\end{eqnarray}

解答

平均{\mathbb E}[\lambda]を求めます。

\begin{eqnarray}
{\mathbb E}[\lambda]&=&\int_0^\infty\lambda{\rm Gam}(\lambda|a,b){\rm d}\lambda\\
&=&\int_0^\infty\lambda\frac{1}{\Gamma(a)}b^a\lambda^{a-1}\exp(-b\lambda){\rm d}\lambda\\
&=&\frac{a}{b}\int_0^\infty\frac{1}{\Gamma(a+1)}b^{a+1}\lambda^{a}\exp(-b\lambda){\rm d}\lambda\tag{1}\\
&=&\frac{a}{b}\int_0^\infty{\rm Gam}(\lambda|a+1,b){\rm d}\lambda\\
&=&\frac{a}{b}\tag{2}
\end{eqnarray}

(1)\Gamma(a+1)=a\Gamma(a)を用いました。
(2)より、ガンマ分布の平均が求まりました。

{\mathbb E}[\lambda^2]を求めます。

\begin{eqnarray}
{\mathbb E}[\lambda^2]&=&\int_0^\infty\lambda^2{\rm Gam}(\lambda|a,b){\rm d}\lambda\\
&=&\int_0^\infty\lambda^2\frac{1}{\Gamma(a)}b^a\lambda^{a-1}\exp(-b\lambda){\rm d}\lambda\\
&=&\frac{(a+1)a}{b^2}\int_0^\infty\frac{1}{\Gamma(a+2)}b^{a+2}\lambda^{a+1}\exp(-b\lambda){\rm d}\lambda\tag{3}\\
&=&\frac{(a+1)a}{b^2}\int_0^\infty{\rm Gam}(\lambda|a+2,b){\rm d}\lambda\\
&=&\frac{(a+1)a}{b^2}\tag{4}
\end{eqnarray}

(3)\Gamma(a+2)=(a+1)a\Gamma(a)を用いました。

分散{\rm var}[\lambda]を求めます。

\begin{eqnarray}
{\rm var}[\lambda]&=&{\mathbb E}[\lambda^2]-{\mathbb E}[\lambda]^2\\
&=&\frac{(a+1)a}{b^2}-\left(\frac{a}{b}\right)^2\\
&=&\frac{a}{b^2}\tag{5}
\end{eqnarray}

(5)より、ガンマ分布の分散が求まりました。

モードを求めるため、ガンマ分布を\lambda微分し、=0とおきます。

\begin{eqnarray}
&&\frac{\rm d}{{\rm d}\lambda}{\rm Gam}(\lambda|a,b)=0\\
&&\Leftrightarrow \frac{\rm d}{{\rm d}\lambda}\frac{1}{\Gamma(a)}b^a\lambda^{a-1}\exp(-b\lambda)=0\\
&&\Leftrightarrow \frac{\rm d}{{\rm d}\lambda}\lambda^{a-1}\exp(-b\lambda)=0\\
&&\Leftrightarrow (a-1)\lambda^{a-2}\exp(-b\lambda)-\lambda^{a-1}b\exp(-b\lambda)=0\\
&&\Leftrightarrow (a-1)-\lambda b=0\\
&&\Leftrightarrow \lambda =\frac{a-1}{b}\tag{6}
\end{eqnarray}

(6)より、ガンマ分布のモードが求まりました。

目次へ戻る