機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 2.6(基本)

問題

(2.265)の結果を用いて、ベータ分布(2.13)の平均、分散、およびモードがそれぞれになることを示せ。

\begin{eqnarray}
{\mathbb E}[\mu]=\frac{a}{a+b}\tag{2.267}
\end{eqnarray}

\begin{eqnarray}
{\rm var}[\mu]=\frac{ab}{(a+b)^2(a+b+1)}\tag{2.268}
\end{eqnarray}

\begin{eqnarray}
{\rm mode}[\mu]=\frac{a-1}{a+b-2}\tag{2.269}
\end{eqnarray}

参照

\begin{eqnarray}
{\rm Beta}(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}\tag{2.13}
\end{eqnarray}

\begin{eqnarray}
\int_0^1\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\tag{2.265}
\end{eqnarray}

解答

平均{\mathbb E}[\mu]を求めます。

\begin{eqnarray}
{\mathbb E}[\mu]&=&\int_0^1\mu\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu\\
&=&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\int_0^1\mu^a(1-\mu)^{b-1}{\rm d}\mu\\
&=&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\frac{\Gamma(a+1)\Gamma(b)}{\Gamma(a+1+b)}\\
&=&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\frac{\Gamma(a)a\Gamma(b)}{\Gamma(a+b)(a+b)}\\
&=&\frac{a}{a+b}\tag{1}
\end{eqnarray}

(1)より、式(2.267)が示せました。

{\mathbb E}[\mu^2]を求めます。

\begin{eqnarray}
{\mathbb E}[\mu^2]&=&\int_0^1\mu^2\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu\\
&=&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\int_0^1\mu^{a+1}(1-\mu)^{b-1}{\rm d}\mu\\
&=&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\frac{\Gamma(a+2)\Gamma(b)}{\Gamma(a+2+b)}\\
&=&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\frac{\Gamma(a)(a+1)a\Gamma(b)}{\Gamma(a+b)(a+b+1)(a+b)}\\
&=&\frac{(a+1)a}{(a+b+1)(a+b)}\tag{2}
\end{eqnarray}

分散{\rm var}[\mu]を求めます。

\begin{eqnarray}
{\rm var}[\mu]&=&{\mathbb E}[\mu^2]-{\mathbb E}[\mu]^2\\
&=&\frac{(a+1)a}{(a+b+1)(a+b)}-\left(\frac{a}{a+b}\right)^2\\
&=&\frac{(a+1)a}{(a+b+1)(a+b)}-\frac{a^2}{(a+b)^2}\\
&=&\frac{(a+1)a(a+b)-a^2(a+b+1)}{(a+b+1)(a+b)^2}\\
&=&\frac{ab}{(a+b+1)(a+b)^2}\tag{3}
\end{eqnarray}

(3)より、式(2.268)が示せました。

{\rm Beta}(\mu|a,b)\mu微分して、=0とおきます。

\begin{eqnarray}
&&\frac{{\rm d}}{{\rm d}\mu}{\rm Beta}(\mu|a,b)=0\\
&&\Leftrightarrow \frac{{\rm d}}{{\rm d}\mu}\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}=0\\
&&\Leftrightarrow \frac{{\rm d}}{{\rm d}\mu}\mu^{a-1}(1-\mu)^{b-1}=0\\
&&\Leftrightarrow (a-1)\mu^{a-2}(1-\mu)^{b-1}-(b-1)\mu^{a-1}(1-\mu)^{b-2}=0\\
&&\Leftrightarrow (a-1)\mu^{a-2}(1-\mu)^{b-1}=(b-1)\mu^{a-1}(1-\mu)^{b-2}\\
&&\Leftrightarrow (a-1)(1-\mu)=(b-1)\mu\\
&&\Leftrightarrow \mu=\frac{a-1}{a+b+2}\tag{4}
\end{eqnarray}

(4)より、式(2.269)が示せました。

目次へ戻る