PRML演習問題 2.1(基本) www - 機械学習基礎理論独習

問題

ベルヌーイ分布 $(2.2)$ が次の性質を満たすことを確かめよ。

$\begin{eqnarray} \sum_{x=0}^1p(x|\mu)=1\tag{2.257} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[x]=\mu\tag{2.258} \end{eqnarray}$

$\begin{eqnarray} {\rm var}[x]=\mu(1-\mu)\tag{2.259} \end{eqnarray}$

ベルヌーイ分布に従う二値確率変数 $x$ のエントロピー ${\rm H}[x]$ が

$\begin{eqnarray} {\rm H}[x]=-\mu\ln\mu-(1-\mu)\ln(1-\mu)\tag{2.260} \end{eqnarray}$

で与えられることを示せ。

参照

$\begin{eqnarray} {\rm Bern}(x|\mu)=\mu^x(1-\mu)^{1-x}\tag{2.2} \end{eqnarray}$

解答

$\displaystyle\sum_{x=0}^1p(x|\mu)$ を計算します。

$\begin{eqnarray} \sum_{x=0}^1p(x|\mu)&=&\sum_{x=0}^1{\rm Bern}(x|\mu)\\ &=&\mu^0(1-\mu)^{1-0}+\mu^1(1-\mu)^{1-1}\\ &=&(1-\mu)+\mu\\ &=&1\tag{1} \end{eqnarray}$

式 $(1)$ より、式 $(2.257)$ が示せました。

${\mathbb E}[x]$ を計算します。

$\begin{eqnarray} {\mathbb E}[x]&=&0\cdot\mu^0(1-\mu)^{1-0}+1\cdot\mu^1(1-\mu)^{1-1}\\ &=&0\cdot(1-\mu)+1\cdot\mu\\ &=&\mu\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(2.258)$ が示せました。

${\mathbb E}[x^2]$ を計算します。

$\begin{eqnarray} {\mathbb E}[x^2]&=&0^2\cdot\mu^0(1-\mu)^{1-0}+1^2\cdot\mu^1(1-\mu)^{1-1}\\ &=&0\cdot(1-\mu)+1\cdot\mu\\ &=&\mu\tag{3} \end{eqnarray}$

$\begin{eqnarray} {\rm var}[x]&=&{\mathbb E}[x^2]-{\mathbb E}[x]^2\\ &=&\mu-\mu^2\\ &=&\mu(1-\mu)\tag{4} \end{eqnarray}$

式 $(4)$ の2行目の変形で、式 $(3)$ を用いました。
式 $(4)$ より、式 $(2.259)$ が示せました。

${\rm H}[x]$ を計算します。

$\begin{eqnarray} {\rm H}[x]&=&{\rm H}[{\rm Bern}(x|\mu)]\\ &=&-{\mathbb E}[\ln {\rm Bern}(x|\mu)]\\ &=&-{\mathbb E}[\ln \left(\mu^x(1-\mu)^{1-x}\right)]\\ &=&-{\mathbb E}[x\ln\mu+(1-x)\ln(1-\mu)]\\ &=&-({\mathbb E}[x]\ln\mu+(1-{\mathbb E}[x])\ln(1-\mu))\\ &=&-{\mathbb E}[x]\ln\mu-(1-{\mathbb E}[x])\ln(1-\mu)\\ &=&-\mu\ln\mu-(1-\mu)\ln(1-\mu)\tag{5} \end{eqnarray}$

式 $(5)$ より、式 $(2.260)$ が示せました。