PRML演習問題 2.2(標準) - 機械学習基礎理論独習

問題

ベルヌーイ分布の $(2.2)$ の表現では、 $x$ の $2$ つの値 $0$ と $1$ に関して対称ではない。
場合によっては、対称な $x\in\{-1,1\}$ を用いた等価な表現の方が便利である。
このとき分布は

$\begin{eqnarray} p(x|\mu)=\left(\frac{1-\mu}{2}\right)^{(1-x)/2}\left(\frac{1+\mu}{2}\right)^{(1+x)/2}\tag{2.261} \end{eqnarray}$

と書くことができる。
ただし、 $\mu\in[-1,1]$ である。
この分布 $(2.261)$ が正規化されていることを示しその平均、分散およびエントロピーを計算せよ。

参照

$\begin{eqnarray} {\rm Bern}(x|\mu)=\mu^x(1-\mu)^{1-x}\tag{2.2} \end{eqnarray}$

解答

式 $(2.261)$ が正規化されていることを示す。

$\begin{eqnarray} \sum_{x\in\{-1,1\}}p(x|\mu)&=&\left(\frac{1-\mu}{2}\right)^{(1-(-1))/2}\left(\frac{1+\mu}{2}\right)^{(1+(-1))/2}+\left(\frac{1-\mu}{2}\right)^{(1-1)/2}\left(\frac{1+\mu}{2}\right)^{(1+1)/2}\\ &=&\left(\frac{1-\mu}{2}\right)^1\left(\frac{1+\mu}{2}\right)^0+\left(\frac{1-\mu}{2}\right)^0\left(\frac{1+\mu}{2}\right)^1\\ &=&\frac{1-\mu}{2}+\frac{1+\mu}{2}\\ &=&1\tag{1} \end{eqnarray}$

式 $(1)$ より、式 $(2.261)$ が正規化されていることが示せた。
式 $(2.261)$ の平均を計算する。

$\begin{eqnarray} {\mathbb E}[x]&=&\sum_{x\in\{-1,1\}}xp(x|\mu)\\ &=&(-1)\cdot\left(\frac{1-\mu}{2}\right)^{(1-(-1))/2}\left(\frac{1+\mu}{2}\right)^{(1+(-1))/2}+1\cdot\left(\frac{1-\mu}{2}\right)^{(1-1)/2}\left(\frac{1+\mu}{2}\right)^{(1+1)/2}\\ &=&(-1)\cdot\left(\frac{1-\mu}{2}\right)^1\left(\frac{1+\mu}{2}\right)^0+1\cdot\left(\frac{1-\mu}{2}\right)^0\left(\frac{1+\mu}{2}\right)^1\\ &=&(-1)\cdot\frac{1-\mu}{2}+1\cdot\frac{1+\mu}{2}\\ &=&\frac{-1+\mu+1+\mu}{2}\\ &=&\mu\tag{2} \end{eqnarray}$

式 $(2.261)$ の分散を計算するために ${\mathbb E}[x^2]$ を計算する。

$\begin{eqnarray} {\mathbb E}[x^2]&=&\sum_{x\in\{-1,1\}}x^2p(x|\mu)\\ &=&(-1)^2\cdot\left(\frac{1-\mu}{2}\right)^{(1-(-1))/2}\left(\frac{1+\mu}{2}\right)^{(1+(-1))/2}+1^2\cdot\left(\frac{1-\mu}{2}\right)^{(1-1)/2}\left(\frac{1+\mu}{2}\right)^{(1+1)/2}\\ &=&1\cdot\left(\frac{1-\mu}{2}\right)^1\left(\frac{1+\mu}{2}\right)^0+1\cdot\left(\frac{1-\mu}{2}\right)^0\left(\frac{1+\mu}{2}\right)^1\\ &=&\frac{1-\mu}{2}+\frac{1+\mu}{2}\\ &=&\frac{1-\mu+1+\mu}{2}\\ &=&1\tag{3} \end{eqnarray}$

式 $(2.261)$ の分散を計算する。

$\begin{eqnarray} {\rm var}[x]&=&{\mathbb E}[x^2]-{\mathbb E}[x]^2\\ &=&1-\mu^2\tag{4} \end{eqnarray}$

式 $(4)$ の2行目の変形で、式 $(3)$ を用いた。
式 $(2.261)$ のエントロピーを計算する。

$\begin{eqnarray} {\rm H}[x]&=&{\rm H}[p(x|\mu)]\\ &=&-{\mathbb E}[\ln p(x|\mu)]\\ &=&-{\mathbb E}\left[\ln \left(\frac{1-\mu}{2}\right)^{(1-x)/2}\left(\frac{1+\mu}{2}\right)^{(1+x)/2}\right]\\ &=&-{\mathbb E}\left[\frac{1-x}{2}\ln \left(\frac{1-\mu}{2}\right)+\frac{1+x}{2}\ln\left(\frac{1+\mu}{2}\right)\right]\\ &=&-\left(\frac{1-{\mathbb E}[x]}{2}\ln \left(\frac{1-\mu}{2}\right)+\frac{1+{\mathbb E}[x]}{2}\ln\left(\frac{1+\mu}{2}\right)\right)\\ &=&-\frac{1-{\mathbb E}[x]}{2}\ln \left(\frac{1-\mu}{2}\right)-\frac{1+{\mathbb E}[x]}{2}\ln\left(\frac{1+\mu}{2}\right)\\ &=&-\frac{1-\mu}{2}\ln \left(\frac{1-\mu}{2}\right)-\frac{1+\mu}{2}\ln\left(\frac{1+\mu}{2}\right)\\ &=&-\frac{1-\mu}{2} \left(\ln(1-\mu)-\ln 2\right)-\frac{1+\mu}{2}\left(\ln(1+\mu)-\ln 2\right)\\ &=&-\frac{1-\mu}{2}\ln(1-\mu)-\frac{1+\mu}{2}\ln(1+\mu)+\ln 2\tag{5} \end{eqnarray}$