PRML演習問題 2.8(基本) - 機械学習基礎理論独習

問題

同時確率が $p(x,y)$ であるような $2$ つの変数 $x$ と $y$ を考える。
これについて、次の2つの結果を証明せよ。

$\begin{eqnarray} {\mathbb E}[x]={\mathbb E}_y[{\mathbb E}_x[x|y]]\tag{2.270} \end{eqnarray}$

$\begin{eqnarray} {\rm var}[x]={\mathbb E}_y[{\rm var}_x[x|y]]+{\rm var}_y[{\mathbb E}_x[x|y]]\tag{2.271} \end{eqnarray}$

ただし ${\mathbb E}_x[x|y]$ は、条件付き分布 $p(x|y)$ の下での $x$ の期待値である。
条件付き分散についても同様である。

解答

式 $(2.270)$ の右辺を計算します。

$\begin{eqnarray} {\mathbb E}_y[{\mathbb E}_x[x|y]]&=&{\mathbb E}_y[\int xp(x|y){\rm d}x]\\ &=&\iint xp(x|y){\rm d}x\cdot p(y){\rm d}y\\ &=&\iint xp(x|y)p(y){\rm d}x{\rm d}y\\ &=&\iint xp(x,y){\rm d}x{\rm d}y\\ &=&\int x\left(\int p(x,y){\rm d}y\right){\rm d}x\\ &=&\int x p(x){\rm d}x\\ &=&{\mathbb E}[x]\tag{1} \end{eqnarray}$

式 $(1)$ より、式 $(2.270)$ が示せました。

$\begin{eqnarray} {\mathbb E}_y[{\rm var}_x[x|y]]+{\rm var}_y[{\mathbb E}_x[x|y]]&=&{\mathbb E}_y[{\mathbb E}_x[x^2|y]-{\mathbb E}_x[x|y]^2]+{\mathbb E}_y[{\mathbb E}_x[x|y]^2]-{\mathbb E}_y[{\mathbb E}_x[x|y]]^2\\ &=&{\mathbb E}_y[{\mathbb E}_x[x^2|y]]-{\mathbb E}_y[{\mathbb E}_x[x|y]^2]+{\mathbb E}_y[{\mathbb E}_x[x|y]^2]-{\mathbb E}_y[{\mathbb E}_x[x|y]]^2\\ &=&{\mathbb E}_y[{\mathbb E}_x[x^2|y]]-{\mathbb E}_y[{\mathbb E}_x[x|y]]^2\\ &=&{\mathbb E}[x^2]-{\mathbb E}[x]^2\tag{2}\\ &=&{\rm var}[x]\tag{3} \end{eqnarray}$