PRML演習問題 2.27(基本) - 機械学習基礎理論独習

問題

$\bf x$ と $\bf z$ を $2$ つの独立な確率ベクトル、すなわち、 $p({\bf x},{\bf z})=p({\bf x})p({\bf z})$ であるとする。
これらの和 ${\bf y}={\bf x}+{\bf z}$ の平均が、それぞれの変数について個別に求めた平均の和となることを示せ。
同様に、 $\bf y$ の共分散行列が、 $\bf x$ と $\bf z$ それぞれの共分散行列の和であることを示せ。
これが、演習問題 $1.10$ の結果と一致することを確認せよ。

参照

式 $(1.128),(1.129)$ は演習問題 $1.10$ のものです。

$\begin{eqnarray} {\mathbb E}[x+z]={\mathbb E}[x]+{\mathbb E}[z]\tag{1.128} \end{eqnarray}$

$\begin{eqnarray} {\rm var}[x+z]={\rm var}[x]+{\rm var}[z]\tag{1.129} \end{eqnarray}$

解答

$\langle{\bf x}+{\bf z}\rangle_{p({\bf x},{\bf z})}$ を計算します。

$\begin{eqnarray} \langle{\bf x}+{\bf z}\rangle_{p({\bf x},{\bf z})}&=&\langle{\bf x}+{\bf z}\rangle_{p({\bf x})p({\bf z})}\\ &=&\langle{\bf x}\rangle_{p({\bf x})p({\bf z})}+\langle{\bf z}\rangle_{p({\bf x})p({\bf z})}\\ &=&\langle{\bf x}\rangle_{p({\bf x})}+\langle{\bf z}\rangle_{p({\bf z})}\tag{1} \end{eqnarray}$

式 $(1)$ より、 ${\bf y}={\bf x}+{\bf z}$ の平均が、それぞれの変数について個別に求めた平均の和となることを示せました。

$\left\langle({\bf x}+{\bf z}-\langle{\bf x}+{\bf z}\rangle_{p({\bf x},{\bf z})})({\bf x}+{\bf z}-\langle{\bf x}+{\bf z}\rangle_{p({\bf x},{\bf z})})^\top\right\rangle_{p({\bf x},{\bf z})}$ を計算します。

$\begin{eqnarray} &&\left\langle({\bf x}+{\bf z}-\langle{\bf x}+{\bf z}\rangle_{p({\bf x},{\bf z})})({\bf x}+{\bf z}-\langle{\bf x}+{\bf z}\rangle_{p({\bf x},{\bf z})})^\top\right\rangle_{p({\bf x},{\bf z})}\\ &=&\left\langle({\bf x}-\langle{\bf x}\rangle_{p({\bf x})}+{\bf z}-\langle{\bf z}\rangle_{p({\bf z})})({\bf x}-\langle{\bf x}\rangle_{p({\bf x})}+{\bf z}-\langle{\bf z}\rangle_{p({\bf z})})^\top\right\rangle_{p({\bf x},{\bf z})}\\ &=&\langle({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})^\top+({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})^\top\\ &+&({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})^\top+({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})^\top\rangle_{p({\bf x},{\bf z})}\\ &=&\langle({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})^\top\rangle_{p({\bf x},{\bf z})}+\langle({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})^\top\rangle_{p({\bf x},{\bf z})}\\ &+&\underbrace{\langle({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})^\top\rangle_{p({\bf x},{\bf z})}}_{=0}+\underbrace{\langle({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})^\top\rangle_{p({\bf x},{\bf z})}}_{=0}\\ &=&\langle({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})({\bf x}-\langle{\bf x}\rangle_{p({\bf x})})^\top\rangle_{p({\bf x})}+\langle({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})({\bf z}-\langle{\bf z}\rangle_{p({\bf z})})^\top\rangle_{p({\bf z})}\tag{2} \end{eqnarray}$

式 $(2)$ より、 $\bf y$ の共分散行列が、 $\bf x$ と $\bf z$ それぞれの共分散行列の和であることを示せました。

式 $(1),(2)$ は、演習問題 $1.10$ の式 $(1.128),(1.129)$ と結果が一致していることが確認できます。