PRML演習問題 8.17(標準) - 機械学習基礎理論独習

問題

図 $8.38$ に示される形の $N=5$ ノードのグラフを考える。
ただし $x_3$ および $x_5$ は観測されているとする。
有向分離性を使って $x_2\mathop{\perp\!\!\!\!\perp}x_5|x_3$ を示せ。
$8.4.1$ 節のメッセージパッシングアルゴリズムを $p(x_2|x_3,x_5)$ の計算に用いたとき、結果が $x_5$ の値に依存しないことを示せ。

参照

図 $8.38$
f:id:olj611:20210927202649p:plain:w600

$\begin{eqnarray} &&p(x_n)=\dfrac{1}{Z}\mu_\alpha(x_n)\mu_\beta(x_n)\tag{8.54}\\ &&p(x_{n-1},x_n)=\dfrac{1}{Z}\mu_\alpha(x_{n-1})\psi_{n-1,n}(x_{n-1},x_n)\mu_\beta(x_n)\tag{8.58} \end{eqnarray}$

解答

図 $8.38$ に示される形の $N=5$ ノードの無向グラフは以下のようになります。
図 $1$
f:id:olj611:20210927220845p:plain:w400
有向分離性を使う為、図 $1$ を有向グラフに変換すると、図 $2,3$ の $2$ 種類の有向グラフができます。
図 $2$
f:id:olj611:20210927220910p:plain:w400
図 $3$
f:id:olj611:20210927220940p:plain:w400
図 $2$ 、図 $3$ において、 $x_2$ から $x_5$ への経路は $x_3$ を通り、そこでhead-to-tailであり、 $x_3$ は観測済みであるため、
有向分離性により、 $x_2\mathop{\perp\!\!\!\!\perp}x_5|x_3$ です。

$p(x_2|x_5,x_3)$ を計算します。

$\begin{eqnarray} p(x_2|x_5,x_3)&=&p(x_2|x_3)\tag{1}\\ &=&\frac{p(x_2,x_3)}{p(x_3)}\\ &=&\frac{\dfrac{1}{Z}\mu_\alpha(x_2)\psi_{2,3}(x_2,x_3)\mu_\beta(x_3)}{\dfrac{1}{Z}\mu_\alpha(x_3)\mu_\beta(x_3)}\tag{2}\\ &=&\frac{\mu_\alpha(x_2)p(x_3|x_2)}{\mu_\alpha(x_3)}\tag{3} \end{eqnarray}$

式 $(1)$ は $x_2\mathop{\perp\!\!\!\!\perp}x_5|x_3$ を用いました。
式 $(2)$ は、式 $(8.54)$ と式 $(8.58)$ を用いました。
式 $(3)$ は、PRML下巻のp104の中ほどにある、 $\psi_{2,3}=p(x_3|x_2)$ を用いました。

式 $(3)$ の因数 $\mu_\alpha(x_2)$ は $x_1,x_2$ のみに依存し、 $\mu_\alpha(x_3)$ は $x_1,x_2,x_3$ のみに依存し、 $p(x_3|x_2)$ は $x_2,x_3$ のみに依存するため、
$p(x_2|x_5,x_3)$ は $x_5$ には依存しないことが分かります。