PRML演習問題 8.10(基本) - 機械学習基礎理論独習

問題

すべての変数が観測されていない図8.54に示される有向グラフを考える。
$a\mathop{\perp\!\!\!\!\perp}b\ |\ \emptyset$ を示せ。
今、 $d$ を観測したとする一般に $a\mathop{\not\perp\!\!\!\!\!\!\perp}b\ |\ d$ であることを示せ。

参照

図8.54
$c$ の子孫ノード(すなわちノード $d$ )が観測されたときの
head-to-head 経路 $a$ - $c$ - $b$ の条件付き独立性を考えるためのグラフィカルモデルの例
f:id:olj611:20210917133634p:plain:w250

解答

図8.54の有向グラフより、以下の式が成り立ちます。

$\begin{eqnarray} p(a,b,c,d)=p(d|c)p(c|a,b)p(a)p(b)\tag{1} \end{eqnarray}$

式 $(1)$ を $c,d$ について周辺化します。

$\begin{eqnarray} p(a,b)&=&\sum_c\sum_d p(a,b,c,d)\\ &=&\sum_c\sum_d p(d|c)p(c|a,b)p(a)p(b)\\ &=&p(a)p(b)\sum_c\sum_d p(d|c)p(c|a,b)\\ &=&p(a)p(b)\sum_cp(c|a,b)\\ &=&p(a)p(b)\tag{2} \end{eqnarray}$

式 $(2)$ より、 $a\mathop{\perp\!\!\!\!\perp}b\ |\ \emptyset$ が示せました。

$a$ から $b$ の経路で、 $c$ がhead-to-headであり、 $c$ の子孫 $d$ が観測済みである為、
$a$ から $b$ の経路は $c$ によって遮断されません。
よって、 $a\mathop{\not\perp\!\!\!\!\!\!\perp}b\ |\ d$ であることが示せました。
※有向分離については、PRML下巻p91を参照してください。

補足

本問題は $a\mathop{\not\perp\!\!\!\!\!\!\perp}b\ |\ d$ を有向分離基準ではなく、数式で導くのが正しいのかもしれません。
こちらで、深い考察を行っているようなので、参考にしてみてください。