PRML演習問題 13.9(標準) www - 機械学習基礎理論独習

問題

隠れマルコフモデルの $(13.6)$ で定義される同時分布が条件付き独立性 $(13.24)$ - $(13.31)$ を満たすことを、
有向分離の規準を用いて確かめよ。

参照

$\begin{eqnarray} p({\bf x}_1,\ldots,{\bf x}_N,{\bf z}_1,\ldots,{\bf z}_N)=p({\bf z}_1)\left(\prod_{n=2}^Np({\bf z}_n|{\bf z}_{n-1})\right)\prod_{n=1}^Np({\bf x}_n|{\bf z}_n)\tag{13.6} \end{eqnarray}$

$\begin{eqnarray} p({\bf X}|{\bf z}_n)&=&p({\bf x}_1,\ldots,{\bf x}_n|{\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n)\tag{13.24}\\ p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf x}_n,{\bf z}_n)&=&p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_n)\tag{13.25}\\ p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1},{\bf z}_n)&=&p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})\tag{13.26}\\ p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n,{\bf z}_{n+1})&=&p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_{n+1})\tag{13.27}\\ p({\bf x}_{n+2},\ldots,{\bf x}_N|{\bf z}_{n+1},{\bf x}_{n+1})&=&p({\bf x}_{n+2},\ldots,{\bf x}_N|{\bf z}_{n+1})\tag{13.28}\\ p({\bf X}|{\bf z}_{n-1},{\bf z}_n)&=&p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})p({\bf x}_n|{\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n)\tag{13.29}\\ p({\bf x}_{N+1}|{\bf X},{\bf z}_{N+1})&=&p({\bf x}_{N+1}|{\bf z}_{N+1})\tag{13.30}\\ p({\bf z}_{N+1}|{\bf z}_N,{\bf X})&=&p({\bf z}_{N+1}|{\bf z}_N)\tag{13.31} \end{eqnarray}$

解答

式 $(13.24)\ \ p({\bf X} | {\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_n | {\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N | {\bf z}_n)$ の証明

f:id:olj611:20210923201803p:plain:w700
${\bf x}_1,\ldots,{\bf x}_n$ のどれかから ${\bf x}_{n+1},\ldots,{\bf x}_N$ のどれかへの経路は、すべて ${\bf z}_n$ を通り、
そこでhead-to-tailで観測されていると仮定されているため、
$\{{\bf x}_1,\ldots,{\bf x}_n\}\mathop{\perp\!\!\!\!\perp}{\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n$ であり、式 $(13.24)$ が成り立ちます。

式 $(13.25)\ \ p({\bf x}_1,\ldots,{\bf x}_{n-1} | {\bf x}_n,{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1} | {\bf z}_n)$ の証明

f:id:olj611:20210923202015p:plain:w700
${\bf x}_1,\ldots,{\bf x}_{n-1}$ のどれかから ${\bf x}_n$ への経路は、すべて ${\bf z}_n$ を通り、
そこでhead-to-tailで観測されていると仮定されているため、
$\{{\bf x}_1,\ldots,{\bf x}_{n-1}\}\mathop{\perp\!\!\!\!\perp}{\bf x}_n|{\bf z}_n$ であり、式 $(13.25)$ が成り立ちます。

式 $(13.26)\ \ p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})$ の証明

f:id:olj611:20210923202329p:plain:w700
${\bf x}_1,\ldots,{\bf x}_{n-1}$ のどれかから ${\bf z}_n$ への経路は、すべて ${\bf z}_{n-1}$ を通り、
そこでhead-to-tailまたはtail-to-tailで観測されていると仮定されているため、
$\{{\bf x}_1,\ldots,{\bf x}_{n-1}\}\mathop{\perp\!\!\!\!\perp}{\bf z}_n|{\bf z}_{n-1}$ であり、式 $(13.26)$ が成り立ちます。

式 $(13.27)\ \ p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n,{\bf z}_{n+1})=p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_{n+1})$ の証明

f:id:olj611:20210923202918p:plain:w700
${\bf x}_{n+1},\ldots,{\bf x}_{N}$ のどれかから ${\bf z}_n$ への経路は、すべて ${\bf z}_{n+1}$ を通り、
そこでhead-to-tailで観測されていると仮定されているため、
$\{{\bf x}_{n+1},\ldots,{\bf x}_{N}\}\mathop{\perp\!\!\!\!\perp}{\bf z}_n|{\bf z}_{n+1}$ であり、式 $(13.27)$ が成り立ちます。

式 $(13.28)\ \ p({\bf x}_{n+2},\ldots,{\bf x}_N|{\bf z}_{n+1},{\bf x}_{n+1})=p({\bf x}_{n+2},\ldots,{\bf x}_N|{\bf z}_{n+1})$ の証明

f:id:olj611:20210923204523p:plain:w700
${\bf x}_{n+2},\ldots,{\bf x}_{N}$ のどれかから ${\bf x}_{n+1}$ への経路は、すべて ${\bf z}_{n+1}$ を通り、
そこでtail-to-tailで観測されていると仮定されているため、
$\{{\bf x}_{n+2},\ldots,{\bf x}_{N}\}\mathop{\perp\!\!\!\!\perp}{\bf x}_{n+1}|{\bf z}_{n+1}$ であり、式 $(13.28)$ が成り立ちます。

式 $(13.29)\ \ p({\bf X}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})p({\bf x}_n|{\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n)$ の証明

f:id:olj611:20210923212429p:plain:w700
${\bf x}_{1},\ldots,{\bf x}_{n-1}$ のどれかから ${\bf x}_{n},\ldots,{\bf x}_{N}$ のどれかへの経路は、すべて ${\bf z}_{n},{\bf z}_{n+1}$ を通り、
そこでhead-to-tailまたはtail-to-tailで観測されていると仮定されているため、
$\{{\bf x}_{1},\ldots,{\bf x}_{n-1}\}\mathop{\perp\!\!\!\!\perp}\{{\bf x}_{n},\ldots,{\bf x}_N\}|{\bf z}_{n-1},{\bf z}_{n}$ であり、以下の式 $(1)$ が成り立ちます。

$\begin{eqnarray} p({\bf X}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1},{\bf z}_n)p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_{n-1},{\bf z}_n)\tag{1} \end{eqnarray}$

式 $(13.26)\ \ p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})$ を式 $(1)$ に代入します。

$\begin{eqnarray} p({\bf X}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_{n-1},{\bf z}_n)\tag{2} \end{eqnarray}$

式 $(2)$ の右辺の因数 $p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_{n-1},{\bf z}_n)$ に着目します。
f:id:olj611:20210923213846p:plain:w700
${\bf x}_{n},\ldots,{\bf x}_{N}$ のどれかから ${\bf z}_{n-1}$ への経路は、すべて ${\bf z}_{n}$ を通り、
そこでhead-to-tailで観測されていると仮定されているため、
$\{{\bf x}_{n},\ldots,{\bf x}_{N}\}\mathop{\perp\!\!\!\!\perp}{\bf z}_{n-1}|{\bf z}_{n}$ であり、以下の式 $(3)$ が成り立ちます。

$\begin{eqnarray} p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_n)\tag{3} \end{eqnarray}$

式 $(3)$ を式 $(2)$ に代入します。

$\begin{eqnarray} p({\bf X}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_n)\tag{4} \end{eqnarray}$

式 $(4)$ の右辺の因数 $p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_n)$ に着目します。
f:id:olj611:20210923214405p:plain:w700
${\bf x}_{n}$ のから ${\bf x}_{n+1},\ldots,{\bf x}_N$ のどれかへの経路は、すべて ${\bf z}_{n}$ を通り、
そこでhead-to-tailで観測されていると仮定されているため、
${\bf x}_{n}\mathop{\perp\!\!\!\!\perp}\{{\bf x}_{n+1},\ldots,{\bf x}_N\}|{\bf z}_{n}$ であり、以下の式 $(5)$ が成り立ちます。

$\begin{eqnarray} p({\bf x}_n,\ldots,{\bf x}_N|{\bf z}_n)=p({\bf x}_n|{\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n)\tag{5} \end{eqnarray}$

式 $(5)$ を式 $(4)$ に代入します。

$\begin{eqnarray} p({\bf X}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})p({\bf x}_n|{\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n)\tag{6} \end{eqnarray}$

式 $(6)$ より、式 $(13.29)$ が示せました。

式 $(13.30)\ \ p({\bf x}_{N+1}|{\bf X},{\bf z}_{N+1})=p({\bf x}_{N+1}|{\bf z}_{N+1})$ の証明

f:id:olj611:20210923205141p:plain:w700
${\bf x}_{N+1}$ から ${\bf X}$ のどれかへの経路は、すべて ${\bf z}_{N+1}$ を通り、
そこでhead-to-tailで観測されていると仮定されているため、
${\bf x}_{N+1}\mathop{\perp\!\!\!\!\perp}{\bf X}|{\bf z}_{N+1}$ であり、式 $(13.30)$ が成り立ちます。

式 $(13.31)\ \ p({\bf z}_{N+1}|{\bf z}_N,{\bf X})=p({\bf z}_{N+1}|{\bf z}_N)$ の証明

f:id:olj611:20210923210056p:plain:w700
${\bf z}_{N+1}$ から ${\bf X}$ のどれかへの経路は、すべて ${\bf z}_{N}$ を通り、
そこでhead-to-tailまたはtail-to-tailで観測されていると仮定されているため、
${\bf z}_{N+1}\mathop{\perp\!\!\!\!\perp}{\bf X}|{\bf z}_{N}$ であり、式 $(13.31)$ が成り立ちます。

問題

参照

解答

式の証明

式の証明

式の証明

式の証明

式の証明

式の証明

式の証明

式の証明

式 $(13.24)\ \ p({\bf X} | {\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_n | {\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N | {\bf z}_n)$ の証明

式 $(13.25)\ \ p({\bf x}_1,\ldots,{\bf x}_{n-1} | {\bf x}_n,{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1} | {\bf z}_n)$ の証明

式 $(13.26)\ \ p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})$ の証明

式 $(13.27)\ \ p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n,{\bf z}_{n+1})=p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_{n+1})$ の証明

式 $(13.28)\ \ p({\bf x}_{n+2},\ldots,{\bf x}_N|{\bf z}_{n+1},{\bf x}_{n+1})=p({\bf x}_{n+2},\ldots,{\bf x}_N|{\bf z}_{n+1})$ の証明

式 $(13.29)\ \ p({\bf X}|{\bf z}_{n-1},{\bf z}_n)=p({\bf x}_1,\ldots,{\bf x}_{n-1}|{\bf z}_{n-1})p({\bf x}_n|{\bf z}_n)p({\bf x}_{n+1},\ldots,{\bf x}_N|{\bf z}_n)$ の証明

式 $(13.30)\ \ p({\bf x}_{N+1}|{\bf X},{\bf z}_{N+1})=p({\bf x}_{N+1}|{\bf z}_{N+1})$ の証明

式 $(13.31)\ \ p({\bf z}_{N+1}|{\bf z}_N,{\bf X})=p({\bf z}_{N+1}|{\bf z}_N)$ の証明