PRML演習問題 13.2(標準) - 機械学習基礎理論独習

問題

図 $13.3$ の有向グラフに対応する同時確率分布 $(13.2)$ について考えよう。
確率の加法・乗法定理を用い、この同時確率が、
$n=2,\ldots,N$ について条件付き独立性 $(13.3)$ を満たすことを示せ。
同様に、同時分布 $(13.4)$ によって記述される二次マルコフモデルが、
$n=3,\ldots,N$ について以下の条件付き独立性を満たすことを示せ。

$\begin{eqnarray} p({\bf x}_n|{\bf x}_1,\ldots,{\bf x}_{n-1})=p({\bf x}_n|{\bf x}_{n-1},{\bf x}_{n-2})\tag{13.123} \end{eqnarray}$

参照

図 $13.3$
f:id:olj611:20211020155147p:plain:w500

$\begin{eqnarray} p({\bf x}_1,\ldots,{\bf x}_N)=p({\bf x}_1)\prod_{n=2}^Np({\bf x}_n|{\bf x}_{n-1})\tag{13.2} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}_n|{\bf x}_1,\ldots,{\bf x}_{n-1})=p({\bf x}_n|{\bf x}_{n-1})\tag{13.3} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}_1,\ldots,{\bf x}_N)=p({\bf x}_1)p({\bf x}_2|{\bf x}_1)\prod_{n=3}^Np({\bf x}_n|{\bf x}_{n-1},{\bf x}_{n-2})\tag{13.4} \end{eqnarray}$

解答

式 $(13.3)$ を示します。
まず、 ${\bf x}_{n+1},\ldots,{\bf x}_N$ で周辺化した同時分布 $p({\bf x}_1,\ldots,{\bf x}_n)$ を計算します。

$\begin{eqnarray} p({\bf x}_1,\ldots,{\bf x}_n)&=&\sum_{{\bf x}_{n+1}}\cdots\sum_{{\bf x}_N}p({\bf x}_1,\ldots,{\bf x}_N)\\ &=&\sum_{{\bf x}_{n+1}}\cdots\sum_{{\bf x}_N}p({\bf x}_1)\prod_{m=2}^Np({\bf x}_m|{\bf x}_{m-1})\\ &=&p({\bf x}_1)\prod_{m=2}^np({\bf x}_m|{\bf x}_{m-1})\tag{1} \end{eqnarray}$

条件付き分布 $p({\bf x}_n|{\bf x}_1,\ldots,{\bf x}_{n-1})$ を計算します。

$\begin{eqnarray} p({\bf x}_n|{\bf x}_1,\ldots,{\bf x}_{n-1})&=&\frac{p({\bf x}_1,\ldots,{\bf x}_n)}{\displaystyle\sum_{{\bf x}_n}p({\bf x}_1,\ldots,{\bf x}_n)}\\ &=&\frac{p({\bf x}_1)\displaystyle\prod_{m=2}^np({\bf x}_m|{\bf x}_{m-1})}{\displaystyle\sum_{{\bf x}_n}p({\bf x}_1)\displaystyle\prod_{m=2}^np({\bf x}_m|{\bf x}_{m-1})}\\ &=&\frac{p({\bf x}_1)\left(\displaystyle\prod_{m=2}^{n-1}p({\bf x}_m|{\bf x}_{m-1})\right)p({\bf x}_n|{\bf x}_{n-1})}{p({\bf x}_1)\left(\displaystyle\prod_{m=2}^{n-1}p({\bf x}_m|{\bf x}_{m-1})\right)\displaystyle\sum_{{\bf x}_n}p({\bf x}_n|{\bf x}_{n-1})}\\ &=&\frac{p({\bf x}_n|{\bf x}_{n-1})}{\displaystyle\sum_{{\bf x}_n}p({\bf x}_n|{\bf x}_{n-1})}\\ &=&p({\bf x}_n|{\bf x}_{n-1})\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(13.3)$ が示せました。

式 $(13.123)$ を示します。
まず、 ${\bf x}_{n+1},\ldots,{\bf x}_N$ で周辺化した同時分布 $p({\bf x}_1,\ldots,{\bf x}_n)$ を計算します。

$\begin{eqnarray} p({\bf x}_1,\ldots,{\bf x}_n)&=&\sum_{{\bf x}_{n+1}}\cdots\sum_{{\bf x}_N}p({\bf x}_1,\ldots,{\bf x}_N)\\ &=&\sum_{{\bf x}_{n+1}}\cdots\sum_{{\bf x}_N}p({\bf x}_1)p({\bf x}_2|{\bf x}_1)\prod_{m=3}^Np({\bf x}_m|{\bf x}_{m-1},{\bf x}_{m-2})\\ &=&p({\bf x}_1)p({\bf x}_2|{\bf x}_1)\prod_{m=3}^np({\bf x}_m|{\bf x}_{m-1},{\bf x}_{m-2})\tag{3} \end{eqnarray}$

条件付き分布 $p({\bf x}_n|{\bf x}_1,\ldots,{\bf x}_{n-1})$ を計算します。

$\begin{eqnarray} p({\bf x}_n|{\bf x}_1,\ldots,{\bf x}_{n-1})&=&\frac{p({\bf x}_1,\ldots,{\bf x}_n)}{\displaystyle\sum_{{\bf x}_n}p({\bf x}_1,\ldots,{\bf x}_n)}\\ &=&\frac{p({\bf x}_1)p({\bf x}_2|{\bf x}_1)\displaystyle\prod_{m=3}^np({\bf x}_m|{\bf x}_{m-1},{\bf x}_{m-2})}{\displaystyle\sum_{{\bf x}_n}p({\bf x}_1)p({\bf x}_2|{\bf x}_1)\displaystyle\prod_{m=3}^np({\bf x}_m|{\bf x}_{m-1},{\bf x}_{m-2})}\\ &=&\frac{p({\bf x}_1)p({\bf x}_2|{\bf x}_1)\left(\displaystyle\prod_{m=3}^{n-1}p({\bf x}_m|{\bf x}_{m-1},{\bf x}_{m-2})\right)p({\bf x}_n|{\bf x}_{n-1},{\bf x}_{n-2})}{p({\bf x}_1)p({\bf x}_2|{\bf x}_1)\left(\displaystyle\prod_{m=3}^{n-1}p({\bf x}_m|{\bf x}_{m-1},{\bf x}_{m-2})\right)\displaystyle\sum_{{\bf x}_n}p({\bf x}_n|{\bf x}_{n-1},{\bf x}_{n-2})}\\ &=&\frac{p({\bf x}_n|{\bf x}_{n-1},{\bf x}_{n-2})}{\displaystyle\sum_{{\bf x}_n}p({\bf x}_n|{\bf x}_{n-1},{\bf x}_{n-2})}\\ &=&p({\bf x}_n|{\bf x}_{n-1},{\bf x}_{n-2})\tag{4} \end{eqnarray}$

式 $(4)$ より、式 $(13.123)$ が示せました。