PRML演習問題 8.15(標準) www - 機械学習基礎理論独習

問題

図 $8.38$ に示されるグラフにおいて、 $2$ つの隣接ノード上の同時分布 $p(x_{n-1}, x_n)$ が $(8.58)$ の形で表現されることを示せ。

参照

図 $8.38$
f:id:olj611:20211003072433p:plain:h100

$\begin{eqnarray} p(x_n)&=&\frac{1}{Z}\\ &&\underbrace{\left(\sum_{x_{n-1}}\psi_{n-1,n}(x_{n-1},x_n)\cdots\left(\sum_{x_2}\psi_{2,3}(x_2,x_3)\left(\sum_{x_1}\psi_{1,2}(x_1,x_2)\right)\right)\cdots\right)}_{\mu_\alpha(x_n)}\\ &&\underbrace{\left(\sum_{x_{n+1}}\psi_{n,n+1}(x_n,x_{n+1})\cdots\left(\sum_{x_N}\psi_{N,N-1}(x_{N-1},x_N)\right)\cdots\right)}_{\mu_\beta(x_n)}\tag{8.52} \end{eqnarray}$

$\begin{eqnarray} p(x_{n-1},x_n)=\frac{1}{Z}\mu_\alpha(x_{n-1})\psi_{n-1,n}(x_{n-1},x_n)\mu_\beta(x_n)\tag{8.58} \end{eqnarray}$

解答

$p(x_{n-1},x_n)$ を $x_{n-1}$ で周辺化したものが式 $(8.52)$ であるので、
式 $(8.52)$ から $\displaystyle\sum_{x_{n-1}}$ を取って周辺化をなくせば、 $p(x_{n-1},x_n)$ となります。
よって、 $p(x_{n-1},x_n)$ は以下の式で表せます。

$\begin{eqnarray} p(x_{n-1},x_n)&=&\frac{1}{Z}\\ &&\underbrace{\left(\sum_{x_{n-2}}\psi_{n-2,n-1}(x_{n-2},x_{n-1})\cdots\left(\sum_{x_1}\psi_{1,2}(x_1,x_2)\right)\cdots\right)}_{\mu_\alpha(x_{n-1})}\psi_{n-1,n}(x_{n-1},x_n)\\ &&\underbrace{\left(\sum_{x_{n+1}}\psi_{n,n+1}(x_n,x_{n+1})\cdots\left(\sum_{x_N}\psi_{N,N-1}(x_{N-1},x_N)\right)\cdots\right)}_{\mu_\beta(x_n)}\\ &=&\frac{1}{Z}\mu_\alpha(x_{n-1})\psi_{n-1,n}(x_{n-1},x_n)\mu_\beta(x_n)\tag{1} \end{eqnarray}$

式 $(1)$ より、式 $(8.58)$ が示せました。