PRML演習問題 13.13(標準) www

問題

因子グラフにおける因子ノードから変数ノードへ渡されるメッセージの定義 $(8.64)$ と
隠れマルコフモデルの同時分布の表現 $(13.6)$ を用いて、
$\alpha$ メッセージの定義 $(13.50)$ が $(13.34)$ の定義と同一であることを示せ。

参照

$\begin{eqnarray} \mu_{f_s\rightarrow x}(x)\equiv\sum_{X_s}F_s(x,X_s)\tag{8.64} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}_1,\ldots,{\bf x}_N,{\bf z}_1,\ldots,{\bf z}_N)=p({\bf z}_1)\left(\prod_{n=2}^Np({\bf z}_n|{\bf z}_{n-1})\right)\prod_{n=1}^Np({\bf x}_n|{\bf z}_n)\tag{13.6} \end{eqnarray}$

$\begin{eqnarray} \alpha({\bf z}_n)\equiv p({\bf x}_1,\ldots,{\bf x}_n,{\bf z}_n)\tag{13.34} \end{eqnarray}$

$\begin{eqnarray} h({\bf z}_1)=p({\bf z}_1)p({\bf x}_1|{\bf z}_1)\tag{13.45} \end{eqnarray}$

$\begin{eqnarray} f_n({\bf z}_{n-1},{\bf z}_n)=p({\bf z}_n|{\bf z}_{n-1})p({\bf x}_n|{\bf z}_n)\tag{13.46} \end{eqnarray}$

$\begin{eqnarray} \alpha({\bf z}_n)=\mu_{f_n\rightarrow{\bf z}_n}({\bf z}_n)\tag{13.50} \end{eqnarray}$

図 $13.15$
f:id:olj611:20211202041433p:plain:w500

解答

式 $(8.64)$ を用いて、式 $(13.50)$ は、以下のように書けます。

$\begin{eqnarray} \alpha({\bf z}_n)=\sum_{{\bf z}_1,\ldots,{\bf z}_{n-1}}F_n({\bf z}_n,\{{\bf z}_1,\ldots,{\bf z}_{n-1}\})\tag{1} \end{eqnarray}$

$F_n(\cdot)$ は $f_n$ 自体を含む $f_n$ を介して接続される全ての因子の積ですので、
$F_n({\bf z}_n,\{{\bf z}_1,\ldots,{\bf z}_{n-1}\})$ は、以下のように書けます。(図 $13.15$ 参照)

$\begin{eqnarray} F_n({\bf z}_n,\{{\bf z}_1,\ldots,{\bf z}_{n-1}\})&=&h({\bf z}_1)\prod_{i=2}^nf_i({\bf z}_i,{\bf z}_{i-1})\\ &=&p({\bf z}_1)p({\bf x}_1|{\bf z}_1)\prod_{i=2}^np({\bf z}_i|{\bf z}_{i-1})p({\bf x}_i|{\bf z}_i)\\ &=&p({\bf x}_1,\ldots,{\bf x}_n,{\bf z}_1,\ldots,{\bf z}_n)\tag{2} \end{eqnarray}$

式 $(2)$ を式 $(1)$ に代入します。

$\begin{eqnarray} \alpha({\bf z}_n)&=&\sum_{{\bf z}_1,\ldots,{\bf z}_{n-1}}p({\bf x}_1,\ldots,{\bf x}_n,{\bf z}_1,\ldots,{\bf z}_n)\\ &=&p({\bf x}_1,\ldots,{\bf x}_n,{\bf z}_n)\tag{3} \end{eqnarray}$

式 $(3)$ より、 $(13.50)$ が $(13.34)$ の定義と同一であることが示せました。

機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

問題

参照

解答

関連リンク