機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 9.5(基本)

問題

9.6で示すような、混合ガウスモデルの有向グラフを考える。
8.2節で議論した有向分離の規準を利用して、
潜在変数の事後分布が次式のように各データ点ごとの事後分布の積になることを示せ。

\begin{eqnarray}
p({\bf Z}|{\bf X},{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})=\prod_{n=1}^Np({\bf z}_n|{\bf x}_n,{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})\tag{9.80}
\end{eqnarray}

参照

9.6
f:id:olj611:20211002063642p:plain:w300

解答

9.6をプレートを使わないで描くと、次のようになります。

図1
f:id:olj611:20211002073656p:plain:w400

1より、x_iからx_j\ (i\not=j)への経路は{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi}のいずれかでtail-to-tailで観測済みであるため、遮断されます。
よって、以下の式が成り立ちます。

\begin{eqnarray}
x_i\mathop{\perp\!\!\!\!\perp}x_j|\{{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi}\}\ (i\not=j)\tag{1}
\end{eqnarray}

(1)より、以下が成り立ちます。

\begin{eqnarray}
p({\bf X}|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})&=&\prod_{n=1}^Np({\bf x}_n|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})\tag{2}
\end{eqnarray}

また、図1より、\{x_i,z_i\}のいずれかから\{x_j,z_j\}\ (i\not=j)のいずれかへの経路は{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi}のいずれかでtail-to-tailで観測済みであるため、遮断されます。
よって、以下の式が成り立ちます。

\begin{eqnarray}
\{x_i,z_i\}\mathop{\perp\!\!\!\!\perp}\{x_j,z_j\}|\{{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi}\}\ (i\not=j)\tag{3}
\end{eqnarray}

(3)より、以下が成り立ちます。

\begin{eqnarray}
p({\bf X},{\bf Z}|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})&=&\prod_{n=1}^Np({\bf x}_n,{\bf z}_n|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})\tag{4}
\end{eqnarray}

p({\bf Z}|{\bf X},{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})を計算します。

\begin{eqnarray}
p({\bf Z}|{\bf X},{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})&=&\frac{p({\bf X},{\bf Z}|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})}{p({\bf X}|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})}\\
&=&\frac{\displaystyle\prod_{n=1}^Np({\bf x}_n,{\bf z}_n|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})}{\displaystyle\prod_{n=1}^Np({\bf x}_n|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})}\\
&=&\prod_{n=1}^N\frac{p({\bf x}_n,{\bf z}_n|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})}{p({\bf x}_n|{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})}\\
&=&\prod_{n=1}^Np({\bf z}_n|{\bf x}_n,{\boldsymbol\mu},{\bf\Sigma},{\boldsymbol\pi})\tag{5}
\end{eqnarray}

(5)より、式(9.80)が示せました。

補足

PRML下巻p91より、
塗りつぶされた小さい円で示される{\boldsymbol\pi},{\boldsymbol\mu},{\bf\Sigma}などのパラメータのノードを通る経路は必ずtail-to-tailで、
有向分離性に影響はない、とあるので本問題はこれらのノードは無視して考えてもよいと思います。

目次へ戻る