機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 1.31(標準) www

問題

2 つの変数 {\bf x},{\bf y} を考え、同時分布を p({\bf x},{\bf y})とする。
この変数の組の微分エントロピー

\begin{eqnarray}
{\rm H}[{\bf x},{\bf y}]\leqslant{\rm H}[{\bf x}]+{\rm H}[{\bf y}]\tag{1.152}
\end{eqnarray}

を満たし、等号は \bf x\bf y が統計的に独立なとき、またそのときに限ることを示せ。

参照

\begin{eqnarray}
{\rm H}[{\bf y},{\bf x}]={\rm H}[{\bf y}|{\bf x}]+{\rm H}[{\bf x}]\tag{1.112}
\end{eqnarray}

\begin{eqnarray}
{\rm I}[{\bf x},{\bf y}]={\rm H}[{\bf x}]-{\rm H}[{\bf x}|{\bf y}]={\rm H}[{\bf y}]-{\rm H}[{\bf y}|{\bf x}]\tag{1.121}
\end{eqnarray}

解答

{\rm H}[{\bf x}]+{\rm H}[{\bf y}]-{\rm H}[{\bf x},{\bf y}] を計算します。

\begin{eqnarray}
{\rm H}[{\bf x}]+{\rm H}[{\bf y}]-{\rm H}[{\bf x},{\bf y}]&=&{\rm H}[{\bf x}]+{\rm H}[{\bf y}]-\underbrace{({\rm H}[{\bf y}|{\bf x}]+{\rm H}[{\bf x}])}_{(1.112)}\\
&=&{\rm H}[{\bf y}]-{\rm H}[{\bf y}|{\bf x}]\\
&=&\underbrace{{\rm I}[{\bf x},{\bf y}]}_{(1.121)}\\
&\geqslant&0\tag{1}
\end{eqnarray}

(1) より、式 (1.152) が示せました。
(1) より、式 (1.152) の等号が成り立つのは、{\rm I}[{\bf x},{\bf y}]=0 の時であり、 \bf x\bf y が統計的に独立な場合です。

目次へ戻る