機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 1.29(基本) www

問題

M状態の離散確率変数xを考え、イェンセンの不等式(1.115)を使って、
確率分布p(x)のエントロビーが{\rm H}[x]\leqslant \ln Mを満たすことを示せ。

参照

\begin{eqnarray}
{\rm H}[p]=-\sum_ip(x_i)\ln p(x_i)\tag{1.98}
\end{eqnarray}

\begin{eqnarray}
f\left(\sum_{i=1}^M\lambda_i x_i\right)\leqslant \sum_{i=1}^M\lambda_i f(x_i)\tag{1.115}
\end{eqnarray}

解答

(1.98)より、M状態の離散確率変数xの確率分布p(x)のエントロビー{\rm H}[x]は以下のようになります。

\begin{eqnarray}
{\rm H}[x]&=&-\sum_{i=1}^Mp(x_i)\ln p(x_i)\\
&=&\sum_{i=1}^Mp(x_i)\ln \frac{1}{p(x_i)}\tag{1}
\end{eqnarray}

(1.115)において、f=\ln,\lambda_i=p(x_i)とおくと、以下が成り立ちます。
ただし、\ln xは上に凸の関数であるため、式(1.115)とは不等号の向きが逆転します。

\begin{eqnarray}
{\rm H}[x]&=&\sum_{i=1}^Mp(x_i)\ln \frac{1}{p(x_i)}\\
&\leqslant&\ln\left(\sum_{i=1}^Mp(x_i)\frac{1}{p(x_i)}\right)\\
&=&\ln\sum_{i=1}^M 1\\
&=&\ln M\tag{2}
\end{eqnarray}
(2)より、{\rm H}[x]\leqslant \ln Mを満たすことが示せました。

補足

(1.115)は下に凸の関数の時(PRMLでは単に凸関数)に成り立つ不等式です。

\dfrac{{\rm d}^2}{{\rm d}x^2}\ln x=\dfrac{-1}{x^2} < 0なので、\ln xは上に凸の関数です。

目次へ戻る