機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 1.40(基本)

問題

イェンセンの不等式(1.115)f(x)=\ln xに適用し実数集合の算術予均が、
幾何平均より決して小さくならないことを示せ。

参照

\begin{eqnarray}
f\left(\sum_{i=1}^M\lambda_ix_i\right)\leqslant\sum_{i=1}^M\lambda_i f(x_i)\tag{1.115}
\end{eqnarray}

解答

(1.115)において、f(x)=\ln x,\lambda_i=1 / Mを考えます。
この時fは上に凸の関数であるので、式(1.115)の不等号の向きは逆になり、以下の式が成り立ちます。

\begin{eqnarray}
&&\ln\left(\sum_{i=1}^M\frac{1}{M}x_i\right)\geqslant\sum_{i=1}^M\frac{1}{M}\ln x_i\\
&&\Leftrightarrow\ln\left(\frac{1}{M}\sum_{i=1}^Mx_i\right)\geqslant\ln\prod_{i=1}^Mx_i^{\frac{1}{M}}\\
&&\Leftrightarrow\ln\left(\frac{x_1+\cdots+x_n}{M}\right)\geqslant\ln\sqrt[M]{x_1\cdots x_n}\tag{1}
\end{eqnarray}

(5)eの右肩に乗せて、\lnを外します。

\begin{eqnarray}
\frac{x_1+\cdots+x_n}{M}\geqslant\sqrt[M]{x_1\cdots x_n}\tag{2}
\end{eqnarray}

(2)より、題意が示せました。

関連リンク

イェンゼンの不等式

目次へ戻る