イェンゼンの不等式 - 機械学習基礎理論独習

関数 $f(x)$ が凸関数であるとする。このとき

$\begin{eqnarray} &&p_1+p_2+\cdots+p_n=1\tag{1}\\ &&0\leq p_i \leq 1\ (i=1,2,\ldots,n)\tag{2} \end{eqnarray}$

を満たす $p_i$ に対して、

$\begin{eqnarray} f(p_1x_1+p_2x_2+\cdots+p_nx_n)\leq p_1f(x_1)+p_2f(x_2)+\cdots+p_nf(x_n)\tag{3} \end{eqnarray}$

が成り立つ。

※凸関数とは下に凸の関数のことです。(例: $y=-x^2$ )

式 $(1),(2)$ より、各 $p_i$ を確率、式 $(3)$ の両辺を期待値の演算と解釈できます。
よって、

$\begin{eqnarray} &&f(\sum_{i=1}^n p_ix)=\sum_{i=1}^np_if(x)\\ &&\Leftrightarrow f({\mathbb E}[x])\leq{\mathbb E}[f(x)]\tag{4} \end{eqnarray}$

が成り立ちます。

$f(x)=\log x,\ p_i=1 / n$ を考えます。
この時 $f$ は上に凸の関数であるので、式 $(3)$ の不等号の向きは逆になり、以下の式が成り立ちます。

$\begin{eqnarray} \log\frac{x_1+x_2+\cdots+x_n}{n}\geq\frac{1}{n}\log x_1x_2\cdots x_n\tag{5} \end{eqnarray}$

式 $(5)$ を $e$ の右肩に乗せると、よく知られた以下の関係式(相加相乗平均)導かれます。

$\begin{eqnarray} \frac{x_1+x_2+\cdots+x_n}{n}\geq\sqrt[n]{x_1x_2\cdots x_n}\tag{6} \end{eqnarray}$

f:id:olj611:20210918185247p:plain:w300
悲しいから泣くのではなく、泣くから悲しいのだ。
ウィリアム・ジェームズ

続・わかりやすいパターン認識 p297-p298

なし