PRML演習問題 1.21(標準) - 機械学習基礎理論独習

問題

$2$ つの非負の数 $a$ と $b$ があったとき、 $a\leqslant b$ なら $a\leqslant(ab)^{1/2}$ であることを示せ。
この結果を使って、 $2$ クラスのクラス分類問題の決定領域を誤識別率が最小になるように選ぶと、この確率が

$\begin{eqnarray} p(誤り)\leqslant\int\left(p({\bf x},{\mathcal C}_1)\ p({\bf x},{\mathcal C}_2)\right)^{1/2}{\rm d}{\bf x}\tag{1.150} \end{eqnarray}$

を満たすことを示せ。

参照

$\begin{eqnarray} p(誤り)&=&p({\bf x}\in{\mathcal R}_1,{\mathcal C}_2)+p({\bf x}\in{\mathcal R}_2,{\mathcal C}_1)\\ &=&\int_{{\mathcal R}_1}p({\bf x},{\mathcal C}_2){\rm d}{\bf x}+\int_{{\mathcal R}_2}p({\bf x},{\mathcal C}_1){\rm d}{\bf x}\tag{1.78} \end{eqnarray}$

解答

$a\leqslant b$ を変形していきます。

$\begin{eqnarray} &&a\leqslant b\\ &&\Leftrightarrow a^{1/2}\leqslant b^{1/2}\\ &&\Leftrightarrow a\leqslant (ab)^{1/2}\tag{1} \end{eqnarray}$

式 $(1)$ より、 $a\leqslant(ab)^{1/2}$ が示せました。

決定領域を誤識別率が最小になるように選ぶとき、
決定領域 ${\mathcal R}_1$ 上では、 $p({\bf x},{\mathcal C}_1)\geqslant p({\bf x},{\mathcal C}_2)$ $\cdots(2)$ 、
決定領域 ${\mathcal R}_2$ 上では、 $p({\bf x},{\mathcal C}_2)\geqslant p({\bf x},{\mathcal C}_1)$ $\cdots(3)$ となっています。(図1参照)

図1
f:id:olj611:20211017152302p:plain:h250

式 $(1.78)$ を変形します。

$\begin{eqnarray} p(誤り)&=&\int_{{\mathcal R}_1}p({\bf x},{\mathcal C}_2){\rm d}{\bf x}+\int_{{\mathcal R}_2}p({\bf x},{\mathcal C}_1){\rm d}{\bf x}\\ &\leqslant&\int_{{\mathcal R}_1}\underbrace{\left(p({\bf x},{\mathcal C}_2)p({\bf x},{\mathcal C}_1)\right)^{1/2}}_{(1),(2)}{\rm d}{\bf x}+\int_{{\mathcal R}_2}\underbrace{\left(p({\bf x},{\mathcal C}_1)p({\bf x},{\mathcal C}_2)\right)^{1/2}}_{(1),(3)}{\rm d}{\bf x}\\ &=&\int_{{\mathcal R}}\left(p({\bf x},{\mathcal C}_1)p({\bf x},{\mathcal C}_2)\right)^{1/2}{\rm d}{\bf x}\tag{4} \end{eqnarray}$

式 $(4)$ より、式 $(1.150)$ が示せました。