PRML演習問題 1.25(基本) www - 機械学習基礎理論独習

問題

単一の目標変数 $t$ の $(1.87)$ の二乗損失関数のベクトル値 ${\bf t}$ で表される多変数の場合への以下の一般化について考える。

$\begin{eqnarray} {\mathbb E}[L({\bf t},{\bf y}({\bf x}))]=\iint||{\bf y}({\bf x})-{\bf t}||^2p({\bf x},{\bf t}){\rm d}{\bf x}{\rm d}{\bf t}\tag{1.151} \end{eqnarray}$

変分法によって、この期待損失を最小化する関数 ${\bf y}({\bf x})$ が ${\bf y}({\bf x})={\mathbb E}_{\bf t}[{\bf t}|{\bf x}]$ で与えられることを示せ。
単一の目標変数 ${t}$ の場合はこの結果が $(1.89)$ に帰着されることを確かめよ。

参照

$\begin{eqnarray} {\mathbb E}[L]=\iint||{y}({\bf x})-{t}||^2p({\bf x},{t}){\rm d}{\bf x}{\rm d}{t}\tag{1.87} \end{eqnarray}$

$\begin{eqnarray} y({\bf x})\frac{\displaystyle\int tp({\bf x},t){\rm d}t}{p({\bf x})}=\int tp(t|{\bf x}){\rm d}t={\mathbb E}_t[t|{\bf x}]\tag{1.89} \end{eqnarray}$

$\begin{eqnarray} F[y]=\int_{x_1}^{x_2}G(y(x),y'(x),x){\rm d}x\tag{D.5} \end{eqnarray}$

$\begin{eqnarray} \frac{\partial G}{\partial y}-\frac{\rm d}{{\rm d}x}\left(\frac{\partial G}{\partial y'}\right)=0\tag{D.8} \end{eqnarray}$

解答

式 $(1.151)$ を式 $(D.5)$ のように変形するため、 $\displaystyle\int || {\bf y}({\bf x})-{\bf t} ||^2p({\bf x},{\bf t}){\rm d}{\bf t}=G({\bf x},{\bf y})$ とおきます。

$\begin{eqnarray} {\mathbb E}[L]&=&\iint||{y}({\bf x})-{\bf t}||^2p({\bf x},{\bf t}){\rm d}{\bf x}{\rm d}{\bf t}\\ &=&\iint||{y}({\bf x})-{\bf t}||^2p({\bf x},{\bf t}){\rm d}{\bf t}{\rm d}{\bf x}\\ &=&\int G({\bf x},{\bf y}){\rm d}{\bf x}\tag{1} \end{eqnarray}$

${\mathbb E}[L]$ の停留条件は、式 $(D.8)$ より、 $\partial G/\partial{\bf y}={\bf 0}$ です。

$\begin{eqnarray} &&\frac{\partial G}{\partial{\bf y}}={\bf 0}\\ &&\Leftrightarrow \frac{\partial}{\partial{\bf y}}\int|| {\bf y}({\bf x})-{\bf t} ||^2p({\bf x},{\bf t}){\rm d}{\bf t}={\bf 0}\\ &&\Leftrightarrow \int \frac{\partial}{\partial{\bf y}} (||{\bf y}({\bf x})||^2-2{\bf y}({\bf x})^\top{\bf t})p({\bf x},{\bf t}){\rm d}{\bf t}={\bf 0}\\ &&\Leftrightarrow \int (2{\bf y}({\bf x})-2{\bf t})p({\bf x},{\bf t}){\rm d}{\bf t}={\bf 0}\\ &&\Leftrightarrow {\bf y}({\bf x})\int p({\bf x},{t}){\rm d}{\bf t}=\int {\bf t}p({\bf x},{\bf t}){\rm d}{\bf t}\\ &&\Leftrightarrow {\bf y}({\bf x})=\dfrac{\displaystyle\int {\bf t}p({\bf x},{\bf t}){\rm d}{\bf t}}{\displaystyle\int p({\bf x},{\bf t}){\rm d}{\bf t}}\\ &&\Leftrightarrow {\bf y}({\bf x})=\dfrac{\displaystyle\int {\bf t}p({\bf x},{\bf t}){\rm d}{\bf t}}{p({\bf x})}\\ &&\Leftrightarrow {\bf y}({\bf x})=\int {\bf t}p({\bf t}|{\bf x}){\rm d}{\bf t}\\ &&\Leftrightarrow {\bf y}({\bf x})={\mathbb E}_{\bf t}[{\bf t}|{\bf x}]\tag{2} \end{eqnarray}$

式 $(2)$ より、 ${\bf y}({\bf x})={\mathbb E}_{\bf t}[{\bf t}|{\bf x}]$ で与えられることを示せました。

式 $(1.87)$ を式 $(D.5)$ のように変形するため、 $\displaystyle\int || {y}({\bf x})-{t} ||^2p({\bf x},{t}){\rm d}{t}=G({\bf x},{y})$ とおきます。

$\begin{eqnarray} {\mathbb E}[L]&=&\iint||{y}({\bf x})-{t}||^2p({\bf x},{t}){\rm d}{\bf x}{\rm d}{t}\\ &=&\iint||{y}({\bf x})-{t}||^2p({\bf x},{t}){\rm d}{t}{\rm d}{\bf x}\\ &=&\int G({\bf x},{y}){\rm d}{\bf x}\tag{3} \end{eqnarray}$

${\mathbb E}[L]$ の停留条件は、式 $(D.8)$ より、 $\partial G/\partial{y}={0}$ です。

$\begin{eqnarray} &&\frac{\partial G}{\partial{y}}={0}\\ &&\Leftrightarrow \frac{\partial}{\partial{y}}\int|| {y}({\bf x})-{t} ||^2p({\bf x},{t}){\rm d}{t}={0}\\ &&\Leftrightarrow \int \frac{\partial}{\partial{y}} ({y}({\bf x})^2-2{y}({\bf x}){t})p({\bf x},{t}){\rm d}{t}={0}\\ &&\Leftrightarrow \int (2{y}({\bf x})-2{t})p({\bf x},{t}){\rm d}{t}={0}\\ &&\Leftrightarrow {y}({\bf x})\int p({\bf x},{t}){\rm d}{t}=\int {t}p({\bf x},{t}){\rm d}{t}\\ &&\Leftrightarrow {y}({\bf x})=\dfrac{\displaystyle\int {t}p({\bf x},{t}){\rm d}{t}}{\displaystyle\int p({\bf x},{t}){\rm d}{t}}\\ &&\Leftrightarrow {y}({\bf x})=\dfrac{\displaystyle\int {t}p({\bf x},{t}){\rm d}{t}}{p({\bf x})}\\ &&\Leftrightarrow {y}({\bf x})=\int {t}p({t}|{\bf x}){\rm d}{t}\\ &&\Leftrightarrow {y}({\bf x})={\mathbb E}_{t}[{t}|{\bf x}]\tag{4} \end{eqnarray}$

式 $(4)$ より、式 $(1.89)$ が示せました。