PRML演習問題 6.18(基本) - 機械学習基礎理論独習

問題

等方共分散をもつ、つまり、共分散行列が $\sigma^2{\bf I}$ ( ${\bf I}$ は単位行列)で与えられるような
ガウス基底を持つような Nadaraya-Watson モデルを考える。
入力変数 $x$ と、目標変数 $t$ はそれぞれ $1$ 次元であるとする。
このとき、条件付き密度 $p(t|x)$ 、条件付き期待値 ${\mathbb E}[t|x]$ 、および条件付き分散 ${\rm var}[t|x]$ を
それぞれカーネル関数 $k(x,x_n)$ を用いて書け。

参考

$\begin{eqnarray} p({\bf x},t)=\frac{1}{N}\sum_{n=1}^N f({\bf x}-{\bf x}_n,t-t_n)\tag{6.42} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}_n)=\frac{g({\bf x}-{\bf x}_n)}{\displaystyle\sum_m g({\bf x}-{\bf x}_m)}\tag{6.46} \end{eqnarray}$

$\begin{eqnarray} g({\bf x})=\int_{-\infty}^{\infty}f({\bf x},t){\rm d}t\tag{6.47} \end{eqnarray}$

$\begin{eqnarray} p(t|{\bf x})=\frac{p(t,{\bf x})}{\displaystyle\int p(t, {\bf x})}{\rm d}t=\frac{\displaystyle\sum_n f({\bf x}-{\bf x}_n,t-t_n)}{\displaystyle\sum_m\int f({\bf x}-{\bf x}_m,t-t_m){\rm dt}}\tag{6.48} \end{eqnarray}$

解答

$f(x, t)$ は以下のようになります。
また、問題文にはありませんが、PRML本文より ${\bf z}=(x,t)$ とおきます。

$\begin{eqnarray} f(x,t)&=&f({\bf z})\\ &=&{\mathcal N}\left({\bf z}|{\bf 0},{\sigma^2}{\bf I}\right)\\ &=&{\mathcal N}\left(\begin{pmatrix}x\\t\end{pmatrix}|{\bf 0},{\sigma^2}{\bf I}\right)\\ &=&\frac{1}{2\pi\sigma^2}{\rm exp}\left(-\frac{1}{2}\begin{pmatrix}x,t\end{pmatrix}\frac{1}{\sigma^2} \begin{pmatrix}1 & 0 \\ 0 & 1\end{pmatrix}\begin{pmatrix}x\\t\end{pmatrix}\right)\\ &=&\frac{1}{2\pi\sigma^2}{\rm exp}\left(-\frac{1}{2\sigma^2}\left(x^2+t^2\right)\right)\tag{1} \end{eqnarray}$

$(6.47)$ より、 $g(x)$ を計算します。

$\begin{eqnarray} g(x)&=&\int_{-\infty}^{\infty}\underbrace{f(x,t)}_{=(1)}{\rm d}t\\ &=&\int_{-\infty}^{\infty}\frac{1}{2\pi\sigma^2}{\rm exp}\left(-\frac{1}{2\sigma^2}\left(x^2+t^2\right)\right){\rm d}t\\ &=&\frac{1}{2\pi\sigma^2}{\rm exp}\left(-\frac{x^2}{2\sigma^2}\right)\int_{-\infty}^{\infty}{\rm exp}\left(-\frac{t^2}{2\sigma^2}\right){\rm d}t\\ &=&\frac{1}{2\pi\sigma^2}{\rm exp}\left(-\frac{x^2}{2\sigma^2}\right)\sqrt{2\pi\sigma^2}\\ &=&\frac{1}{\sqrt{2\pi\sigma^2}}{\rm exp}\left(-\frac{x^2}{2\sigma^2}\right)\tag{2}\\ \end{eqnarray}$

$(6.46)$ より、 $k(x,x_n)$ を計算します。

$\begin{eqnarray} k(x,x_n)&=&\frac{g(x-x_n)}{\displaystyle\sum_m g(x-x_m)}\\ &=&\frac{\dfrac{1}{\sqrt{2\pi\sigma^2}}{\rm exp}\left(-\dfrac{(x-x_n)^2}{2\sigma^2}\right)}{\displaystyle\sum_m\dfrac{1}{\sqrt{2\pi\sigma^2}}{\rm exp}\left(-\frac{(x-x_m)^2}{2\sigma^2}\right)}\\ &=&\frac{{\rm exp}\left(-\dfrac{(x-x_n)^2}{2\sigma^2}\right)}{\displaystyle\sum_m{\rm exp}\left(-\frac{(x-x_m)^2}{2\sigma^2}\right)}\tag{3} \end{eqnarray}$

$(2)$ の計算を流用すると、 $\displaystyle\int f(x-x_m,t-t_m){\rm dt}$ は以下のようになります。

$\begin{eqnarray} \int f(x-x_m,t-t_m){\rm dt}&=&\frac{1}{\sqrt{2\pi\sigma^2}}{\rm exp}\left(-\frac{(x-x_m)^2}{2\sigma^2}\right)\tag{4}\\ \end{eqnarray}$

$(6.48)$ より、 $p(t|x)$ を計算します。

$\begin{eqnarray} p(t|x)&=&\frac{\displaystyle\sum_n f(x-x_n,t-t_n)}{\displaystyle\sum_m\int f(x-x_m,t-t_m){\rm dt}}\\ &=&\frac{\displaystyle\sum_n \frac{1}{2\pi\sigma^2}{\rm exp}\left(-\frac{(x-x_n)^2+(t-t_n)^2}{2\sigma^2}\right)}{\displaystyle\sum_m\frac{1}{\sqrt{2\pi\sigma^2}}{\rm exp}\left(-\frac{(x-x_m)^2}{2\sigma^2}\right)}\\ &=&\frac{1}{\sqrt{2\pi\sigma^2}}\frac{\displaystyle\sum_n {\rm exp}\left(-\frac{(x-x_n)^2+(t-t_n)^2}{2\sigma^2}\right)}{\displaystyle\sum_m{\rm exp}\left(-\frac{(x-x_m)^2}{2\sigma^2}\right)}\\ &=&\sum_n\frac{{\rm exp}\left(-\dfrac{(x-x_n)^2}{2\sigma^2}\right)}{\displaystyle\sum_m{\rm exp}\left(-\frac{(x-x_m)^2}{2\sigma^2}\right)}\frac{1}{\sqrt{2\pi\sigma^2}}{\rm exp}\left(-\frac{(t-t_n)^2}{2\sigma^2}\right)\\ &=&\sum_n k(x,x_n){\mathcal N}(t|t_n,\sigma^2)\tag{5} \end{eqnarray}$

${\mathbb E}[t|x]$ を計算します。

$\begin{eqnarray} {\mathbb E}[t|x]&=&\int tp(t|x){\rm d}t\\ &=&\int t\sum_n k(x,x_n){\mathcal N}(t|t_n,\sigma^2){\rm d}t\\ &=&\sum_n k(x,x_n)\int t{\mathcal N}(t|t_n,\sigma^2){\rm d}t\\ &=&\sum_n k(x,x_n)t_n\tag{6} \end{eqnarray}$

${\rm var}[t|x]$ を計算します。

$\begin{eqnarray} {\rm var}[t|x]&=&\int t^2p(t|x){\rm d}t\\ &=&\int t^2\sum_n k(x,x_n){\mathcal N}(t|t_n,\sigma^2){\rm d}t\\ &=&\sum_n k(x,x_n)\int t^2{\mathcal N}(t|t_n,\sigma^2){\rm d}t\\ &=&\sum_n k(x,x_n)\sigma^2\tag{7} \end{eqnarray}$

補足

RPML下巻 p13 より、 $f(x,t)$ の平均は ${\bf 0}$ としました。