PRML演習問題 6.5(基本) www - 機械学習基礎理論独習

問題

有効なカーネル関数を構成するために利用できる等式 $(6.13)$ と $(6.14)$ を確かめよ。

参照

$\begin{eqnarray} k({\bf x},{\bf x}')={\boldsymbol\phi}({\bf x})^\top{\boldsymbol\phi}({\bf x}')\tag{6.1} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}')=ck_1({\bf x},{\bf x}')\tag{6.13} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}')=f({\bf x})k_1({\bf x},{\bf x}')f({\bf x}')\tag{6.14} \end{eqnarray}$

解答

PRML下巻 p5-6 より、 $k_1({\bf x},{\bf x}')$ は有効なカーネル、 $c>0$ は定数、 $f(\cdot)$ は任意の関数とします。

$k_1({\bf x},{\bf x}')$ を以下のようにおきます。

$\begin{eqnarray} k_1({\bf x},{\bf x}')&=&{\boldsymbol\phi}_1({\bf x})^\top{\boldsymbol\phi}_1({\bf x}')\tag{1} \end{eqnarray}$

式 $(6.13)$ の右辺 $ck_1({\bf x},{\bf x}')$ を計算します。

$\begin{eqnarray} ck_1({\bf x},{\bf x}')&=&c\underbrace{{\boldsymbol\phi}_1({\bf x})^\top{\boldsymbol\phi}_1({\bf x}')}_{(1)}\\ &=&\sqrt{c}{\boldsymbol\phi}_1({\bf x})^\top\sqrt{c}{\boldsymbol\phi}_1({\bf x}')\\ &=&{\bf u}_1({\bf x})^\top{\bf u}_1({\bf x}')\tag{2} \end{eqnarray}$

式 $(2)$ で

$\begin{eqnarray} {\bf u}_1({\bf x})=\sqrt{c}{\boldsymbol\phi}_1({\bf x})\tag{3} \end{eqnarray}$

とおきました。

式 $(2),(6.1)$ より、式 $(6.13)$ は有効なカーネルであることが示せました。

式 $(6.14)$ の右辺 $f({\bf x})k_1({\bf x},{\bf x}')f({\bf x}')$ を計算します。

$\begin{eqnarray} f({\bf x})k_1({\bf x},{\bf x}')f({\bf x}')&=&f({\bf x})\underbrace{{\boldsymbol\phi}_1({\bf x})^\top{\boldsymbol\phi}_1({\bf x}')}_{(1)}f({\bf x}')\\ &=&f({\bf x}){\boldsymbol\phi}_1({\bf x})^\top f({\bf x}'){\boldsymbol\phi}_1({\bf x}')\\ &=&{\bf u}_2({\bf x})^\top{\bf u}_2({\bf x}')\tag{4} \end{eqnarray}$

式 $(4)$ で

$\begin{eqnarray} {\bf u}_2({\bf x})=f({\bf x}){\boldsymbol\phi}_1({\bf x})\tag{5} \end{eqnarray}$

とおきました。

式 $(4),(6.1)$ より、式 $(6.14)$ は有効なカーネルであることが示せました。