PRML演習問題 6.6(基本) - 機械学習基礎理論独習

問題

有効なカーネル関数を構成するために利用できる等式 $(6.15)$ と $(6.16)$ を確かめよ。

参照

$\begin{eqnarray} k({\bf x},{\bf x}')={\boldsymbol\phi}({\bf x})^\top{\boldsymbol\phi}({\bf x}')\tag{6.1} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}')=ck_1({\bf x},{\bf x}')\tag{6.13} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}')=q(k_1({\bf x},{\bf x}'))\tag{6.15} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}')=\exp(k_1({\bf x},{\bf x}'))\tag{6.16} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}')=k_1({\bf x},{\bf x}')+k_2({\bf x},{\bf x}')\tag{6.17} \end{eqnarray}$

$\begin{eqnarray} k({\bf x},{\bf x}')=k_1({\bf x},{\bf x}')k_2({\bf x},{\bf x}')\tag{6.18} \end{eqnarray}$

解答

PRML下巻 p5-6 より、 $k_1({\bf x},{\bf x}')$ は有効なカーネル、 $q(\cdot)$ は非負の係数をもつ多項式とします。

$q(x)$ を以下のようにおきます。

$\begin{eqnarray} q(x)=\sum_{m=0}^Mc_mx^m\tag{1} \end{eqnarray}$

式 $(1)$ の係数 $c_m\ (m=0,1,\ldots,M)$ は非負とします。

式 $(6.15)$ の右辺 $q(k_1({\bf x},{\bf x}'))$ を計算します。

$\begin{eqnarray} q(k_1({\bf x},{\bf x}'))&=&\underbrace{\sum_{m=0}^Mc_mk_1({\bf x},{\bf x}')^m}_{(1)}\tag{2}\\ &=&\sum_{m=1}^Mc_mk_1({\bf x},{\bf x}')^m+c_0\\ &=&\sum_{m=1}^Mc_mk_1({\bf x},{\bf x}')^m+\sqrt{c_0}\sqrt{c_0}\tag{3} \end{eqnarray}$

式 $(3)$ の $\sqrt{c_0}\sqrt{c_0}$ は式 $(6.1)$ より有効なカーネルです。
また、式 $(3)$ の $\displaystyle\sum_{m=1}^Mc_mk_1({\bf x},{\bf x}')^m$ は有効なカーネル同士の積を定数倍した同士の和なので、式 $(6.13),(6.17),(6.18)$ より、有効なカーネルです。
よって、式 $(3)$ は有効なカーネル同士の和なので、式 $(6.17)$ より、有効なカーネルです。
以上より、式 $(6.15)$ は有効なカーネルであることが示せました。