機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 6.11(基本)

問題

(6.25) の展開の中央の要素を、べき級数展開することによって、
ガウスカーネル (6.23) は、無限次元の特徴ベクトルの内積で表されることを示せ。

参照

\begin{eqnarray}
k({\bf x},{\bf x}')={\boldsymbol\phi}({\bf x})^\top{\boldsymbol\phi}({\bf x}')\tag{6.1}
\end{eqnarray}

\begin{eqnarray}
k({\bf x},{\bf x}')=ck_1({\bf x},{\bf x}')\tag{6.13}
\end{eqnarray}

\begin{eqnarray}
k({\bf x},{\bf x}')=f({\bf x})k_1({\bf x},{\bf x}')f({\bf x}')\tag{6.14}
\end{eqnarray}

\begin{eqnarray}
k({\bf x},{\bf x}')=k_1({\bf x},{\bf x}')+k_2({\bf x},{\bf x}')\tag{6.17}
\end{eqnarray}

\begin{eqnarray}
k({\bf x},{\bf x}')=k_1({\bf x},{\bf x}')k_2({\bf x},{\bf x}')\tag{6.18}
\end{eqnarray}

\begin{eqnarray}
k({\bf x},{\bf x}')=\exp(-||{\bf x}-{\bf x}'||^2/2\sigma^2)\tag{6.23}
\end{eqnarray}

\begin{eqnarray}
k({\bf x},{\bf x}')=\exp(-{\bf x}^\top{\bf x}/2\sigma^2)\exp({\bf x}^\top{\bf x}'/\sigma^2)\exp(-({\bf x}')^\top{\bf x}'/2\sigma^2)\tag{6.25}
\end{eqnarray}

解答

(6.25) の展開の中央の要素 \exp({\bf x}^\top{\bf x}'/\sigma^2)マクローリン展開します。

\begin{eqnarray}
\exp({\bf x}^\top{\bf x}'/\sigma^2)=\sum_{m=0}^\infty\frac{1}{m!}\left(\frac{{\bf x}^\top{\bf x}'}{\sigma^2}\right)^m\tag{1}
\end{eqnarray}

(1) の右辺の \displaystyle\sum_{m=0}^\infty の中身である \dfrac{1}{m!}\left(\dfrac{{\bf x}^\top{\bf x}'}{\sigma^2}\right)^m は、式 (6.1),(6.13),(6.18) により、有効なカーネルであるため、式 (1) は以下のように書けます。

\begin{eqnarray}
\exp({\bf x}^\top{\bf x}'/\sigma^2)=\sum_{m=0}^\infty{\boldsymbol\phi}_m({\bf x})^\top{\boldsymbol\phi}_m({\bf x}')\tag{2}
\end{eqnarray}

(2) の右辺は式 (6.17) より、有効なカーネルなので、式 (2) は以下のように書けます。

\begin{eqnarray}
\exp({\bf x}^\top{\bf x}'/\sigma^2)={\boldsymbol\psi}({\bf x})^\top{\boldsymbol\psi}({\bf x}')\tag{3}
\end{eqnarray}

(3) において、以下のようにおきました。

\begin{eqnarray}
{\boldsymbol\psi}({\bf x})^\top=({\boldsymbol\phi}_0({\bf x})^\top,{\boldsymbol\phi}_1({\bf x})^\top,\ldots)\tag{4}
\end{eqnarray}

(3) を式 (6.25) に代入します。

\begin{eqnarray}
k({\bf x},{\bf x}')&=&\exp(-{\bf x}^\top{\bf x}/2\sigma^2){\boldsymbol\psi}({\bf x})^\top{\boldsymbol\psi}({\bf x}')\exp(-({\bf x}')^\top{\bf x}'/2\sigma^2)\tag{5}
\end{eqnarray}

(4) は式 (6.14) より、有効なカーネルであり、式 (4) は以下のように書けます。
(式(4) と式 (6.23) は等しいので、ガウスカーネルが有効なカーネルであることが分かりました。)

\begin{eqnarray}
k({\bf x},{\bf x}')&=&{\boldsymbol\varphi}({\bf x})^\top{\boldsymbol\varphi}({\bf x})\tag{6}
\end{eqnarray}

(6) において、以下のようにおきました。

\begin{eqnarray}
{\boldsymbol\varphi}({\bf x})=\exp(-{\bf x}^\top{\bf x}/2\sigma^2){\boldsymbol\varphi}({\bf x})\tag{7}
\end{eqnarray}

(6),(7) より、ガウスカーネル (6.23) は、無限次元の特徴ベクトルの内積で表されることが示せました。

目次へ戻る