機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです

目次へ戻る

2021-11-27

PRML演習問題 6.3(基本)

問題

最近傍法 ( $2.5.2$ 節)は、新しい入力ベクトル $\bf x$ を、
訓練集合の中でこれに最も近い入力ベクトル ${\bf x}_n$ を持つものと同じクラスに分類する。
最も単純な場合では、距離はユークリッド距離 $||{\bf x}-{\bf x}_n||^2$ が用いられる。
これをスカラー積で表すことで、カーネル置換を用いて、一般的な非線形カーネルを用いた最近傍法を導け。

解答

$||{\bf x}-{\bf x}_n||^2$ を変形します。

$\begin{eqnarray} ||{\bf x}-{\bf x}_n||^2&=&{\bf x}^\top{\bf x}+{\bf x}_n^\top{\bf x}_n-2{\bf x}^\top{\bf x}_n\\ &=&k({\bf x},{\bf x})+k({\bf x}_n,{\bf x}_n)-2k({\bf x},{\bf x}_n)\tag{1} \end{eqnarray}$

式 $(1)$ の $k(\cdot)$ を非線形カーネルに置き換えたものが、一般的な非線形カーネルを用いた最近傍法です。

目次へ戻る