PRML演習問題 7.8(基本) www - 機械学習基礎理論独習

$7.1.4$ 節で議論したSVM回帰モデルについて、 $\xi_n>0$ が成り立つ訓練データ点については $a_n=C$ 、
同様に $\hat{\xi}_n > 0$ が成り立つ訓練データ点については $\hat{a}_n=C$ が成立することを示せ。

$\begin{eqnarray} \frac{\partial L}{\partial \xi_n}=0\ \Rightarrow\ a_n+\mu_n=C\tag{7.59} \end{eqnarray}$

$\begin{eqnarray} \frac{\partial L}{\partial \hat{\xi}_n}=0\ \Rightarrow\ \hat{a}_n+\hat{\mu}_n=C\tag{7.60} \end{eqnarray}$

$\begin{eqnarray} g({\bf x})\geqslant 0\tag{E.9} \end{eqnarray}$

$\begin{eqnarray} \lambda\geqslant 0\tag{E.10} \end{eqnarray}$

$\begin{eqnarray} \lambda g({\bf x})= 0\tag{E.11} \end{eqnarray}$

$\mu_n,\xi_n$ を使ってKKT条件は、以下のように書けます。

$\begin{eqnarray} &&\xi_n&\geqslant& 0\tag{1}\\ &&\mu_n&\geqslant& 0\tag{2}\\ &&\mu_n\xi_n&=& 0\tag{3}\\ \end{eqnarray}$

式 $(7.59)$ より、以下が成り立ちます。

$\begin{eqnarray} \mu_n=C-a_n\tag{4} \end{eqnarray}$

式 $(4)$ を式 $(3)$ に代入します。

$\begin{eqnarray} &&(C-a_n)\xi_n= 0\\ &&\Leftrightarrow a_n=C\ \ (\because\xi_n>0)\tag{5} \end{eqnarray}$

式 $(5)$ より、 $\xi_n>0$ が成り立つ訓練データ点については $a_n=C$ が成り立つことが示せました。

$\hat{\mu}_n,\hat{\xi}_n$ を使ってKKT条件は、以下のように書けます。

$\begin{eqnarray} &&\hat{\xi}_n&\geqslant& 0\tag{6}\\ &&\hat{\mu}_n&\geqslant& 0\tag{7}\\ &&\hat{\mu}_n\hat{\xi}_n&=& 0\tag{8}\\ \end{eqnarray}$

式 $(7.60)$ より、以下が成り立ちます。

$\begin{eqnarray} \hat{\mu}_n=C-\hat{a_n}\tag{9} \end{eqnarray}$

式 $(9)$ を式 $(8)$ に代入します。

$\begin{eqnarray} &&(C-\hat{a}_n)\hat{\xi}_n= 0\\ &&\Leftrightarrow \hat{a}_n=C\ \ (\because\hat{\xi}_n>0)\tag{10} \end{eqnarray}$

式 $(10)$ より、 $\hat{\xi}_n>0$ が成り立つ訓練データ点については $\hat{a}_n=C$ が成り立つことが示せました。