機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 7.4(標準) www

問題

マージン最大の超平面のマージン \rho は、以下の式を満たすことを示せ。

\begin{eqnarray}
\frac{1}{\rho^2}=\sum_{n=1}^Na_n\tag{7.123}
\end{eqnarray}

ただし、\{a_n\}(7.10) を制約条件 (7.11) および (7.12) の下で解いて得られる解とする。

参照

\begin{eqnarray}
t_n\left({\bf w}^\top{\boldsymbol\phi}({\bf x}_n)+b\right)=1\tag{7.4}
\end{eqnarray}

\begin{eqnarray}
L({\bf w},b,{\bf a})=\frac{1}{2}||{\bf w}||^2-\sum_{n=1}^Na_n\left(t_n({\bf w}^\top{\boldsymbol\phi}({\bf x}_n)+b)-1\right)\tag{7.7}
\end{eqnarray}

\begin{eqnarray}
{\bf w}=\sum_{n=1}^Na_nt_n{\boldsymbol\phi}({\bf x}_n)\tag{7.8}
\end{eqnarray}

\begin{eqnarray}
\widetilde{L}({\bf a})=\sum_{n=1}^Na_n-\frac{1}{2}\sum_{n=1}^N\sum_{m=1}^Na_na_mt_nt_mk({\bf x}_n,{\bf x}_m)\tag{7.10}
\end{eqnarray}

\begin{eqnarray}
a_n\geqslant 0,\ n=1,\ldots,N\tag{7.11}
\end{eqnarray}

\begin{eqnarray}
\sum_{n=1}^Na_nt_n=0\tag{7.12}
\end{eqnarray}

\begin{eqnarray}
a_n\left(t_ny({\bf x}_n)-1\right)=0\tag{7.16}
\end{eqnarray}

解答

超平面 y({\bf x})=0 から点 {\bf x}_n までの距離は式 (7.4) より、 1/||{\bf w}|| なので、以下が成り立ちます。

\begin{eqnarray}
&&\rho=\frac{1}{||{\bf w}||}\\
&&\Leftrightarrow\rho^2=\frac{1}{||{\bf w}||^2}\tag{1}
\end{eqnarray}

(7.16) を 式 (7.7) に代入します。

\begin{eqnarray}
L({\bf w},b,{\bf a})=\frac{1}{2}||{\bf w}||^2\tag{2}
\end{eqnarray}

(7.8) を 式 (7.10) に代入します。

\begin{eqnarray}
\widetilde{L}({\bf a})=\sum_{n=1}^Na_n-\frac{1}{2}||{\bf w}||^2\tag{3}
\end{eqnarray}

(2),(3) より、以下が成り立ちます。

\begin{eqnarray}
&&\frac{1}{2}||{\bf w}||^2=\sum_{n=1}^Na_n-\frac{1}{2}||{\bf w}||^2
&&\Leftrightarrow||{\bf w}||^2=\sum_{n=1}^Na_n\\
&&\Leftrightarrow\underbrace{\frac{1}{\rho^2}}_{(1)}=\sum_{n=1}^Na_n\tag{4}
\end{eqnarray}

(4) より、式 (7.123) が示せました。

目次へ戻る