機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 1.2(基本)

問題

正則化された二乗和誤差関数(1.4)を最小にする係数w_iが満たす、(1.122)に類似した線形方程式系を書き下せ。

参照

\begin{eqnarray}
y(x,{\bf w})=w_0+w_1x+w_2x^2+\cdots+w_Mx^m=\sum_{j=0}^Mw_jx^j\tag{1.1}\\
\end{eqnarray}

\begin{eqnarray}
\tilde{E}({\bf w})=\frac{1}{2}\sum_{n=1}^N\left(y(x_n,{\bf w})-t_n\right)^2+\frac{\lambda}{2}||{\bf w}||^2\tag{1.4}\\
\end{eqnarray}

\begin{eqnarray}
\sum_{j=0}^MA_{ij}w_j=T_i\tag{1.122}
\end{eqnarray}

\begin{eqnarray}
A_{ij}=\sum_{n=1}^N(x_n)^{i+j},\ \ \ T_i=\sum_{n=1}^N(x_n)^it_n\tag{1.123}
\end{eqnarray}

解答

(1.4)に式(1.1)を代入します。

\begin{eqnarray}
\tilde{E}({\bf w})=\frac{1}{2}\sum_{n=1}^N\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)^2+\frac{\lambda}{2}||{\bf w}||^2\tag{1}
\end{eqnarray}

(1)w_i微分して=0とおきます。

\begin{eqnarray}
&&\frac{\partial\tilde{E}}{\partial w_i}=0\\
&&\Leftrightarrow\frac{1}{2}\sum_{n=1}^N\frac{\partial}{\partial w_i}\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)^2+\frac{\lambda}{2}\frac{\partial}{\partial w_i}||{\bf w}||^2=0\\
&&\Leftrightarrow\sum_{n=1}^N\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)x_n^i+\lambda w_i=0\\
&&\Leftrightarrow\sum_{n=1}^N\sum_{j=0}^Mw_jx_n^{i+j}+\lambda w_i=\sum_{n=1}^Nx_n^it_n\\
&&\Leftrightarrow\sum_{n=1}^N\left(\sum_{j=0}^Mw_jx_n^{i+j}+\lambda I_{ij}\right)w_i=\sum_{n=1}^Nx_n^it_n\\
&&\Leftrightarrow\sum_{n=1}^N\left(A_{ij}+\lambda I_{ij}\right)w_i=\sum_{n=1}^Nx_n^it_n\\
&&\Leftrightarrow\sum_{n=1}^N\tilde{A}_{ij}w_i=\sum_{n=1}^Nx_n^it_n\tag{2}
\end{eqnarray}

(2)より、(1.122)に類似した線形方程式系になることが示せました。

なお、式(2)で、

\begin{eqnarray}
I_{ij}=
\left\{
    \begin{array}{l}
     1\ \ \ (i=j)\\
     0\ \ \ (i\not=j)
    \end{array}\tag{3}
  \right.\\
\tilde{A}_{ij}=A_{ij}+\lambda I_{ij}\tag{4}
\end{eqnarray}

とおきました。

補足

w_iによる微分は、PRML演習問題 1.1(基本) wwwとほぼ同じなので、式変形を簡略化しております。

目次へ戻る