PRML演習問題 1.1(基本) www - 機械学習基礎理論独習

問題

関数 $y(x,{\bf w})$ が多項式 $(1.1)$ で与えられたときの $(1.2)$ の二乗和誤差関数を考える。
この誤差関数を最小にする係数 ${\bf w}=\{w_i\}$ は以下の線型方程式の解として与えられることを示せ。

$\begin{eqnarray} \sum_{j=0}^MA_{ij}w_j=T_i\tag{1.122} \end{eqnarray}$

ただし、

$\begin{eqnarray} A_{ij}=\sum_{n=1}^N(x_n)^{i+j},\ \ \ T_i=\sum_{n=1}^N(x_n)^it_n\tag{1.123} \end{eqnarray}$

ここで、下付き添え字の $i$ や $j$ は成分を表し、 $(x)^i$ は $x$ の $i$ 乗を表す。

参照

$\begin{eqnarray} y(x,{\bf w})=w_0+w_1x+w_2x^2+\cdots+w_Mx^m=\sum_{j=0}^Mw_jx^j\tag{1.1} \end{eqnarray}$

$\begin{eqnarray} E({\bf w})=\frac{1}{2}\sum_{n=1}^N\{y(x_n,{\bf w})-t_n\}^2\tag{1.2} \end{eqnarray}$

解答

式 $(1.1)$ を式 $(1.2)$ へ代入します。

$\begin{eqnarray} E({\bf w})=\frac{1}{2}\sum_{n=1}^N\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)^2\tag{1} \end{eqnarray}$

式 $(1)$ を $w_i$ で微分して $=0$ とおきます。

$\begin{eqnarray} &&\frac{\partial E}{\partial w_i}=0\\ &&\Leftrightarrow\frac{\partial}{\partial w_i}\frac{1}{2}\sum_{n=1}^N\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)^2=0\\ &&\Leftrightarrow\frac{1}{2}\sum_{n=1}^N\frac{\partial}{\partial w_i}\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)^2=0\\ &&\Leftrightarrow\frac{1}{2}\sum_{n=1}^N\frac{\partial}{\partial u}u^2\frac{\partial}{\partial w_i}\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)=0\\ &&\Leftrightarrow\frac{1}{2}\sum_{n=1}^N2u\cdot x_n^i=0\\ &&\Leftrightarrow\sum_{n=1}^N\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)x_n^i=0\\ &&\Leftrightarrow\sum_{j=0}^M\sum_{n=1}^Nx_n^{i+j}w_j=\sum_{n=1}^Nx_n^it_n\\ &&\Leftrightarrow\sum_{j=0}^MA_{ij}w_j=T_i\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(1.122)$ が示せました。