PRML演習問題 3.3(基本) - 機械学習基礎理論独習

問題

それぞれのデータ点 $t_n$ に重み要素 $r_n>0$ が割り当てられており、二乗和誤差関数が

$\begin{eqnarray} E_D({\bf w})=\frac{1}{2}\sum_{n=1}^Nr_n\left(t_n-{\bf w}^\top{\boldsymbol\phi}({\bf x}_n)\right)^2\tag{3.104} \end{eqnarray}$

となるデータ集合を考える。
このとき、この誤差関数を最小にする解 ${\bf w}^\star$ についての式を求めよ。
また、 $(i)$ ノイズの分散がデータに依存する場合、
$(ii)$ データ点に重複がある場合に照らして、それぞれ重み付き二乗和誤差関数の解釈を与えよ。

解答

行列 ${\bf R}={\rm diag}(r_1,\ldots,r_N)$ を用いて、式 $(3.104)$ を表すと、以下のようになります。

$\begin{eqnarray} E_D({\bf w})=\frac{1}{2}({\bf t}-{\boldsymbol\Phi}{\bf w})^\top{\bf R}({\bf t}-{\boldsymbol\Phi}{\bf w})\tag{1} \end{eqnarray}$

式 $(1)$ を $\bf w$ で微分して $={\bf 0}$ とおきます。

$\begin{eqnarray} &&\frac{\partial}{\partial{\bf w}}E_D({\bf w})={\bf 0}\\ &&\Leftrightarrow\frac{\partial}{\partial{\bf w}}\frac{1}{2}({\bf t}-{\boldsymbol\Phi}{\bf w})^\top{\bf R}({\bf t}-{\boldsymbol\Phi}{\bf w})={\bf 0}\\ &&\Leftrightarrow\frac{\partial}{\partial{\bf w}}({\bf t}^\top{\bf R}{\bf t}-2{\bf t}^\top{\bf R}{\boldsymbol\Phi}{\bf w}+{\bf w}^\top{\boldsymbol\Phi}^\top{\bf R}{\boldsymbol\Phi}{\bf w})={\bf 0}\\ &&\Leftrightarrow-2{\boldsymbol\Phi}^\top{\bf R}{\bf t}+2{\boldsymbol\Phi}^\top{\bf R}{\boldsymbol\Phi}{\bf w}={\bf 0}\\ &&\Leftrightarrow{\boldsymbol\Phi}^\top{\bf R}{\boldsymbol\Phi}{\bf w}={\boldsymbol\Phi}^\top{\bf R}{\bf t}\\ &&\Leftrightarrow{\bf w}=({\boldsymbol\Phi}^\top{\bf R}{\boldsymbol\Phi})^{-1}{\boldsymbol\Phi}^\top{\bf R}{\bf t}\tag{1} \end{eqnarray}$