直線フィッティング - 最小二乗法 - 機械学習基礎理論独習

要件

$N$ 個のデータ $(x_1,t_1),\cdots,(x_N,t_N)$ に当てはまる直線を求めたい。

f:id:olj611:20210226080923p:plain:w400

モデルの定義

予測直線(モデル)を $y=w_0+w_1x$ とします。

目的関数の定義

あるデータ $(x_n,t_n)$ に着目する。
$x_n$ の予測値は $w_0+w_1x_n$ です。
$t_n$ との差の2乗は $(w_0+w_1x_n-t_n)^2$ です。
これを全データについて足し合わせたものを目的関数とします。

$\begin{eqnarray} E(w_0,w_1)=\frac{1}{2}\sum_{n=1}^N(w_0+w_1x_n-t_n)^2\tag{1} \end{eqnarray}$

$\frac{1}{2}$ は $w_0,w_1$ で偏微分した式を奇麗に見せるためのものです。

目的関数の最小化

目的関数を最小化するために $w_0,w_1$ で偏微分し、 $=0$ とおくと
以下の2式からなる連立方程式ができます。

$\begin{eqnarray} &&\frac{\partial}{\partial w_0}E(w_0,w_1)=\sum_{n=1}^N(w_0+w_1x_n-t_n)=0\tag{2}\\ &&\frac{\partial}{\partial w_1}E(w_0,w_1)=\sum_{n=1}^Nx_n(w_0+w_1x_n-t_n)=0\tag{3}\\ \end{eqnarray}$

これを解くと $w_0,w_1$ が求まり、予測直線が決定します。
誤差の二乗和からなる目的関数を最小化するので、これを最小二乗法と言います。
(この記事では解かない。直線フィッティングは曲線フィッティングに含まれるため。)

偉人の名言

f:id:olj611:20210309195459p:plain:w300
苦しいという言葉だけはどんなことがあっても言わないでおこうじゃないか。
高杉晋作

参考文献

機械学習とパターン認識上巻

機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

直線フィッティング - 最小二乗法

要件

モデルの定義

目的関数の定義

目的関数の最小化

偉人の名言

参考文献

動画