最尤推定と最小二乗法の関係

最尤推定

$N$ 個のデータ $({\bf x}_1,t_1),\ldots,({\bf x}_N,t_N)$ が与えられています。
${\bf x}_n\in{\mathbb{R}^D,t_n\in\mathbb{R}}$ で、まとめて ${\bf X}=\{{\bf x}_1,\ldots,{\bf x}_N\},{\bf t}=\{t_1,\ldots,t_N\}$ と表します。

線形回帰モデルは以下のよう表されるとします。

$\begin{eqnarray} y({\bf x},{\bf w})={\bf w}^\top{\boldsymbol\phi}({\bf x})\tag{1}\\ \end{eqnarray}$

ただし、 ${\bf w}=(w_0,\ldots,w_{M-1})^\top,{\boldsymbol\phi}=(\phi_0,\ldots,\phi_{M-1})^\top$ です。

目標変数 $t$ が $y({\bf x},{\bf w})$ と加法性のガウスノイズの和で表される場合を考えます。

$\begin{eqnarray} t=y({\bf x},{\bf w})+\epsilon\tag{2}\\ \end{eqnarray}$

$\epsilon$ は期待値が $0$ で精度(分散の逆数)が $\beta$ のガウス分布に従う確率変数です。すなわち、

$\begin{eqnarray} p(t|{\bf x},{\bf w},\beta)=\mathcal{N}(t|y({\bf x},{\bf w}),\beta^{-1})\tag{3}\\ \end{eqnarray}$

と表せます。
(3)のイメージ図を記載します。
f:id:olj611:20210307174206p:plain:w480

ここで尤度関数を求めます。

$\begin{eqnarray} p({\bf t}|{\bf X},{\bf w},\beta)=\prod_{n=1}^N\mathcal{N}(t_n|{\bf w}^\top{\boldsymbol\phi}({\bf x}_n),\beta^{-1})\tag{4}\\ \end{eqnarray}$

(4)に対数を取って、対数尤度関数を求めます。

$\begin{eqnarray} \ln p({\bf t}|{\bf X},{\bf w},\beta)&=&\sum_{n=1}^N\ln\mathcal{N}(t_n|{\bf w}^\top{\boldsymbol\phi}({\bf x}_n),\beta^{-1})\\ &=&\frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi)-\frac{\beta}{2}\sum_{n=1}^N(t_n-{\bf w}^\top{\boldsymbol\phi}({\bf x}_n))^2\tag{5}\\ \end{eqnarray}$

なんと、(5)の第三項に二乗和誤差関数が現れました。
すなわち、条件付ガウスノイズ分布の下で線形モデルに対する尤度関数の最大化は、二乗和誤差関数を最小化するのと等価であることが分かります。

(5)を ${\bf w}$ で偏微分し、 $={\bf 0}$ とおいて解くと(導出については曲線フィッティングをご覧ください。全く同じです。)

$\begin{eqnarray} {\bf w}_{\rm ML}=(\boldsymbol\Phi^\top\boldsymbol\Phi)^{-1}\boldsymbol\Phi^\top{\bf t}\tag{6}\\ \end{eqnarray}$

${\boldsymbol\Phi}$ は以下のようにおきました。

$\begin{eqnarray} {\boldsymbol\Phi}=\begin{pmatrix} \boldsymbol\phi(x_1)^\top \\\ \vdots \\\ \boldsymbol\phi(x_N)^\top\ \end{pmatrix}\tag{7} \end{eqnarray}$