機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

最小二乗法の幾何学

線形回帰

最小二乗法の復習

N個のデータ({\bf x}_1,t_1),\ldots,({\bf x}_N,t_N)が与えられています。
{\bf x}_n\in{\mathbb{R}^D,t_n\in\mathbb{R}}で、{\bf t}=\{t_1,\ldots,t_N\}と表します。

線形回帰モデルは以下のよう表されるとします。

\begin{eqnarray} y({\bf x},{\bf w})={\bf w}^\top{\boldsymbol\phi}({\bf x})\tag{1}\\ \end{eqnarray}

ただし、{\bf w}=(w_0,\ldots,w_{M-1})^\top,{\boldsymbol\phi}=(\phi_0,\ldots,\phi_{M-1})^\topです。
また、{\boldsymbol\Phi}を以下のようにおきます。

\begin{eqnarray} {\boldsymbol\Phi}=\begin{pmatrix} \boldsymbol\phi(x_1)^\top \\\ \vdots \\\ \boldsymbol\phi(x_N)^\top\ \end{pmatrix}\tag{2} \end{eqnarray}

この時、目的関数を以下のように定義します。

\begin{eqnarray} E({\bf w})=\frac{1}{2}||{\boldsymbol\Phi}{\bf w}-{\bf t}||^2\tag{3} \end{eqnarray}

目的関数を最小化した{\bf w}を{\bf w}_{\rm ML}と表すと

\begin{eqnarray} {\bf w}_{\rm ML}=(\boldsymbol\Phi^\top\boldsymbol\Phi)^{-1}\boldsymbol\Phi^\top{\bf t}\tag{4} \end{eqnarray}

となります。

最小二乗解の幾何学的解釈

{\bf y}を以下のようにおきます。

\begin{eqnarray} {\bf y}=\begin{pmatrix}y({\bf x}_1,{\bf w})\\ \vdots\\ y({\bf x}_N,{\bf w})\end{pmatrix}\tag{5} \end{eqnarray}

(1)と(4)をまとめて書きます。

\begin{eqnarray} {\bf y}={\boldsymbol\Phi}{\bf w}\tag{6} \end{eqnarray}

(4)を(6)に代入します。

\begin{eqnarray} {\bf y}={\boldsymbol\Phi}(\boldsymbol\Phi^\top\boldsymbol\Phi)^{-1}\boldsymbol\Phi^\top{\bf t}\tag{7} \end{eqnarray}

ここで、{\boldsymbol\psi}_jを{\boldsymbol\Phi}のj番目の列ベクトルとします。

\begin{eqnarray} {\boldsymbol\Phi}=({\boldsymbol\psi}_1,\cdots,{\boldsymbol\psi}_M)\tag{8} \end{eqnarray}

{\mathbb R}^Nの部分空間\mathcal S は {\boldsymbol\psi}_1,\cdots,{\boldsymbol\psi}_M で張られています。

PRML演習問題 3.2(標準) より、\bf tを部分空間\mathcal Sへ直交射影したものが\bf yということになります。
{\bf w}に対する最小二乗解は、部分空間\mathcal S内にあり\bf tに最も近い\bf yを選ぶことに相当します。

イメージ図を以下に記します。

f:id:olj611:20210313054308p:plain:w300

偉人の名言

f:id:olj611:20210313054611p:plain:w300
目標は必ずしも達成されるためにあるのではない。
目指すべき何かを与えてくれることも多い。
ブルース・リー

参考文献

パターン認識と機械学習 上巻
データサイエンスのための数学

動画

目次へ戻る