MAP推定とリッジ回帰の関係

MAP推定

MAP推定とは事後分布を最大するようなパラメータ ${\bf w}$ を点推定することです。
事後分布を求めるために事前分布を定めます。
尤度が多次元ガウス分布なので、共役事前分布として多次元ガウス分布とします。
恣意的ですが、平均は ${\bf 0}$ 、共分散行列は等方的な分布 $\alpha^{-1}{\bf I}$ とします。 $\alpha$ はこの記事では定数とします。

$\begin{eqnarray} p({\bf w})=\mathcal{N}({\bf w}|{\bf 0},\alpha^{-1}{\bf I})\tag{1} \end{eqnarray}$

(1)は本来 $p({\bf w}|\alpha)$ と書くべきかもしれませんが、 $\alpha$ を省略して、 $p({\bf w})$ と書いています。

尤度関数は最尤推定と最小二乗法の記事より以下のようになります。 $\beta$ はこの記事では固定とします。

$\begin{eqnarray} p({\bf t}|{\bf w})=\prod_{n=1}^N\mathcal{N}(t_n|{\bf w}^\top{\boldsymbol\phi}({\bf x}_n),\beta^{-1})\tag{2}\\ \end{eqnarray}$

(2)は本来 $p({\bf t}|{\bf X},{\bf w},\beta)$ と書くべきかもしれませんが、 ${\bf X},\beta$ を省略して、 $p({\bf t}|{\bf w})$ と書いています。

ベイズの定理を用いて

$\begin{eqnarray} p({\bf w}|{\bf t})&\propto&p({\bf t}|{\bf w})p({\bf w})\\ &=&\left(\prod_{n=1}^N\mathcal{N}(t_n|{\bf w}^\top{\boldsymbol\phi}({\bf x}_n),\beta^{-1})\right)\mathcal{N}({\bf w}|{\bf 0},\alpha^{-1}{\bf I})\tag{3}\\ \end{eqnarray}$

となります。(3)に対数を取ります。

$\begin{eqnarray} \ln p({\bf w}|{\bf t})&=&\left(\sum_{n=1}^N\ln\mathcal{N}(t_n|{\bf w}^\top{\boldsymbol\phi}({\bf x}_n),\beta^{-1})\right)+\ln\mathcal{N}({\bf w}|{\bf 0},\alpha^{-1}{\bf I})+{\rm const.}\\ &=&-\frac{N}{2}\ln2\pi+\frac{N}{2}\ln\beta-\frac{\beta}{2}\sum_{n=1}^N(t_n-{\bf w}^\top{\boldsymbol\phi}({\bf x}_n))^2-\frac{1}{2}\ln2\pi+\frac{1}{2}\ln\alpha-\frac{\alpha}{2}{\bf w}^\top{\bf w}+{\rm const.}\\ &=&-\frac{\beta}{2}\sum_{n=1}^N(t_n-{\bf w}^\top{\boldsymbol\phi}({\bf x}_n))^2-\frac{\alpha}{2}{\bf w}^\top{\bf w}+{\rm const.}\\ &=&-\beta\left(\frac{1}{2}\sum_{n=1}^N(t_n-{\bf w}^\top{\boldsymbol\phi}({\bf x}_n))^2+\frac{\alpha}{2\beta}{\bf w}^\top{\bf w}\right)+{\rm const.}\tag{4}\\ \end{eqnarray}$

なんと、(4)にリッジ回帰(L2正則化)と同じ目的関数が出てきました。

すなわち、この事後分布を ${\bf w}$ について最大化することは、二乗和誤差関数と二次正則化項の和を最小化することと等価であることが分かります。
このような結果になったのは、事前分布の平均を ${\bf 0}$ 、共分散行列を等方的な分布 $\alpha^{-1}{\bf I}$ としたためです。

偉人の名言

f:id:olj611:20210314090245p:plain:w300
心の底からやりたいと思わないなら、やめておけ。
ヘミングウェイ

参考文献

パターン認識と機械学習上巻

機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

MAP推定

偉人の名言

参考文献

動画