PRML演習問題 7.6(基本) - 機械学習基礎理論独習

問題

出力値が $t\in\{-1,1\}$ であるロジスティック回帰モデルについて考える。
$(7.1)$ という形の $y({\bf x})$ を用いて、 $p(t=1|y)=\sigma(y)$ とすると、
対数尤度(の符号を反転したもの)に $2$ 乗ノルムの正則化項を加えたものは $(7.47)$ という形を取ることを示せ。

参照

$\begin{eqnarray} p(t|y)=\sigma(yt)\tag{7.46} \end{eqnarray}$

$\begin{eqnarray} \sum_{n=1}^NE_{\rm LR}(y_nt_n)+\lambda||{\bf w}||^2\tag{7.47} \end{eqnarray}$

$\begin{eqnarray} E_{\rm LR}(yt)=\ln\left(1+\exp(-yt)\right)\tag{7.48} \end{eqnarray}$

解答

負の対数尤度を計算します。

$\begin{eqnarray} -\ln \prod_{n=1}^Np(t_n|y_n)&=&-\ln \prod_{n=1}^N\underbrace{\sigma(t_ny_n)}_{(1)}\\ &=&-\sum_{n=1}^N\ln\sigma(t_ny_n)\\ &=&-\sum_{n=1}^NE_{\rm LR}(t_ny_n)\tag{1} \end{eqnarray}$

式 $(1)$ に $2$ 乗ノルムの正則化項を加えます。

$\begin{eqnarray} -\sum_{n=1}^NE_{\rm LR}(t_ny_n)+\lambda||{\bf w}||^2\tag{2} \end{eqnarray}$

式 $(2)$ より、対数尤度(の符号を反転したもの)に $2$ 乗ノルムの正則化項を加えたものは $(7.47)$ という形を取ることが示せました。