機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 3.15(基本) www

問題

線形基底関数からなる回帰モデルの超パラメータ \alpha,\betaエビデンスの枠組みを用いて決定する場合を考える。
(3.82) で定義される関数 E({\bf m}_N) が関係式 2E({\bf m}_N)=N を満たすことを示せ。

参照

\begin{eqnarray}
E({\bf m}_N)=\frac{\beta}{2}  \left | \left | \mathbf t-\boldsymbol \Phi \mathbf m_N \right | \right | ^ 2+\frac{\alpha}{2}\mathbf m_N^\top \mathbf m_N\tag{3.82}
\end{eqnarray}

\begin{eqnarray}
\alpha=\frac{\gamma}{{\bf m}_N^\top{\bf m}_N}\tag{3.92}
\end{eqnarray}

\begin{eqnarray}
\frac{1}{\beta}=\frac{1}{N-\gamma}\sum_{n=1}^N\left(t_n-{\bf m}_N^\top{\boldsymbol\phi}({\bf x}_n)\right)^2\tag{3.95}
\end{eqnarray}

解答

(3.95) を変形します。

\begin{eqnarray}
&&\frac{1}{\beta}=\frac{1}{N-\gamma}\sum_{n=1}^N\left(t_n-{\bf m}_N^\top{\boldsymbol\phi}({\bf x}_n)\right)^2\\
&&\Leftrightarrow \frac{1}{\beta}=\frac{1}{N-\gamma}\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf m}_N\right|\right|^2\\
&&\Leftrightarrow \beta=\frac{N-\gamma}{\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf m}_N\right|\right|^2}\tag{1}
\end{eqnarray}

(3.92),(1) を式 (3.82) に代入します。

\begin{eqnarray}
&&E({\bf m}_N)=\frac{1}{2}\underbrace{\frac{N-\gamma}{\left|\left|{\bf t}-{\boldsymbol\Phi}{\bf m}_N\right|\right|^2}}_{(1)} \left | \left | \mathbf t-\boldsymbol \Phi \mathbf m_N \right | \right |^2+\frac{1}{2}\underbrace{\frac{\gamma}{{\bf m}_N^\top{\bf m}_N}}_{(3.92)}\mathbf m_N^\top \mathbf m_N\\
&&\Leftrightarrow E({\bf m}_N)=\frac{N-\gamma}{2}+\frac{\gamma}{2}\\
&&\Leftrightarrow 2E({\bf m}_N)=N\tag{2}
\end{eqnarray}

(2) より、2E({\bf m}_N)=N が示せました。

目次へ戻る