機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 3.11(標準)

問題

データ集合のサイズが増えるにつれて、モデルパラメータの事後分布に関する不確かさが
減少することについて説明した、次の行列の公式(付録 {\rm C} 参照)

\begin{eqnarray}
\left({\bf M}+{\bf v}{\bf v}^\top\right)^{-1}={\bf M}^{-1}-\frac{\left({\bf M}^{-1}{\bf v}\right)\left({\bf v}^\top{\bf M}^{-1}\right)}{1+{\bf v}^\top{\bf M}^{-1}{\bf v}}\tag{3.110}
\end{eqnarray}

を用いて、(3.59) の線形回帰モデルに関する不確かさ \sigma_N^2({\bf x})

\begin{eqnarray}
\sigma_{N+1}^2({\bf x})\leqslant\sigma_N^2({\bf x})\tag{3.111}
\end{eqnarray}

を満たすことを示せ。

参照

\begin{eqnarray}
p(t|{\bf t},\alpha,\beta)=\int p(t|{\bf w},\beta)p({\bf w}|{\bf t},\alpha,\beta){\rm d}{\bf w}\tag{3.57}
\end{eqnarray}

\begin{eqnarray}
p(t|{\bf x},{\bf t},\alpha,\beta)={\mathcal N}(t|{\bf m}_N^\top{\boldsymbol\phi}({\bf x}),\sigma_N^2({\bf x}))\tag{3.58}
\end{eqnarray}

\begin{eqnarray}
\sigma_N^2({\bf x})=\frac{1}{\beta}+{\boldsymbol\phi}({\bf x})^\top{\bf S}_N{\boldsymbol\phi}({\bf x})\tag{3.59}
\end{eqnarray}

解答

PRML演習問題 3.8(標準)の式 (6) より、以下が成り立ちます。

\begin{eqnarray}
{\bf S}_{N+1}&=&\left({\bf S}_N^{-1}+\beta{\boldsymbol\phi}_{N+1}{\boldsymbol\phi}_{N+1}^\top\right)^{-1}\\
&=&\left({\bf S}_N^{-1}+\beta^{1/2}{\boldsymbol\phi}_{N+1}\beta^{1/2}{\boldsymbol\phi}_{N+1}^\top\right)^{-1}\\
&=&\left({\bf S}_N^{-1}+\beta^{1/2}{\boldsymbol\phi}_{N+1}\beta^{1/2}{\boldsymbol\phi}_{N+1}^\top\right)^{-1}\\
&=&{\bf S}_N-\frac{\left({\bf S}_N\beta^{1/2}{\boldsymbol\phi}_{N+1}\right)\left((\beta^{1/2}{\boldsymbol\phi}_{N+1})^\top{\bf S}_N\right)}{1+(\beta^{1/2}{\boldsymbol\phi}_{N+1})^\top{\bf S}_N\beta^{1/2}{\boldsymbol\phi}_{N+1}}\\
&=&{\bf S}_N-\frac{\beta{\bf S}_N{\boldsymbol\phi}_{N+1}{\boldsymbol\phi}_{N+1}^\top{\bf S}_N}{1+\beta{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}}\tag{1}
\end{eqnarray}

(1)NN+1とした 式 (3.59) に代入します。

\begin{eqnarray}
\sigma_{N+1}^2({\bf x})&=&\frac{1}{\beta}+{\boldsymbol\phi}({\bf x})^\top{\bf S}_{N+1}{\boldsymbol\phi}({\bf x})\\
&=&\frac{1}{\beta}+{\boldsymbol\phi}({\bf x})^\top\left({\bf S}_N-\frac{\beta{\bf S}_N{\boldsymbol\phi}_{N+1}{\boldsymbol\phi}_{N+1}^\top{\bf S}_N}{1+\beta{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}}\right){\boldsymbol\phi}({\bf x})\\
&=&\frac{1}{\beta}+{\boldsymbol\phi}({\bf x})^\top{\bf S}_N{\boldsymbol\phi}({\bf x})-\frac{\beta{\boldsymbol\phi}({\bf x})^\top{\bf S}_N{\boldsymbol\phi}_{N+1}{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}({\bf x})}{1+\beta{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}}\\
&=&\sigma_N^2({\bf x})-\frac{\beta\left({\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}({\bf x})\right)^\top\left({\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}({\bf x})\right)}{1+\beta{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}}\\
&=&\sigma_N^2({\bf x})-\frac{\beta||{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}({\bf x})||^2}{1+\beta{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}}\tag{2}
\end{eqnarray}

\beta > 0,\ ||\cdot||^2\geqslant 0 より、\beta||{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}({\bf x})||^2\geqslant 0\ \cdots\ (3) が成り立ちます。
{\bf S}_N が半正定値行列なので、{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}\geqslant 0 が成り立ち、1+\beta{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}\geqslant 1\ \cdots\ (4) が成り立ちます。

(3),(4) より、以下が成り立ちます。

\begin{eqnarray}
\frac{\beta||{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}({\bf x})||^2}{1+\beta{\boldsymbol\phi}_{N+1}^\top{\bf S}_N{\boldsymbol\phi}_{N+1}}\geqslant 0\tag{5}
\end{eqnarray}

(2),(5) より、以下が成り立ちます。

\begin{eqnarray}
\sigma_{N+1}^2({\bf x})\leqslant\sigma_N^2({\bf x})\tag{6}
\end{eqnarray}

(6) より、式 (3.111) が成り立つことが示せました。

目次へ戻る