機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 7.14(標準)

問題

RVM問帰モデルの予測確率分布が (7.90) で与えられることを示せ。
また、その予測分布の分散が (7.91) で与えられることも示せ。

参照

\begin{eqnarray}
p({\bf x}) = \mathcal{N}(\mathbf x | \boldsymbol\mu, \mathbf\Lambda^{-1})\tag{2.113}
\end{eqnarray}

\begin{eqnarray}
p({\bf y} | {\bf x}) = \mathcal{N}({\mathbf y}| {\mathbf A} \mathbf x + \mathbf b, \mathbf{L}^{-1}) \tag{2.114}
\end{eqnarray}

\begin{eqnarray}
p({\mathbf y}) = \mathcal{N}({\mathbf y} | {\mathbf A} {\boldsymbol\mu} + \mathbf b , \mathbf{L}^{-1} + \mathbf A \mathbf \Lambda^{-1} \mathbf A^{\top}) \tag{2.115}
\end{eqnarray}

\begin{eqnarray}
p(t|{\bf x},{\bf w},\beta)={\mathcal N}(t|y({\bf x}),\beta^{-1})\tag{7.76}
\end{eqnarray}

\begin{eqnarray}
y({\bf x})=\sum_{i=1}^Mw_i\phi_i({\bf x})={\bf w}^\top{\boldsymbol\phi}({\bf x})\tag{7.77}
\end{eqnarray}

\begin{eqnarray}
p({\bf w}|{\bf t},{\bf X},{\boldsymbol\alpha},\beta)={\mathcal N}({\bf w}|{\bf m},{\bf\Sigma})\tag{7.81}
\end{eqnarray}

\begin{eqnarray}
{\bf m}=\beta{\bf\Sigma}{\boldsymbol\Phi}^\top{\bf t}\tag{7.82}
\end{eqnarray}

\begin{eqnarray}
{\bf\Sigma}=\left({\bf A}+\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}\right)^{-1}\tag{7.83}
\end{eqnarray}

\begin{eqnarray}
p(t|{\bf x},{\bf X},{\bf t},{\boldsymbol\alpha}^\star,\beta^\star)&=&\int p(t|{\bf x},{\bf w},\beta^\star)p({\bf w}|{\bf X},{\bf t},{\boldsymbol\alpha}^\star,\beta^\star){\rm d}{\bf w}\\
&=&{\mathcal N}({\bf m}^\top{\boldsymbol\phi}({\bf x}),\sigma^2({\bf x}))\tag{7.90}
\end{eqnarray}

\begin{eqnarray}
\sigma^2({\bf x})=(\beta^\star)^{-1}+{\boldsymbol\phi}({\bf x})^\top{\bf\Sigma}{\boldsymbol\phi}({\bf x})\tag{7.91}
\end{eqnarray}

解答

本解答の {\bf m},{\bf\Sigma} は式 (7.82),(7.83) において、{\boldsymbol\alpha}={\boldsymbol\alpha}^\star 及び \beta=\beta^\star としたものです。

(7.90)p(t|{\bf x},{\bf X},{\bf t},{\boldsymbol\alpha}^\star,\beta^\star) を計算します。

\begin{eqnarray}
p(t|{\bf x},{\bf X},{\bf t},{\boldsymbol\alpha}^\star,\beta^\star)&=&\int p(t,{\bf w}|{\bf x},{\bf X},{\bf t},{\boldsymbol\alpha}^\star,\beta^\star){\rm d}{\bf w}\\
&=&\int p(t|{\bf x},{\bf w},\beta^\star)p({\bf w}|{\bf X},{\bf t},{\boldsymbol\alpha}^\star,\beta^\star){\rm d}{\bf w}\\
&=&\int \underbrace{{\mathcal N}(t|y({\bf x}),(\beta^\star)^{-1})}_{(7.76)}\underbrace{{\mathcal N}({\bf w}|{\bf m},{\bf\Sigma})}_{(7.81)}{\rm d}{\bf w}\\
&=&\int {\mathcal N}(t|\underbrace{{\bf w}^\top{\boldsymbol\phi}({\bf x})}_{(7.77)},(\beta^\star)^{-1}){\mathcal N}({\bf w}|{\bf m},{\bf\Sigma}){\rm d}{\bf w}\tag{1}
\end{eqnarray}

(2.115) において、{\bf x}\rightarrow{\bf w},{\boldsymbol\mu}\rightarrow{\bf m},{\bf\Lambda}^{-1}\rightarrow{\bf\Sigma},{\bf y}\rightarrow t,{\bf A}\rightarrow{\boldsymbol\phi}({\bf x})^\top,{\bf b}\rightarrow {\bf 0},{\bf L}^{-1}\rightarrow(\beta^\star)^{-1} と対応させると、
(1) は以下のようになります。

\begin{eqnarray}
p(t|{\bf x},{\bf X},{\bf t},{\boldsymbol\alpha}^\star,\beta^\star)={\mathcal N}(t|{\boldsymbol\phi}({\bf x})^\top{\bf m},(\beta^\star)^{-1}+{\boldsymbol\phi}({\bf x})^\top{\bf\Sigma}{\boldsymbol\phi}({\bf x}))\tag{2}
\end{eqnarray}

(2) より、RVM問帰モデルの予測確率分布が (7.90) で与えられることと
また、その予測分布の分散が (7.91) で与えられることが示せました。

目次へ戻る