PRML演習問題 3.9(標準) - 機械学習基礎理論独習

問題

上記の問題を平方完成ではなく、線形ガウスモデルの一般的な結果 $(2.116)$ を用いて示せ

参照

$\begin{eqnarray} p({\bf x}) = \mathcal{N}(\mathbf x | \boldsymbol\mu, \mathbf\Lambda^{-1})\tag{2.113} \end{eqnarray}$

$\begin{eqnarray} p({\bf y} | {\bf x}) = \mathcal{N}({\mathbf y}| {\mathbf A} \mathbf x + \mathbf b, \mathbf{L}^{-1}) \tag{2.114} \end{eqnarray}$

$\begin{eqnarray} p({\bf x}|{\bf y})={\mathcal N}({\bf x}|{\bf\Sigma}({\bf A}^\top{\bf L}({\bf y}-{\bf b})+{\bf\Lambda}{\boldsymbol\mu}),{\bf\Sigma})\tag{2.116} \end{eqnarray}$

$\begin{eqnarray} {\bf\Sigma}=({\bf\Lambda}+{\bf A}^\top{\bf L}{\bf A})^{-1}\tag{2.117} \end{eqnarray}$

$\begin{eqnarray} p({\bf w}|{\bf t})={\mathcal N}({\bf w}|{\bf m}_N,{\bf S}_N)\tag{3.49} \end{eqnarray}$

$\begin{eqnarray} {\bf m}_N={\bf S}_N\left({\bf S}_0^{-1}{\bf m}_0+\beta{\boldsymbol\Phi}^\top{\bf t}\right)\tag{3.50} \end{eqnarray}$

$\begin{eqnarray} {\bf S}_N^{-1}={\bf S}_0^{-1}+\beta{\boldsymbol\Phi}^\top{\boldsymbol\Phi}\tag{3.51} \end{eqnarray}$

解答

問題文の「上記の問題」とはPRML演習問題 3.8(標準) www のことです。

$N$ 個のデータが与えられたときの ${\bf w}$ の事後分布を事前分布とみなすので、式 $(3.49)$ は以下のように書けます。

$\begin{eqnarray} p({\bf w})={\mathcal N}({\bf w}|{\bf m}_N,{\bf S}_N)\tag{1} \end{eqnarray}$

追加のデータ点 $({\bf x}_{N+1},t_{N+1})$ が与えられたときの尤度関数は、以下のように書けます。
また、 ${\boldsymbol\phi}_{N+1}={\boldsymbol\phi}({\bf x}_{N+1})$ とします。

$\begin{eqnarray} p(t_{N+1}|{\bf x}_{N+1},{\bf w})={\mathcal N}\left(t_{N+1}|{\bf w}^\top{\boldsymbol\phi}_{N+1},\beta^{-1}\right)\tag{2} \end{eqnarray}$

式 $(1),(2)$ に式 $(2.116)$ を適用します。
式 $(2.116)$ において、
${\bf x}\rightarrow{\bf w},\ {\bf y}\rightarrow t_{N+1},\ {\boldsymbol\mu}\rightarrow{\bf m}_N,\ {\bf\Lambda}^{-1}\rightarrow{\bf S}_N,\ {\bf A}\rightarrow{\boldsymbol\phi}_{N+1}^\top, {\bf b}\rightarrow 0,\ {\bf L}^{-1}\rightarrow\beta^{-1}$ と対応させ、
まず、式 $(2.117)$ の $\bf\Sigma$ に相当する ${\bf S}_{N+1}$ を求めます。

$\begin{eqnarray} {\bf S}_{N+1}=({\bf S}_N^{-1}+\beta{\boldsymbol\phi}_{N+1}{\boldsymbol\phi}_{N+1}^\top)^{-1}\tag{3} \end{eqnarray}$

次に、 $p({\bf w}|t_{N+1},{\bf x}_{N+1},{\bf m}_N,{\bf S}_N)$ を求めます。

$\begin{eqnarray} p({\bf w}|t_{N+1},{\bf x}_{N+1},{\bf m}_N,{\bf S}_N)&=&{\mathcal N}({\bf w}|{\bf S}_{N+1}({\boldsymbol\phi}_{N+1}\beta(t_{N+1}-0)+{\bf S}_{N}^{-1}{\bf m}_N),{\bf S}_{N+1})\\ &=&{\mathcal N}({\bf w}|{\bf S}_{N+1}({\bf S}_{N}^{-1}{\bf m}_N+\beta{\boldsymbol\phi}_{N+1}t_{N+1}),{\bf S}_{N+1})\tag{4} \end{eqnarray}$

式 $(4)$ はPRML演習問題 3.8(標準) wwwの式 $(5),(6)$ と同じなので、あとは同じです。
よって、上記の問題を線形ガウスモデルの一般的な結果を用いて示すことができました。