PRML演習問題 3.10(標準) www - 機械学習基礎理論独習

問題

$(2.115)$ の結果を用いて $(3.57)$ の積分を評価し、ベイズ線形回帰モデルの予測分布が $(3.58)$ で与えられることを確かめよ。
ただし、入力に依存する分散は $(3.59)$ で与えられる。

参照

$\begin{eqnarray} p({\bf x}) = \mathcal{N}(\mathbf x | \boldsymbol\mu, \mathbf\Lambda^{-1})\tag{2.113} \end{eqnarray}$

$\begin{eqnarray} p({\bf y} | {\bf x}) = \mathcal{N}({\mathbf y}| {\mathbf A} \mathbf x + \mathbf b, \mathbf{L}^{-1}) \tag{2.114} \end{eqnarray}$

$\begin{eqnarray} p({\mathbf y}) = \mathcal{N}({\mathbf y} | {\mathbf A} {\boldsymbol\mu} + \mathbf b , \mathbf{L}^{-1} + \mathbf A \mathbf \Lambda^{-1} \mathbf A^{\top}) \tag{2.115} \end{eqnarray}$

$\begin{eqnarray} y({\bf x},{\bf w})=\sum_{j=0}^{M-1}w_i\phi_j({\bf x})={\bf w}^\top{\boldsymbol\phi}({\bf x})\tag{3.3} \end{eqnarray}$

$\begin{eqnarray} p(t|{\bf x},{\bf w},\beta)={\mathcal N}(t|y({\bf x},{\bf w}),\beta^{-1})\tag{3.8} \end{eqnarray}$

$\begin{eqnarray} p({\bf w}|{\bf t})={\mathcal N}({\bf w}|{\bf m}_N,{\bf S}_N)\tag{3.49} \end{eqnarray}$

$\begin{eqnarray} p(t|{\bf t},\alpha,\beta)=\int p(t|{\bf w},\beta)p({\bf w}|{\bf t},\alpha,\beta){\rm d}{\bf w}\tag{3.57} \end{eqnarray}$

$\begin{eqnarray} p(t|{\bf x},{\bf t},\alpha,\beta)={\mathcal N}(t|{\bf m}_N^\top{\boldsymbol\phi}({\bf x}),\sigma_N^2({\bf x}))\tag{3.58} \end{eqnarray}$

$\begin{eqnarray} \sigma_N^2({\bf x})=\frac{1}{\beta}+{\boldsymbol\phi}({\bf x})^\top{\bf S}_N{\boldsymbol\phi}({\bf x})\tag{3.59} \end{eqnarray}$

解答

式 $(3.3),(3.8)$ より、以下が成り立ちます。

$\begin{eqnarray} p(t|{\bf w},\beta)={\mathcal N}(t|{\bf w}^\top{\boldsymbol\phi}({\bf x}),\beta^{-1})\tag{1} \end{eqnarray}$

式 $(3.49),(1)$ に式 $(2.115)$ を適用します。
式 $(2.115)$ において、
${\bf x}\rightarrow{\bf w},\ {\bf y}\rightarrow t,\ {\boldsymbol\mu}\rightarrow{\bf m}_N,\ {\bf\Lambda}^{-1}\rightarrow{\bf S}_N,\ {\bf A}\rightarrow{\boldsymbol\phi}({\bf x})^\top, {\bf L}^{-1}\rightarrow\beta^{-1}$ と対応させると、以下が成り立ちます。

$\begin{eqnarray} p(t|{\bf x},{\bf t},\alpha,\beta)={\mathcal N}(t|{\boldsymbol\phi}({\bf x})^\top{\bf m}_N,\beta^{-1}+{\boldsymbol\phi}({\bf x})^\top{\bf S}_N{\boldsymbol\phi}({\bf x}))\tag{2} \end{eqnarray}$

式 $(2)$ より、ベイズ線形回帰モデルの予測分布が $(3.58)$ で与えられることが示せました。

補足

PRML全般に言えることですが、確率分布の条件は省略しているものが多々あります。
補ってお読みください。