PRML演習問題 9.10(標準) - 機械学習基礎理論独習

問題

$\begin{eqnarray} p({\bf x})=\sum_{k=1}^K\pi_kp({\bf x}|k)\tag{9.81} \end{eqnarray}$

の形の混合分布で、与えられる密度のモデルを考え、ベクトル $\bf x$ を ${\bf x}=({\bf x}_a,{\bf x}_b)$ のように2つの部分に分解すると仮定する。
このとき、条件付き密度 $p({\bf x}_b|{\bf x}_a)$ 自体が混合分布であることを示し、混合係数と各混合要素の表式を求めよ。

解答

$p({\bf x}_b|{\bf x}_a)$ は、式 $(9.81)$ より、以下のようになります。

$\begin{eqnarray} p({\bf x}_a,{\bf x}_b)=\sum_{k=1}^K\pi_kp({\bf x}_a,{\bf x}_b|k)\tag{1} \end{eqnarray}$

式 $(1)$ の両辺を ${\bf x}_b$ で周辺化します。

$\begin{eqnarray} &&\int p({\bf x}_a,{\bf x}_b){\rm d}{\bf x}_b=\int\sum_{k=1}^K\pi_kp({\bf x}_a,{\bf x}_b|k){\rm d}{\bf x}_b\\ &&\Leftrightarrow\int p({\bf x}_a,{\bf x}_b){\rm d}{\bf x}_b=\sum_{k=1}^K\int\pi_kp({\bf x}_a,{\bf x}_b|k){\rm d}{\bf x}_b\\ &&\Leftrightarrow p({\bf x}_a)=\sum_{k=1}^K\pi_kp({\bf x}_a|k)\tag{2} \end{eqnarray}$

$p({\bf x}_b|{\bf x}_a)$ を計算します。

$\begin{eqnarray} p({\bf x}_b|{\bf x}_a)&=&\frac{p({\bf x}_a,{\bf x}_b)}{p({\bf x}_a)}\\ &=&\frac{\overbrace{\displaystyle\sum_{k=1}^K\pi_k p({\bf x}_a,{\bf x}_b|k)}^{(1)}}{\underbrace{\displaystyle\sum_{j=1}^K\pi_j p({\bf x}_a|j)}_{(2)}}\\ &=&\sum_{k=1}^K\frac{\pi_k}{\displaystyle\sum_{j=1}^K\pi_j p({\bf x}_a|j)}p({\bf x}_a,{\bf x}_b|k)\\ &=&\sum_{k=1}^K\frac{\pi_k}{\displaystyle\sum_{j=1}^K\pi_j p({\bf x}_a|j)}p({\bf x}_b|{\bf x}_a,k)p({\bf x}_a|k)\\ &=&\sum_{k=1}^K\frac{\pi_kp({\bf x}_a|k)}{\displaystyle\sum_{j=1}^K\pi_j p({\bf x}_a|j)}p({\bf x}_b|{\bf x}_a,k)\\ &=&\sum_{k=1}^K\lambda_k p({\bf x}_b|{\bf x}_a,k)\tag{3} \end{eqnarray}$

式 $(3)$ で混合係数 $\lambda_k$ を $\lambda_k\equiv \dfrac{\pi_kp({\bf x}_a|k)}{\displaystyle\sum_{j=1}^K\pi_j p({\bf x}_a|j)}$ とおきました。

式 $(3)$ より、 $p({\bf x}_b|{\bf x}_a)$ 混合分布であり、混合係数は $\lambda_k$ です。