変分下限(変分下界) - 機械学習基礎理論独習

変分下限(変分下界)とは？

観測変数を ${\bf X}$ 、潜在変数とパラメータを ${\bf Z}$ としたときの周辺分布の対数は

$\begin{eqnarray} \ln p({\bf X})={\mathcal L}(q)+{\rm KL}(q||p)\tag{1} \end{eqnarray}$

と書けます。
変分法の時に、式 $(1)$ の $\mathcal L$ を変分下限と呼びます。

${\mathcal L}(q),{\rm KL}(q||p)$ は以下の式で表されます。

$\begin{eqnarray} {\mathcal L}(q)=\int q({\bf Z})\ln\left(\frac{p({\bf X},{\bf Z})}{q({\bf Z})}\right){\rm d}{\bf Z}\tag{2} \end{eqnarray}$

$\begin{eqnarray} {\rm KL}(q||p)=-\int q({\bf Z})\ln\left(\frac{p({\bf Z}|{\bf X})}{q({\bf Z})}\right){\rm d}{\bf Z}\tag{3} \end{eqnarray}$

パラメータの再推定(繰り返し法による再推定)を行う際に収束を判定するのに、下界の値を観察することは有用です。
再推定の繰り返しの各ステップで、この下界は減少しないはずだからです。

混合ガウス分布の変分下限

混合ガウス分布の変分ベイズ法では、下界は以下の式で与えられます。

$\begin{eqnarray} {\mathcal L}&=&\sum_{\bf Z}\iiint q({\bf Z},{\boldsymbol\pi},{\boldsymbol\mu},{\bf\Lambda})\ln\left(\frac{p({\bf X},{\bf Z},{\boldsymbol\pi},{\boldsymbol\mu},{\bf\Lambda})}{q({\bf Z},{\boldsymbol\pi},{\boldsymbol\mu},{\bf\Lambda})}\right){\rm d}{\boldsymbol\pi}{\rm d}{\boldsymbol\mu}{\rm d}{\bf\Lambda}\\ &=&{\mathbb E}[\ln p({\bf X},{\bf Z},{\boldsymbol\pi},{\boldsymbol\mu},{\bf\Lambda})]-{\mathbb E}[\ln q({\bf Z},{\boldsymbol\pi},{\boldsymbol\mu},{\bf\Lambda})]\\ &=&{\mathbb E}[\ln p({\bf X}|{\bf Z},{\boldsymbol\mu},{\bf\Lambda})]+{\mathbb E}[\ln p({\bf Z}|{\boldsymbol\pi})]+{\mathbb E}[\ln p({\boldsymbol\pi})]+{\mathbb E}[\ln p({\bf Z}|{\boldsymbol\mu},{\bf\Sigma})]\\ &&-{\mathbb E}[\ln q({\bf Z})]-{\mathbb E}[\ln q({\boldsymbol\pi})]-{\mathbb E}[\ln q({\boldsymbol\mu},{\bf\Sigma})]\tag{4} \end{eqnarray}$

式 $(4)$ の各項は以下の式 $(5)$ ～式 $(11)$ です。
導出については、PRML演習問題 10.16(標準) wwwとPRML演習問題 10.17(難問)を参考にしてください。

$\begin{eqnarray} {\mathbb E}[\ln p({\bf X}|{\bf Z},{\boldsymbol\mu},{\bf\Lambda})]=\frac{1}{2}\sum_{k=1}^KN_k\left(\ln\widetilde{\Lambda}_k-D\beta_k^{-1}-\nu_k{\rm Tr}({\bf S}_k{\bf W}_k)-\nu_k(\overline{\bf x}_k-{\bf m}_k)^\top{\bf W}_k(\overline{\bf x}_k-{\bf m}_k)-D\ln(2\pi)\right)\tag{5} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\ln p({\bf Z}|{\boldsymbol\pi})]=\sum_{n=1}^N\sum_{k=1}^Kr_{nk}\ln\tilde{\pi}_k\tag{6} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\ln p({\boldsymbol\pi})]=\ln C({\boldsymbol\alpha}_0)+(\alpha_0-1)\sum_{k=1}^K\ln\tilde{\pi}_k\tag{7} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\ln p({\boldsymbol\mu},{\bf\Lambda})]&=&\frac{1}{2}\sum_{k=1}^K\left(D\ln(\beta_0/2\pi)+\ln\widetilde{\Lambda}_k - \frac{D\beta_0}{{\beta}_k}-\beta_0\nu_k({\bf m}_k-{\bf m}_0)^\top{\bf W}_k({\bf m}_k-{\bf m}_0)\right)\\ &+&K\ln B({\bf W}_0,\nu_0)+\frac{\nu_0-D-1}{2}\sum_{k=1}^K\ln\widetilde{\Lambda}_k-\frac{1}{2}\sum_{k=1}^K\nu_k{\rm Tr}({\bf W}_0^{-1}{\bf W}_k)\tag{8} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\ln q({\bf Z})]=\sum_{n=1}^N\sum_{k=1}^Kr_{nk}\ln r_{nk}\tag{9} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\ln q({\boldsymbol\pi})]=\sum_{k=1}^K(\alpha_k-1)\ln\tilde{\pi}_k+\ln C({\boldsymbol\alpha})\tag{10} \end{eqnarray}$

$\begin{eqnarray} {\mathbb E}[\ln q({\boldsymbol\mu},{\bf\Lambda})]=\sum_{k=1}^K\left(\frac{1}{2}\ln\widetilde{\Lambda}_k+\frac{D}{2}\ln\left(\frac{\beta_k}{2\pi}\right)-\frac{D}{2}-{\rm H}[q({\bf\Lambda}_k)]\right)\tag{11} \end{eqnarray}$

偉人の名言

f:id:olj611:20211014205035p:plain:h300
多くの場合、
諦めに至る理由は、
自分に何の力もないと思ってしまうことだ。
アリス・ウォーカー

参考文献

パターン認識と機械学習下巻p195-p196

動画

なし