変分下限(変分下界)とは？ 観測変数を、潜在変数とパラメータをとしたときの周辺分布の対数はと書けます。 変分法の時に、式のを変分下限と呼びます。は以下の式で表されます。パラメータの再推定(繰り返し法による再推定)を行う際に収束を判定するのに、下…

はじめに 本記事は、「ベイズ推論による機械学習入門」という書籍を参考に書いたので、 今までの記事とは異なり、潜在変数をと書いております。本記事でも、「平均場近似の変分推論といえば、この式！」という以下の式を使います。式については、こちらで解…

はじめに 本記事では、以下の式を使います。式については、こちらで解説しています。 また、1次元ガウス分布の平均と分散の事後分布の記事を読んでおくと、本記事の理解の助けになるかもしれません。 1変数ガウス分布 1変数についてのガウス分布を用いて、分…

混合ガウス分布モデルの確率変数 今回登場する確率変数の紹介です。 観測データを とします。 EMアルゴリズム同様、潜在変数 を潜り込ませます。 混合比率 、 ガウス分布の平均、 ガウス分布の精度 です。 精度行列は分散共分散行列の逆行列のことです。計算…

変分推論とは 変分推論は確率分布の近似手法です。 ある確率分布を、より簡単な近似分布で表現できないか考えます。 は分布の距離のようなものなので、これが小さくなるようにします。 単純にとするのではなく、にある制限を設けます。 のように各確率変数に…