1変数ガウス分布
1変数についてのガウス分布を用いて、分解による変分近似の例を示します。
ガウス分布から独立に発生したと仮定する観測値のデータ集合が与えられたとします。
この時、もともとのガウス分布の平均と精度の事後分布を求めてみます。
精度とは、分散逆数で、と表せます。
尤度関数は、以下の式です。
に関する共役事前分布を導入します。
同時分布は、以下の式です。
グラフィカルモデルは、以下の図1です。
図1
変分推論の適用
以上の式から事後分布を求めると、ガウス-ガンマ分布となるのですが、
本記事は、変分推論の記事なので、以下のように事後分布を分解した変分近似を考えることにします。
以下の計算で使うを先に計算しておきます。
は、式より、以下の式で表されます。
式でに関係のない項はにまとめています。
式ははガウス分布なので、は以下の式で表せます。
式で、とおきました。
式の導出については、PRML演習問題 10.7(標準)を参照してください。
※式の因数ですが、この時点では、がどのような分布か明らかでない為、計算できません。
は、式より、以下の式で表されます。
式でに関係のない項はにまとめています。
式はガンマ分布なので、は以下の式で表せます。
式の導出については、PRML演習問題 10.7(標準)を参照してください。
との分布が判明したので、それぞれのパラメータを求めればよいことになります。
式より、は固定なので、を求めればよいことになります。
式を変形します。
式で、とおきました。
式より、はに依存しており、式より、はに依存しています。
相互に依存しており、解析的に解くのが難しい為、以下の繰り返し法で解きます。
なお、がガウス分布であり、がガンマ分布であるので、
式の、式のは以下のようになります。
式は、ガンマ分布の平均がであることを用いました。
式は、一般に成り立つを用いました。
アルゴリズム
1.初期化
を初期化します。
を以下のように初期化します。
2.の更新
を更新します。
ただし、
とします。
3.の更新
を更新します。
ただし、
とします。
4.終了条件
対数尤度を再計算し、前回との差分があらかじめ設定していた収束条件を満たしていなければ2に戻り、満たしていれば終了します。
※を初期化し、2と3の処理を入れ替えても同じです。
※対数尤度の代わりに、繰り返し回数を決めて、それを終了条件とするのもよいと思います。
※対数尤度の代わりに、変分下限(変分下界)を計算してもよいと思います。
※対数尤度計算時のは、の平均やモードなどを使えばよいと思います。
おまけ - 解析的に解く
の時は、解析的に解くことも可能です。
(導出については、PRML演習問題 10.9(標準)を参照してください。)
偉人の名言
物真似から出発して、独創にまでのびていくのが、
我々日本人のすぐれた性質であり、たくましい能力でもあるのです。
野口英世
動画
なし