はじめに
本記事は、隠れマルコフモデルの記事の続きです。
登場する変数、定数などのまとめ
隠れマルコフモデルに登場する変数、定数をまとめておきます。
: 観測変数の次元
: 観測変数の数
: 潜在変数の次元
: 観測変数
: 観測変数の集合
: 潜在変数 ()
: 潜在変数の集合
: 混合係数 ()
: 混合係数の集合
: 遷移確率 ()
: 遷移確率の集合
: 出力分布のパラメータ
: 出力分布のパラメータの集合
: 全パラメータの集合
※はのみ関与し、はのみに関与することに注意してください。
潜在変数と観測変数の条件付き同時分布は次のようになります。
グラフィカルモデルは以下のようになります。
図1
隠れマルコフモデルの最尤推定
同時分布の式を潜在変数について周辺化することによって、尤度関数が得られます。
同時分布は、混合分布とは対照的にについて分解できません。また、についての和は、項の数が全部でになるため現実的ではありません。
(はであり、の項の数がであるため、項の数が全部でになります。)
そこで、EMアルゴリズムで解くことにします。
Eステップ
は以下のように定義されるのでした。
式を期待値の表記に直して、式を代入して計算していきます。
式の最後の式変形ですが、
のようにしています。式ですが、の期待値に必要な確率分布はなので、そのようにしています。式も同様です。
ここで注意すべきは、この時点で、の式の形はわかっていないことです。
本記事では、この期待値は計算しません。(現時点では事後分布が不明なので、できません。) よって、本記事ではEステップについては導出しません。
式を見やすくするために、を以下のように定義します。
式を式に代入すると、以下のようになります。中途半端ですが、一旦Eステップに関する導出はこれで終わりにします。
Mステップ
Mステップでは、とを定数とみなし、パラメータに関して、を最大化します。
に関する最大化
まずは、に関してを最大化します。
の制約条件の下で、ラグランジュ関数は以下のようになります。
(の項で、に無関係なものは無視しています。の制約条件も無視しています。)
に関する最大化
次に、に関してを最大化します。
の制約条件の下で、ラグランジュ関数は以下のようになります。
(の項で、に無関係なものは無視しています。の制約条件も無視しています。)
に関する最大化
最後に、に関してを最大化します。
のに関する項はのみなので、
これを最大化すればいよいことが分かります。
出力分布がガウス分布の時のに関する最大化
まず、に関してを最大化します。
これは、混合ガウス分布の最尤推定に一般のEMアルゴリズムを適用の記事の式で既に導いていますので、結果のみを記載します。
出力分布がガウス分布の時のに関する最大化
次に、に関してを最大化します。
これは、混合ガウス分布の最尤推定に一般のEMアルゴリズムを適用の記事の式で既に導いていますので、結果のみを記載します。
出力分布が離散多項分布
出力分布が離散多項分布の場合を考えます。
このとき、であり、
出力分布は
式に対数を取ると、以下のようになります。
出力分布が離散多項分布の時のに関する最大化
に関してを最大化します。
の制約条件の下(制約条件は個)で、ラグランジュ関数は以下のようになります。
出力分布がベルヌーイ分布
出力分布がベルヌーイ分布の場合を考えます。
このとき、であり、
出力分布は
式に対数を取ると、以下のようになります。
出力分布がベルヌーイ分布の時のに関する最大化
に関してを最大化します。
をで微分して、とおきます。
最後に
上で書いたようにこのEMアルゴリズムはEステップが不完全です。
フォワード-バックワードアルゴリズム(α-βアルゴリズム)の記事で、とを求めます。
偉人の名言
一旦やろうと思い立ったことは気乗りがしないとか気晴らしがしたいなどという口実で延期するな。
直ちに、たとい見せかけなりとも、とりかかるべし。
いい知恵は浮かぶものなり。
トルストイ
動画
なし