問題
混合ガウスモデルに関する完全データ対数尤度関数を最大化することは、
各混合要素について独立に平均と共分散をその混合要素に対応するデータ点集合にあてはめ、
かつ混合係数を各グループに属するデータの数の割合に一致させるという結果になることを示せ。
参照
解答
最初に、に関する最大化を考えます。
完全データの尤度関数を考えているので、本問題に関してはは観測されているとします。
が観測されているとすると、データがどのクラスに属しているか分かるので、クラスに割り当てられたデータの集合をと定義します。
に関する最大化を考えているので、式のの項を無視します。
この時、完全データ対数尤度関数は以下のように表せます。
完全データ対数尤度関数をに関して最大化することは、
式より、をに関して最大化することと等価です。
これは、各混合要素について独立に平均と共分散をその混合要素に対応するデータ点集合にあてはめていることになります。
次に、に関する最大化を考えます。
に関する最大化を考えているので、式のの項を無視します。
の制約の下で最大化します。
この時ラグランジュ関数は以下のようになります。
をで微分してとおきます。
式において、全てのについて足し合わせると、以下の式が成り立ちます。
式を式に代入して、について整理すると、次の式が成り立ちます。
は、クラスに属するデータ点の数を表すので、
式は混合係数はクラスに属する割合を示しています。
よって、完全データ対数尤度関数をに関して最大化することは、
混合係数を各グループに属するデータの数の割合に一致させるという結果になります。