はじめに 確率的主成分分析の記事の続きです。 有向グラフを貼り付けておきます。 の最尤解 EMアルゴリズムを適用する前に、 は簡単に最尤解が解析的に求まるので、求めてしまいます。確率的主成分分析モデルの対数尤度は、でした。確率的主成分分析モデルの…

混合ベルヌーイ分布とは を次元ベクトル, を次元ベクトルとします。 は以下の分布に従うと仮定します。式は積の形をしているので、が与えられているとき各変数は独立であることが分かります。確率分布の平均を求めます。確率分布の共分散を求めるために、先…

混合ガウス分布とは 混合ガウス分布は以下の式で表されます。混合ガウス分布は字の通り、ガウス分布を混合係数で重みづけした和になっています。 混合係数はを満たしている必要があります。例として、の混合ガウス分布のイメージ図を以下に記します。 潜在変…

はじめに 混合ガウス分布の最尤推定の記事で、混合ガウス分布の説明はしております。 使用する変数などはそちらをご覧ください。 また、本記事は混合ガウス分布の最尤推定に一般のEMアルゴリズムを適用する内容となっておりますので、 一般のEMアルゴリズム…

一般のEMアルゴリズムについて説明します。 導入 全ての観測データの集合をで表します。 全ての潜在変数の集合をで表します。 全てのモデルパラメータの集合をで表します。 この時、対数尤度は以下のようになります。今、の最適化は難しいが、 完全データの…