はじめに 確率的主成分分析の記事の続きです。 有向グラフを貼り付けておきます。 の最尤解 EMアルゴリズムを適用する前に、 は簡単に最尤解が解析的に求まるので、求めてしまいます。確率的主成分分析モデルの対数尤度は、でした。確率的主成分分析モデルの…

の別の表現 次元の正規直交基底 を導入します。各データ点 は次のように書けます。 の左から をかけます。 を に代入します。線形代数が得意な人は が自然に見える(導くまでもない)と思います。 目的関数の定義 次元の線形部分空間は、最初の 個の基底ベクト…

分散最大化 主成分分析 - 分散最大化による定式化 - 導出その1では場合を定式化した後に 一般のについて帰納法を使って定式化しましたが、それとは異なる方法(分散最大化という方針は変わらない)で定式化していきます。をデータ集合の平均とします。をデータ…

主成分分析とは 主成分分析は、主部分空間と呼ばれる低次元の線形空間上への、データ点の直交射影のことです。主成分分析はKL展開、KL変換とも同義です。 要件 データ集合があります。 は次元のユークリッド空間内の変数とします。次元(に射影することを考え…