機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 12.18(基本)

問題

12.2.4 節で説明された因子分析モデルについて、独立なパラメータの数の表現を与える式を導け。

解答

確率的主成分分析モデルの独立なパラメータ数は

\begin{eqnarray}
DM+1-M(M-1)/2\tag{1}
\end{eqnarray}

です。(PRML 下巻 p294参照)

因子分析モデルでは、確率的主成分分析モデルの \sigma^2{\bf I}{\boldsymbol\Psi} に置き換わったものと考えることができ、
\sigma^2{\bf I} のパラメータ数は 1 であり、{\boldsymbol\Psi} のパラメータ数は D なので、
確率的主成分分析モデルと比べて、独立なパラメータの数が D-1 個増えます。

したがって、因子分析モデルについて、独立なパラメータの数は、

\begin{eqnarray}
DM+1-M(M-1)/2 + (D - 1) = D(M+1)-M(M-1)/2\tag{2}
\end{eqnarray}

です。

目次へ戻る