PRML演習問題 12.9(基本) - 機械学習基礎理論独習

問題

確率的主成分分析モデルの対数尤度 $(12.43)$ をパラメータ ${\boldsymbol\mu}$ に対して最大化すると、
${\boldsymbol\mu}_{\rm ML}=\bar{\bf x}$ の結果になることを確かめよ。
ただし、 $\bar{\bf x}$ はデータベクトルの平均である。

参照

$\begin{eqnarray} \ln p({\bf X}|{\boldsymbol\mu},{\bf W},\sigma^2)&=&\sum_{n=1}^N\ln{\mathcal N}({\bf x}_n|{\boldsymbol\mu},{\bf C})\\ &=&-\frac{ND}{2}\ln(2\pi)-\frac{N}{2}\ln|{\bf C}|-\frac{1}{2}\sum_{n=1}^N({\bf x}_n-{\boldsymbol\mu})^\top{\bf C}^{-1}({\bf x}_n-{\boldsymbol\mu})\tag{12.43} \end{eqnarray}$

解答

式 $(12.43)$ を ${\boldsymbol\mu}$ を微分して、 $={\bf 0}$ とおきます。

$\begin{eqnarray} &&\frac{\partial}{\partial{\boldsymbol\mu}}\ln p({\bf X}|{\boldsymbol\mu},{\bf W},\sigma^2)={\bf 0}\\ &&\Leftrightarrow-\frac{1}{2}\sum_{n=1}^N\frac{\partial}{\partial{\boldsymbol\mu}}({\bf x}_n-{\boldsymbol\mu})^\top{\bf C}^{-1}({\bf x}_n-{\boldsymbol\mu})={\bf 0}\\ &&\Leftrightarrow\sum_{n=1}^N\frac{\partial}{\partial{\boldsymbol\mu}}({\bf x}_n^\top{\bf C}^{-1}{\bf x}_n-2{\boldsymbol\mu}^\top{\bf C}^{-1}{\bf x}_n+{\boldsymbol\mu}^\top{\bf C}^{-1}{\boldsymbol\mu})={\bf 0}\\ &&\Leftrightarrow\sum_{n=1}^N\left(-2\frac{\partial}{\partial{\boldsymbol\mu}}{\boldsymbol\mu}^\top{\bf C}^{-1}{\bf x}_n+\frac{\partial}{\partial{\boldsymbol\mu}}{\boldsymbol\mu}^\top{\bf C}^{-1}{\boldsymbol\mu}\right)={\bf 0}\\ &&\Leftrightarrow\sum_{n=1}^N\left(-2{\bf C}^{-1}{\bf x}_n+2{\bf C}^{-1}{\boldsymbol\mu}\right)={\bf 0}\\ &&\Leftrightarrow\sum_{n=1}^N{\boldsymbol\mu}=\sum_{n=1}^N{\bf x}_n\\ &&\Leftrightarrow N{\boldsymbol\mu}=\sum_{n=1}^N{\bf x}_n\\ &&\Leftrightarrow {\boldsymbol\mu}=\frac{1}{N}\sum_{n=1}^N{\bf x}_n\\ &&\Leftrightarrow {\boldsymbol\mu}=\bar{\bf x}\tag{1} \end{eqnarray}$

式 $(1)$ より、 ${\boldsymbol\mu}_{\rm ML}=\bar{\bf x}$ の結果になることを示せました。