PRML演習問題 2.58(基本) - 機械学習基礎理論独習

問題

$(2.226)$ は、指数型分布族では、 $\ln g({\boldsymbol\eta})$ の負の勾配が、 ${\bf u}({\bf x})$ の期待値になることを示している。
$(2.195)$ の2階微分を取ることで

$\begin{eqnarray} -\nabla \nabla \ln g(\boldsymbol{\eta})=\mathbb{E}\left[\mathbf{u}(\mathbf{x}) \mathbf{u}(\mathbf{x})^\top\right]-\mathbb{E}[\mathbf{u}(\mathbf{x})] \mathbb{E}\left[\mathbf{u}(\mathbf{x})^\top\right]={\rm cov}[\mathbf{u}(\mathbf{x})]\tag{2.300} \end{eqnarray}$

を示せ。

参照

$\begin{eqnarray} g(\boldsymbol{\eta}) \int h(\mathbf{x}) \exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right) \mathrm{d} \mathbf{x}=1\tag{2.195} \end{eqnarray}$

$\begin{eqnarray} -\nabla\ln g({\boldsymbol\eta})={\mathbb E}[{\bf u}({\bf x})]\tag{2.226} \end{eqnarray}$

解答

式 $(2.226)$ より、以下が成り立ちます。

$\begin{eqnarray} -\frac{\partial}{\partial{\boldsymbol\eta}}\ln g({\boldsymbol\eta})=g(\boldsymbol{\eta}) \int h(\mathbf{x}) \exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right) {\bf u}({\bf x})\mathrm{d} \mathbf{x}\tag{1} \end{eqnarray}$

式 $(1)$ を ${\boldsymbol\eta}$ で微分します。

$\begin{eqnarray} -\nabla\nabla\ln g({\boldsymbol\eta})&=& -\frac{\partial}{\partial{\boldsymbol\eta}}\left(\frac{\partial}{\partial{\boldsymbol\eta}}\ln g({\boldsymbol\eta})\right)^\top\\ &=&\frac{\partial}{\partial{\boldsymbol\eta}}\left(g(\boldsymbol{\eta}) \int h(\mathbf{x}) \exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right) {\bf u}({\bf x})^\top\mathrm{d} \mathbf{x}\right)\\ &=& g(\boldsymbol{\eta}) \int h(\mathbf{x}) \left(\frac{\partial}{\partial{\boldsymbol\eta}}\exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right)\right) \mathbf{u}(\mathbf{x})^{\top} \mathrm{d} \mathbf{x} +\left(\frac{\partial}{\partial{\boldsymbol\eta}} g(\boldsymbol{\eta})\right) \int h(\mathbf{x}) \exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right) \mathbf{u}(\mathbf{x})^\top \mathrm{d} \mathbf{x} \\ &=& g(\boldsymbol{\eta}) \int h(\mathbf{x}) \exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right) \mathbf{u}(\mathbf{x}) \mathbf{u}(\mathbf{x})^{\top} \mathrm{d} \mathbf{x} +\nabla g(\boldsymbol{\eta}) \int h(\mathbf{x}) \exp \left(\boldsymbol{\eta}^{\top} \mathbf{u}(\mathbf{x})\right) \mathbf{u}(\mathbf{x})^\top \mathrm{d} \mathbf{x} \\ &=&{\mathbb E}[{\bf u}({\bf x}){\bf u}({\bf x})^\top]-{\mathbb E}[{\bf u}({\bf x})]{\mathbb E}[{\bf u}({\bf x})^\top]\\ &=&{\mathbb E}[{\bf u}({\bf x}){\bf u}({\bf x})^\top]-{\mathbb E}[{\bf u}({\bf x})]{\mathbb E}[{\bf u}({\bf x})]^\top\\ &=&{\rm cov}[{\bf u}({\bf x})]\tag{2} \end{eqnarray}$

式 $(2)$ より、式 $(2.300)$ が示せました。

参考リンク

ヘッセ行列をベクトルによる微分で表す