PRML演習問題 4.15(標準) - 機械学習基礎理論独習

問題

$(4.97)$ で与えられるロジスティック回帰モデルのヘッセ行列 $\bf H$ が正定値行列であることを示せ。
ここで $\bf R$ は、要素を $y_n(1-y_n)$ とする対角行列であり、 $y_n$ は、入力ベクトル ${\bf x}_n$ に対するロジスティック回帰モデルの出力である。
したがって、誤差関数は $\bf w$ の凸関数であり、唯一の最小解を持つことを示せ。

参照

$\begin{eqnarray} {\bf H}=\nabla\nabla E({\bf w})=\sum_{n=1}^Ny_n(1-y_n){\boldsymbol\phi}_n{\boldsymbol\phi}_n^\top={\boldsymbol\Phi}^\top{\bf R}{\boldsymbol\Phi}\tag{4.97} \end{eqnarray}$

解答

誤差関数が凸関数で唯一の最小解を持つことを示すには、目的関数のヘッセ行列 $\bf H$ が正定値行列であることを示せばよいです。

任意のベクトル ${\bf u}\not={\bf 0}$ に対して、 ${\bf u}^\top{\bf H}{\bf u}>0$ となることを示します。

$\begin{eqnarray} {\bf u}^\top{\bf H}{\bf u}&=&{\bf u}^\top{\boldsymbol\Phi}^\top{\bf R}{\boldsymbol\Phi}{\bf u}\\ &=&{\bf u}^\top{\boldsymbol\Phi}^\top{\bf R}^{\frac{1}{2}}{\bf R}^{\frac{1}{2}}{\boldsymbol\Phi}{\bf u}\\ &=&\left({\bf R}^{\frac{1}{2}}{\boldsymbol\Phi}{\bf u}\right)^\top\left({\bf R}^{\frac{1}{2}}{\boldsymbol\Phi}{\bf u}\right)\\ &=&||({\bf R}^{\frac{1}{2}}{\boldsymbol\Phi}{\bf u})||^2>0\tag{1} \end{eqnarray}$