ニュートン法
ロジスティック回帰 - 2値分類の記事より、2値分類のロジスティック回帰の誤差関数は以下の式でした。
この誤差関数は局所二次近似を利用するニュートン法に基づく効率的な反復最適化手順を用いて最小化することができます。
関数を最小化するニュートン法のの更新は、以下の式で行われます。
ここで、はのに関するヘッセ行列です。
ヘッセ行列
目的関数をで微分した計算結果は、ロジスティック回帰 - 2値分類の記事より、以下の式でした。
ヘッセ行列を求めます。
の5行目の式変形ですが、ロジスティック回帰 - 2値分類の記事より、以下を用いました。
またでは、要素が以下の式で与えられるの対角行列を導入しています。
ヘッセ行列が求まりましたので、ニュートン法のの更新式を求めます。
をに代入します。
ここで、は以下を要素とする次元ベクトルです。
重み付け行列は定数ではなく、に依存しているので、が新たに求められる度にを計算し直して、
正規方程式を繰り返し解かなければなりません。
このアルゴリズムは反復再重み付け最小二乗法またはIRLS(iterative reweighted least squares method) として知られています。
目的関数が凸関数で唯一の最小解を持つ
目的関数が凸関数で唯一の最小解を持つことを示すには、目的関数のヘッセ行列が正定値行列であることを示せばよいです。
以下、証明です。
任意のベクトルに対して、となることを示します。
ではを満たすものとします。
でであるため、の対角成分はすべて正です。
よって、となります。
目的関数のヘッセ行列は正定値行列であることが示せました。
したがって、目的関数は凸関数で唯一の最小解をもちます。
偉人の名言
何も咲かない寒い日は、下へ下へと根をのばせ。
やがて大きな花が咲く。
高橋尚子