ヘッセ行列
ヘッセ行列を計算します。
目的関数をで微分した計算結果は、ロジスティック回帰 - 多値分類の記事より、以下の式でした。
の5行目の式変形ですが、ロジスティック回帰 - 多値分類の記事より、以下を用いました。
ここでおきます。
ヘッセ行列はであり、求めたはのヘッセ行列ののブロックです。
とします。
ニュートン法によるの更新は以下のようになります。
のはから計算されるものです。
目的関数が凸関数
目的関数が凸関数であることを示すには、目的関数のヘッセ行列が半正定値行列であることを示せばよいです。
以下、証明です。
任意のベクトルに対して、となることを示します。
とします。
の8行目のの説明をします。
は凸で、なので、イェンゼンの不等式から以下が成り立ちます。
目的関数のヘッセ行列は半正定値行列であることが示せました。
よって、目的関数は凸関数です。