ハードマージンとの違い
2値分類について考えます。
訓練データがの個の入力ベクトルと
それぞれに対応する目標値からなり、
未知のデータ点はの符号について分類されるとします。
と、ここまではハードマージンと同じですが、違いは
訓練データは特徴空間で線形分離可能と仮定しないことです。
下図のようにマージンの内側に点が入り込んでいます。
ハードマージンの主問題と比較
ハードマージンの主問題は以下です。
ソフトマージンの主問題は以下です。
のはスラック変数と呼ばれます。
は日本語では「グザイ」、「クシー」と呼ぶことが多いようです。
主問題を考察
・マージンの外側
が成立し、です。
・マージン上
が成立し、です。
・マージンの内側
が成立し、です。
特に誤分類時は
が成立し、です。
よって、をなるべく小さく保つとご分類が抑制できることが分かります。
ですので、ハードマージンの目的関数にを加えた式になっています。
正則化係数を考察
のは正則化係数と呼ばれます。
が大きくなると誤分類しにくくなります。
なぜなら、のとき、が値を持つと目的関数がになるので、となるためです。
が小さくなると、誤分類しやすくなります。
なぜなら、が小さくなると、が大きな値を持っても目的関数に影響を与えなくなるためです。
下図にを変えた結果を示しました。
双対問題の導出
を主変数について最小化し、双対変数について最大化します。
をで微分してとおきます。
をで微分してとおきます。
をで微分してとおきます。
をと変形して、に代入します。
にを代入するのですが、ハードマージンの記事と計算が全く同じになりますので、省略します。
また、より、
となります。
よって、より双対問題は以下のようになります。
この双対問題も二次計画問題になっています。
マージンと特徴ベクトルの位置関係
・マージンの外側
マージンの外側に位置するでは、が成立しているためになります。
KKT条件より、が成り立つ。
・マージンの内側(上限に達したサポートベクトル)
マージンの外側に位置するでは、が成立しているためになります。
KKT条件より、が成り立つ。
よって、より、
・マージン上(上限に達していないサポートベクトル)
が成り立つ。
バイアスパラメータの導出
が求まると、次にを求めることができます。
のサポートベクトルはであり、であるので、
です。
はとなるサポートベクトルの添え字からなる集合です。
からが求まりますが、
数値誤差の影響を減らすために全てのサポートベクトルに対して、
平均を求めることによってを求めることが多いようです。
はとなるサポートベクトルの添え字からなる集合です。
はとなるサポートベクトルの総数です。
偉人の名言
人にできて、きみだけにできないことなんてあるもんか。
ドラえもん
動画
本記事作成前に作成した動画なので、内容が異なる可能性があります。