KLダイバージェンスの定義
2つの確率分布及びに対して次のような期待値をKLダイバージェンスと呼びます。
次の特徴があります。
・任意の確率分布の組に対して、
等号が成り立つのは、2つの確率分布が一致する場合に限られる。
・2つの確率分布の距離を表していると解釈されるが、 距離の公理を満たしていない。
一般に。
例1: ベルヌーイ分布のKLダイバージェンス
についてはエントロピーを参照してください。
2つの分布をとします。
KLダイバージェンスを求めます。
下の図から、2つの分布がの母数の値が離れているほど、分布は異なってくるため、
KLダイバージェンスの値は大きくなることが分かります。
例2: 1次元ガウス分布のKLダイバージェンス
についてはエントロピーを参照してください。
2つの分布をとします。
KLダイバージェンスを求めます。
の右辺の第二項を計算します。
をに代入します。
下のグラフより、2つの分布がの母数の値が離れているほど、分布は異なってくるため、
KLダイバージェンスの値は大きくなることが分かります。
偉人の名言
最も高貴な娯楽は、理解する喜びである。
レオナルド・ダ・ヴィンチ