尤度 同一の正規分布から標本が互いに独立に観察されたとします(独立同分布)。この時の尤度関数はとなります。 に対数をとります。 最尤推定 をで微分してとおきます。は標本平均と一致します。をで微分してとおきます。は標本分散と一致します。対数尤度関…

尤度 確率で成功するフリースローを投して回成功する確率は、二項分布よりとなります。データを定数として、母数を変数として計算した値を尤度といいます。 またその関数を尤度関数といいます。 最尤推定 最尤推定法では尤度が最も大きくなったときの変数の…

KLダイバージェンスの定義 2つの確率分布及びに対して次のような期待値をKLダイバージェンスと呼びます。次の特徴があります。 ・任意の確率分布の組に対して、 等号が成り立つのは、2つの確率分布が一致する場合に限られる。 ・2つの確率分布の距離を表して…

エントロピーの定義 エントロピーは以下のように定義されます。エントロピーは確率分布の「乱雑さ」を表す指標として知られています。 エントロピーの例1 となるような確率分布のエントロピーを計算してみます。同様にして、となるような確率分布のエントロ…