問題 つのガウス分布との間の カルバック-ライブラーダイバージェンスを求めよ。 参照 解答 先に解答で使う式を書いておきます。 ※本問題の解答の期待値は、に関する期待値なので、と書くべきですが、と確率密度関数を省略しています。式は多変量ガウス分布…

問題 多変量ガウス分布のエントロピーがとなることを示せ。 ただし、はの次元数である。 解答 先に解答で使う式を書いておきます。 ※本問題の解答の期待値は、に関する期待値なので、と書くべきですが、 と確率密度関数を省略しています。式は多変量ガウス分…

方針 数学的な厳密な解は期待しないでください。 間違いも結構あると思います。基本的に疑って読んでください。 解く問題の順番は適当です。 途中で心が折れる予定です。 難問は解かないと思います。基本と標準だけやる予定です。 自力で解けない場合、PATTE…

問題 の両辺に次の行列を掛け、また、の定義を用いることで、の恒等式を証明せよ。 参照 解答 式の左辺に左からを掛けます。式の右辺に左からを掛けます。式より、式が示せました。

イェンゼンの不等式とは 関数が凸関数であるとする。このときを満たすに対して、が成り立つ。※凸関数とは下に凸の関数のことです。(例:) 例1 式より、各を確率、式の両辺を期待値の演算と解釈できます。 よって、が成り立ちます。 例2 を考えます。 この時は…