問題
状態の離散確率変数を考え、イェンセンの不等式を使って、
確率分布のエントロビーがを満たすことを示せ。
参照
解答
式より、状態の離散確率変数の確率分布のエントロビーは以下のようになります。
式において、とおくと、以下が成り立ちます。
ただし、は上に凸の関数であるため、式とは不等号の向きが逆転します。
状態の離散確率変数を考え、イェンセンの不等式を使って、
確率分布のエントロビーがを満たすことを示せ。
式より、状態の離散確率変数の確率分布のエントロビーは以下のようになります。
式において、とおくと、以下が成り立ちます。
ただし、は上に凸の関数であるため、式とは不等号の向きが逆転します。