凸集合 空でない集合内の任意の2つのベクトルと、 を満たす任意の実数に対して、が成り立つとき、を凸集合といいます。 凸集合と非凸集合のイメージを下に記します。 凸関数 凸集合上で定義された関数が、 内の任意の2つのベクトルと、なる任意のに対してを…

問題 つのガウス分布との間の カルバック-ライブラーダイバージェンスを求めよ。 参照 解答 先に解答で使う式を書いておきます。 ※本問題の解答の期待値は、に関する期待値なので、と書くべきですが、と確率密度関数を省略しています。式は多変量ガウス分布…

問題 多変量ガウス分布のエントロピーがとなることを示せ。 ただし、はの次元数である。 解答 先に解答で使う式を書いておきます。 ※本問題の解答の期待値は、に関する期待値なので、と書くべきですが、 と確率密度関数を省略しています。式は多変量ガウス分…

方針 数学的な厳密な解は期待しないでください。 間違いも結構あると思います。基本的に疑って読んでください。 解く問題の順番は適当です。 途中で心が折れる予定です。 難問は解かないと思います。基本と標準だけやる予定です。 自力で解けない場合、PATTE…

問題 の両辺に次の行列を掛け、また、の定義を用いることで、の恒等式を証明せよ。 参照 解答 式の左辺に左からを掛けます。式の右辺に左からを掛けます。式より、式が示せました。

イェンゼンの不等式とは 関数が凸関数であるとする。このときを満たすに対して、が成り立つ。※凸関数とは下に凸の関数のことです。(例:) 例1 式より、各を確率、式の両辺を期待値の演算と解釈できます。 よって、が成り立ちます。 例2 を考えます。 この時は…

問題 対象行列の逆行列も対象であることを示せ。 解答 対象行列をとします。式より、対象行列の逆行列も対象であることが示せました。

問題 大きさがの実対象行列の独立なパラメータは個であることを示せ。 解答 以下の図を用いて説明します。 求めるべき個数は、青の網掛けの成分の数と赤の網掛けの成分の数の和です。 青の網掛けの成分の数は対角成分の数なので、個です。 赤の網掛けの成分…

問題 非常に有用な線形代数の結果であるWoodburyの行列反転公式(Woodbury matrix inversion formula)は、である。この両辺にを掛けて、この公式を証明せよ。 解答 式の左辺に左からを掛けます。式の右辺に左からを掛けます。式より、式が証明できました。

問題 及び によって記述される、RVMに対応する有向確率的グラフィカルモデルを描け。 参照 解答 プレートを使わない記法だと次のようになります。 プレートを使う記法だと次のようになります。

問題 ならばであることを示せ。 解答 より以下の式が成り立ちます。を式変形していきます。式より、であることが示せました。式の2行目で、式を代入しています。 別解 式をで周辺化します。式より、であることが示せました。

問題 すべての変数が観測されていない図8.54に示される有向グラフを考える。 を示せ。 今、を観測したとする一般にであることを示せ。 参照 図8.54 の子孫ノード(すなわちノード)が観測されたときの head-to-head 経路--の条件付き独立性を考えるためのグラ…

問題 個の色分けされた箱 (赤)、 (青)、 (緑)を考える。 箱 には 個のりんご、 個のオレンジ、 個のライムが入っており、 箱 には 個のりんご、 個のオレンジ、 個のライムが入っており、 箱 には 個のりんご、 個のオレンジ、 個のライムが入っている。 箱…

問題 正則化された二乗和誤差関数を最小にする係数が満たす、に類似した線形方程式系を書き下せ。 参照 解答 式に式を代入します。式をで微分してとおきます。式より、に類似した線形方程式系になることが示せました。なお、式で、とおきました。 補足 によ…

問題 表8.2で与えられる同時分布に対して分布およびを計算せよ。 その結果からを直接計算して示し対応する有向グラフを描け。 参照 表8.2 解答 は既にPRML演習問題 8.3(標準)で求めてあります。 ですので、を計算します。 確率の乗法定理より、なので、を計…

問題 表8.2で与えられる同時分布を持つ3つの2値変数を考える。 この分布が以下の特性を持つことを直接計算によって示せ。 およびは周辺依存である。すなわち。 しかしで条件付けられると独立である。すなわちおよびのいずれの場合でもである。 参照 表8.2 解…

問題 有向グラフにおいて、すべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないように ノードを順序付けることができるなら、有向閉路は存在しないことを示せ。 解答 問題の対偶を考えます。有向閉路は存在するなら、 有向グラ…

問題 変数を1つずつ周辺化することによって、有向グラフの同時分布の表現が正しく規格化されていることを示せ。 ただし、個々の条件付き分布は正しく規格化されていると仮定する。 参照 解答 を計算します。式より、式が規格化されていることが示せました。

問題 二項分布の平均がであることを示せ。 これには、正規化条件の両辺をで微分し変形しての平均を求めよ。 同様に、の両辺をについて2階微分し、二項分布の平均も用いて、 二項分布の分散の結果を証明せよ。 参照 解答 式をで微分します。式より、式が示せ…

混合ベルヌーイ分布とは を次元ベクトル, を次元ベクトルとします。 は以下の分布に従うと仮定します。式は積の形をしているので、が与えられているとき各変数は独立であることが分かります。確率分布の平均を求めます。確率分布の共分散を求めるために、先…

問題 連続変数の一様分布はで定義される。 この分布が正規化されていることを確かめ、この分布の平均と分散の式を求めよ。 解答 正規化されていることを確かめます。平均を求めます。分散を求めるために、を求めます。分散を求めます。

問題 ベルヌーイ分布のの表現では、のつの値とに関して対称ではない。 場合によっては、対称なを用いた等価な表現の方が便利である。 このとき分布はと書くことができる。 ただし、である。 この分布が正規化されていることを示しその平均、分散およびエント…

問題 ベルヌーイ分布が次の性質を満たすことを確かめよ。ベルヌーイ分布に従う二値確率変数のエントロピーがで与えられることを示せ。 参照 解答 を計算します。式より、式が示せました。を計算します。式より、式が示せました。を計算します。式の2行目の変…

問題 関数 が多項式 で与えられたときの の二乗和誤差関数を考える。 この誤差関数を最小にする係数 は以下の線型方程式の解として与えられることを示せ。ただし、ここで、下付き添え字のやは成分を表し、はの乗を表す。 参照 解答 式 を式 へ代入します。式…

混合ガウス分布とは 混合ガウス分布は以下の式で表されます。混合ガウス分布は字の通り、ガウス分布を混合係数で重みづけした和になっています。 混合係数はを満たしている必要があります。例として、の混合ガウス分布のイメージ図を以下に記します。 潜在変…

2次形式の最大値、最小値 対象行列に対する単位ベクトルに対する2次形式を考えます。 ※ベクトルが単位ベクトルでないと、いくらでも2次形式の値を大きく(小さく)できるため、を単位ベクトルで考えているのだと思います。 の固有値をとし、対応する単位固有ベ…

対象行列 に対して、となる を固有値と呼び、 を固有ベクトルと呼びます。 式 は次のように書き直せます。これは に関する連立1次方程式であり、これが の解を持つのは、 係数行列の行列式が になることです。 すなわち、です。これを固有方程式と呼びます。…

1つの等式制約 変数の関数の最大値、最小値は、に制約がなければ、を解いて得られます。に制約がある場合は、ラグランジュ乗数を導入したを考え、これをで微分してとおきます。式と式を連立させて解けば、とを定めることができます。 この解法をラグランジュ…