問題 混合ガウスモデルに関する完全データ対数尤度関数を最大化することは、 各混合要素について独立に平均と共分散をその混合要素に対応するデータ点集合にあてはめ、 かつ混合係数を各グループに属するデータの数の割合に一致させるという結果になることを…

マルコフ確率場(マルコフネットワークまたは無向グラフィカルモデル)は、 変数に対応するノード集合とノード対を接続する無向リンク集合からなります。 条件付き独立性 無向グラフは有向グラフのようなhead-to-headのような分かりにくい現象は発生しません。…

周辺分布の推論 以下の図1の(b)において、を考えます。図1 図1の(b)の同時分布は次のように書けます。は以外の全ての変数で周辺化することによって求められます。ところで、式をそのまま計算するのは計算効率が悪いので、効率よく計算する式は以下で与えられ…

問題 図に示されるグラフにおいて、すべてのノードに対してを計算する推論問題を考える。 この問題を効率的に解くために節で議論したメッセージパッシングアルゴリズムが利用できることを示し、 どのメッセージがどのように修正されるかについて議論せよ。 …

問題 図に示されるグラフにおいて、つの隣接ノード上の同時分布がの形で表現されることを示せ。 参照 図 解答 をで周辺化したものが式であるので、 式からを取って周辺化をなくせば、となります。 よって、は以下の式で表せます。式より、式が示せました。

問題 ソフトマックス活性化関数 の微分が、 によって与えられることを示せ。 ここで、 は によって定義される。 参照 解答 を計算します。 のとき、となります。のとき、となります。 をまとめて書くと、以下のようになります。式 より、式 が示せました。

問題 で与えられるロジスティック回帰モデルのヘッセ行列が正定値行列であることを示せ。 ここでは、要素をとする対角行列であり、は、入力ベクトルに対するロジスティック回帰モデルの出力である。 したがって、誤差関数はの凸関数であり、唯一の最小解を持…

問題 ロジスティックシグモイドの微分に対する結果を使って、 ロジスティック回帰モデルに対する誤差関数の微分が、で与えられることを示せ。 参照 解答 を計算します。式より、式が示せました。

問題 で定義されるロジスティックシグモイド関数の微分に対する関係を検証せよ。 参照 解答 式をで微分します。式より、式が示せました。 関連リンク PRML演習問題 4.7(基本) www

問題 を成分とする任意の正方行列はという形に書けることを示せ。 ただし、とはそれぞれ対称行列と反対称行列の成分でありおよびがすべてのについて成り立つ。 さてここで、次元における高次の多項式の次の項を考えると、となり、反対称行列の寄与が消えるこ…

問題 ガウス分布の分散の推定値において、最尤推定値を真の平均の値で置き換えよう。 この推定量は期待値が真の分散となる性質を持つことを示せ。 参照 解答 を計算します。式より、題意が示せました。

問題 とを使ってを示せ。 ただし、とは平均、分散のガウス分布から生成されたデータ点を表し、 はのときでそれ以外はであるとする。 これからとを証明せよ。 参照 解答 との同時分布は、以下の式で表せます。を計算します。のとき、式が成り立つので、式と式…

問題 の形の混合分布を考える。 ここに、は離散、連続、その組み合わせのいずれでもよい。 の平均と共分散をそれぞれとで表す。 混合分布の平均と共分散がそれぞれとで与えられることを示せ。 参照 解答 平均を計算します。式より、式が成り立ちます。共分散…

問題 もし負担率を固定した下で、をとについての最大化をしようとすると、 とで与えられる陽な解が得られることを示せ。 参照 解答 まず、に関する最大化についてです。ここで使用する行列の微分やトレースの公式を書き出します。準備として、を求めます。式…

問題 もし負担率を固定した下で、をについての最大化をしようとすると、 で与えられる陽な解が得られることを示せ。 参照 解答 準備として、を求めます。式をで微分してとおきます。式より、が示せました。

問題 図で示すような、混合ガウスモデルの有向グラフを考える。 節で議論した有向分離の規準を利用して、 潜在変数の事後分布が次式のように各データ点ごとの事後分布の積になることを示せ。 参照 図 解答 図をプレートを使わないで描くと、次のようになりま…

条件付き独立性 3変数を考えます。 およびが与えられたとき、の条件付き分布がの値に依存しないとします。 式で書くと以下のようになります。このとき、が与えられた下で、はに対して、条件付き独立であるといいます。 この条件付き独立は次のようにも表せま…

問題 有向グラフにおいて、マルコフブランケット内のすべてのノードに条件付けられたノードの条件付き分布が、 グラフの残りの変数に対して独立であることを有向分離規準を用いて示せ。 解答 有向分離基準を適用するには、中央ノードからマルコフブランケッ…

問題 つのガウス分布との間の カルバック-ライブラーダイバージェンスを計算せよ。 参照 解答 を計算します。式で、式で用いました。 式で、式で用いました。 式の第1項にとを代入します。式でを用いました。 式を式に代入します。式より、つのガウス分布と…

問題 とを使って変数ガウス分布のエントロピーがで与えられることを示せ。 参照 解答 式を式に代入します。式で、式と式を用いました。 式より、変数ガウス分布のエントロピーがで与えられることを示せました。 補足 問題文には、「を使って」とありますが、…

問題 状態の離散確率変数を考え、イェンセンの不等式を使って、 確率分布のエントロビーがを満たすことを示せ。 参照 解答 式より、状態の離散確率変数の確率分布のエントロビーは以下のようになります。式において、とおくと、以下が成り立ちます。 ただし…

問題 確率の加法・乗法定理を使って相互情報量がの関係を満たすことを示せ。 参照 解答 を計算します。式より、式が成り立ちます。

問題 ガンマ分布の平均、分散およびモードを求めよ。 参照 解答 平均を求めます。式でを用いました。 式より、ガンマ分布の平均が求まりました。を求めます。式でを用いました。分散を求めます。式より、ガンマ分布の分散が求まりました。モードを求めるため…

問題 に、の結果を用いて、を確かめよ。 参照 解答 式に、式を代入します。式より、式が示せました。

問題 ガンマ関数の定義から、ガンマ分布が正規化されていることを示せ。 参照 解答 式を積分します。式をと変数変換します。この時、です。式より、ガンマ分布が正規化されていることが示せました。

問題 二次形式を平方完成することで、との結果を導出せよ。 参照 解答 問題文だけだと字足らずなので、補足すると、 「事後分布の平均、分散が、で表されることを指数部分を平方完成することにより示せ。」 となります。の指数部分はであり、の指数部分はで…

問題 同時確率がであるようなつの変数とを考える。 これについて、次の2つの結果を証明せよ。ただしは、条件付き分布の下でのの期待値である。 条件付き分散についても同様である。 解答 式の右辺を計算します。式より、式が示せました。式で、式を導いたの…

ベイジアンネットワークとは ベイジアンネットワーク(有向グラフィカルモデル)は、 確率モデル上に存在する複数の変数の関係性をノードと矢印(有向リンク)を表現する記法です。 ここでは、有向非循環グラフ(DAG)と呼ばれる有向閉路を持たない有向グラフ(矢印…