はじめに 「集合・位相入門」という本を読んでいるのですが、p153に 「 が つの元から成る集合 である場合には、 における位相をを全部書き上げることは もはやそれほど容易ではない。しかし、注意深く検討すれば、この集合における位相は全部で 個あること…

問題 隠れマルコフモデルの周辺分布の表現 と を用いて、 スケーリングされた変数についての対応する結果 と を導け。 参照 解答 式 を計算します。式 より、式 が示せました。式 を計算します。式 より、式 が示せました。

問題 変分法を使って、 式の上にある汎関数の停留点が で与えられることを示せ。 また、制約 を使ってラグランジュ乗数を消去し、 最大エントロピー解がガウス分布 で与えられることを示せ。 参照 解答 PRML p56より、エントロピーを最大化するため、制約 の…

問題 の 乗を展開し、 に類似の結果を導き目標変数ベクトル の場合に 期待二乗損失を最小にする関数 がやはり の条件付き期待値で与えられることを示せ。 参照 解答 式 の を計算します。式 を式 に代入します。 を計算します。式 を式 に代入します。式 よ…

問題 単一の目標変数 の の二乗損失関数のベクトル値 で表される多変数の場合への以下の一般化について考える。変分法によって、この期待損失を最小化する関数 が で与えられることを示せ。 単一の目標変数 の場合はこの結果が に帰着されることを確かめよ。…

問題 線形動的システムにおける、 と に対する Mステップの方程式の結果 と を確かめよ。 参照 解答 PRML下巻 p361より、以下が成り立ちます。式 を で微分して、 とおきます。式 より、式 が示せました。式 を で微分して、 とおきます。式 より、式 が示せ…

問題 線形動的システムにおける、 と に対するMステップの方程式の結果 と を確かめよ。 参照 解答 PRML下巻 p362より、以下が成り立ちます。式 を で微分して、 とおきます。式 より、式 が示せました。式 を で微分して、 とおきます。式 より、式 が示せ…

問題 線形動的システムにおける、 と に対する M ステップの方程式の結果 と を確かめよ。 参照 解答 を で微分して、 とおきます。式 より、式 が示せました。 を で微分して、 とおきます。式 より、式 が示せました。 補足 の証明については、 ベクトルと…

問題 図 のグラフにおいて、ノード を根ノードとして積和アルゴリスムを実行すると 上の正しい周辺分布が得られる。 このことは において確かめられた。 では、 および についても正しい周辺分布が得られることを示せ。 同様に、このグラフにおいて秘和アル…

問題 木構造因子グラフにおいて、積和メッセージパッシングアルゴリズムを実行したとする。 因子 の変数 上の周辺分布が の形に書けることを示せ。 これは、この因子ノードに接続されるすべてのリンクに沿って入ってきたメッセージの積に、 局所的な因子 を…

問題 節において、因子グラフの変数ノード 上の周辺分布 が、 隣接因子ノードからこのノードに伝わるメッセージの積として の形で与えられることを示した。 に接続されるリンクを つ選んだとする。 周辺分布 はこの つのリンクに沿って入ってくるメッセージ…

問題 つの 状態離散変数 および を考える。 例えば である。 これらの変数上の同時分布 であって周辺分布 を最大にする値 と 周辺分布 を最大にする とを組み合わせると、 同時分布の確率が となる(すなわち となる)ようなものを作れ。 解答 以下の同時分布…

仮定 以下の議論では，モデルの持つすべての変数は離散的であると仮定します。 また、もともとのグラフは無向木、有向木あるいは多重木のいずれかであると仮定します。 すると、これを変換してできる因子グラフは木構造を持ちます。 因子グラフにおける同時…

問題 因子グラフにおいて、積和メッセージパッシングアルゴリズムを実行した後、 を適用することにより、各因子 に関連する変数 全体上の 周辺分布 が計算できることを示せ。 参照 解答 は因数ノード に隣接する変数ノードとし、 とします。 は変数ノード を…

問題 の結果を用いて を証明せよ。 参照 解答 式 において、以下のように対応付けます。 このとき、 は以下のようになります。式 より、式 が示せました。

問題 因子グラフにおける因子ノードから変数ノードへ渡されるメッセージの定義 と 隠れマルコフモデルの同時分布の表現 を用いて、 メッセージの定義 が の定義と同一であることを示せ。 参照 解答 式 を用いて、式 は、以下のように書けます。 は 自体を含…

問題 因子グラフにおける因子ノードから変数ノードへ渡されるメッセージの定義 と 隠れマルコフモデルの同時分布の表現 を用いて、 メッセージの定義 が の定義と同一であることを示せ。 参照 図 解答 式 を用いて、式 は、以下のように書けます。 は 自体を…

問題 木構造因子グラフにおける積和アルゴリズムのメッセージパッシングの手続きについて考える。 メッセージはまずすべての葉ノードから任意に選ばれた根ノードに向かつて伝播され、 その後根ノードから葉ノードへと伝播される。 各ステップにおいて、メッ…

問題 の結果を用いて、ガウス過程による分類モデルに対する事後分布 の平均 と分散 を導け。 参照 解答 PRML下巻 p29より、式 は の近似なので、以下のように書けます。式 を式 に代入します。式 において、以下のように対応付けます。 を計算します。式 よ…

問題 対角行列 で、その要素が を満たすものは、正定値であることを示せ。 また、 つの正定値行列の和は、やはり正定値になることを示せ。 解答 対角行列 を 行列とします。 任意の非零のベクトル について、 を計算します。式 より、対角行列 で、その要素…

問題 ニュートン-ラフソン法の公式 を用いて、ガウス過程による分類モデルに対する、 事後分布のモード を求めるための逐次更新の公式 を導け。 参照 解答 式 より、 を計算します。式 より、式 が導けました。

因子グラフによる因数分解 ある変数集合上の同時分布を因子の積の形で書いてみます。式 の は変数の部分集合を表します。有向グラフでは、以下の式によって、因数分解が定義されますが、これは式 の特別な場合です。無向グラフでは、以下の式によって、因数…

木 ノードの連鎖から成るグラフでは、連鎖に沿ったメッセージの伝播によって、効率の良い推論ができることを確認しました。 実はより一般に、木と呼ばれる広いクラスのグラフでも同様の効率的な推論が可能です。無向グラフの場合、木とは任意のノードの組の…

問題 因子分析モデルの完全データ対数尤度関数の期待値の式を書き下せ。 また対応するMステップの式 と を導け。 参照 解答 完全データの尤度関数は、次のように書けます。式 より、完全データの対数尤度関数は以下のようになります。式 に、 に関する期待値…

問題 因子分析についてのEMアルゴリズムのEステップに対する公式 と を導け。 演習問題 の結果から、パラメータ はサンプル平均 で置き換えられることに注意せよ。 参照 解答 式 において、次のように対応付けます。 このとき、 は以下のようになります。 を…

問題 次導関数を考えることによって、 節で説明した因子分析モデルの対数尤度関数の、 パラメータ に対する唯一の停留点が、 で定義されたサンプル平均で与えられることを示せ。 さらに、この停留点が最大値を与えることを示せ。 参照 解答 周辺分布 は以下…

問題 確率的主成分分析モデルの離散個の混合を考え、その確率的有向グラフイカルモデルを描け。 個々の主成分分析モデルは という独自のパラメータ値を持つ。 次に、これらのパラメータ値が混合モデルの各要素に共有される場合のグラフを描け。 解答 確率的…

問題 最近傍法 ( 節)は、新しい入力ベクトル を、 訓練集合の中でこれに最も近い入力ベクトル を持つものと同じクラスに分類する。 最も単純な場合では、距離はユークリッド距離 が用いられる。 これをスカラー積で表すことで、カーネル置換を用いて、 一般…

問題 付録 では、要素がすべて正であるが、負の固有値をもつために、 正定値ではない行列の例を紹介している。 逆に、 行列で、すべての固有値が正であるが、 少なくとも つの負の要素をもつような行列を挙げよ。 解答 以下の行列が題意を満たします。式 の…

はじめに 本記事は計算がややこしい箇所があるので、結果だけを見てもらってもいいかもしれません。 の最尤解 確率的主成分分析モデルの対数尤度は、でした。 は次のように定義されます。 確率的主成分分析モデルの対数尤度 をパラメータ に対して最大化する…