問題 の結果を用いて、ガウス過程による分類モデルに対する事後分布 の平均 と分散 を導け。 参照 解答 PRML下巻 p29より、式 は の近似なので、以下のように書けます。式 を式 に代入します。式 において、以下のように対応付けます。 を計算します。式 よ…

問題 対角行列 で、その要素が を満たすものは、正定値であることを示せ。 また、 つの正定値行列の和は、やはり正定値になることを示せ。 解答 対角行列 を 行列とします。 任意の非零のベクトル について、 を計算します。式 より、対角行列 で、その要素…

問題 ニュートン-ラフソン法の公式 を用いて、ガウス過程による分類モデルに対する、 事後分布のモード を求めるための逐次更新の公式 を導け。 参照 解答 式 より、 を計算します。式 より、式 が導けました。

因子グラフによる因数分解 ある変数集合上の同時分布を因子の積の形で書いてみます。式 の は変数の部分集合を表します。有向グラフでは、以下の式によって、因数分解が定義されますが、これは式 の特別な場合です。無向グラフでは、以下の式によって、因数…

木 ノードの連鎖から成るグラフでは、連鎖に沿ったメッセージの伝播によって、効率の良い推論ができることを確認しました。 実はより一般に、木と呼ばれる広いクラスのグラフでも同様の効率的な推論が可能です。無向グラフの場合、木とは任意のノードの組の…

問題 因子分析モデルの完全データ対数尤度関数の期待値の式を書き下せ。 また対応するMステップの式 と を導け。 参照 解答 完全データの尤度関数は、次のように書けます。式 より、完全データの対数尤度関数は以下のようになります。式 に、 に関する期待値…

問題 因子分析についてのEMアルゴリズムのEステップに対する公式 と を導け。 演習問題 の結果から、パラメータ はサンプル平均 で置き換えられることに注意せよ。 参照 解答 式 において、次のように対応付けます。 このとき、 は以下のようになります。 を…

問題 次導関数を考えることによって、 節で説明した因子分析モデルの対数尤度関数の、 パラメータ に対する唯一の停留点が、 で定義されたサンプル平均で与えられることを示せ。 さらに、この停留点が最大値を与えることを示せ。 参照 解答 周辺分布 は以下…

問題 確率的主成分分析モデルの離散個の混合を考え、その確率的有向グラフイカルモデルを描け。 個々の主成分分析モデルは という独自のパラメータ値を持つ。 次に、これらのパラメータ値が混合モデルの各要素に共有される場合のグラフを描け。 解答 確率的…

問題 最近傍法 ( 節)は、新しい入力ベクトル を、 訓練集合の中でこれに最も近い入力ベクトル を持つものと同じクラスに分類する。 最も単純な場合では、距離はユークリッド距離 が用いられる。 これをスカラー積で表すことで、カーネル置換を用いて、 一般…

問題 付録 では、要素がすべて正であるが、負の固有値をもつために、 正定値ではない行列の例を紹介している。 逆に、 行列で、すべての固有値が正であるが、 少なくとも つの負の要素をもつような行列を挙げよ。 解答 以下の行列が題意を満たします。式 の…

はじめに 本記事は計算がややこしい箇所があるので、結果だけを見てもらってもいいかもしれません。 の最尤解 確率的主成分分析モデルの対数尤度は、でした。 は次のように定義されます。 確率的主成分分析モデルの対数尤度 をパラメータ に対して最大化する…

問題 および を用いて連立方程式 を解き、 もともとの分布 が非特異ならば、近似された因子分布の平均についての一意な解は および となることを示せ。 参照 解答 式 に を代入します。式 に を代入します。式 を式 に代入します。 が非特異なので、以下の式…

問題 節において、回帰問題のためのRVMの超パラメータ と の 更新式 と を導くのに周辺尤度を直接最大化した。 同様に 節において、同じ周辺尤度を最大化するのにEMアルゴリズムを用いて 更新式 と を求めた。 任意の停留点においてこれら 組の更新式が厳密…

問題 期待完全データ対数尤度 を最大化することで、 回帰問題のためのRVM(関連ベクトルマシン)の超パラメータについての ステップ更新式 と を導け。 参照 解答 式 を計算します。式 を で微分して、 とおきます。式 より、式 が導けました。式 を で微分し…

問題 節で説明された因子分析モデルについて、独立なパラメータの数の表現を与える式を導け。 解答 確率的主成分分析モデルの独立なパラメータ数はです。(PRML 下巻 p294参照)因子分析モデルでは、確率的主成分分析モデルの が に置き換わったものと考えるこ…

はじめに 本記事は、確率的主成分分析の最尤推定をEMアルゴリズムで解く の続編的記事です。 ベイズ的主成分分析 グラフィカルモデルは以下です。確率的主成分分析では、 は定数でしたが 本記事のベイズ的主成分分析では、 を確率変数とします。主部分空間を…

問題 潜在変数を持つモデルに関して、データ集合 を観測した下での事後分布 を、 EMアルゴリズムを用いて について最大化する問題を考える。 このとき、Eステップは最尤推定問題の場合と同じであるのに対し、 Mステップでは、最大化すべき量が で与えられる…

問題 超パラメータ に対して、RVM回帰モデルの周辺化対数尤度 の 階微分を取ることで、 で与えられる停留点が周辺尤度の極大値であることを示せ。 参照 解答 式 を で微分します。式 を で微分します。念のため、式 が停留点であることを確認します。式 より…

問題 および を用いて、周辺化尤度 が の形に変形できることを示せ。 ただし、 および、品質／疎性パラメータはそれぞれ で定義されているとする。 参照 解答 式 を計算します。式 より、式 が示せました。

問題 RVM問帰モデルの予測確率分布が で与えられることを示せ。 また、その予測分布の分散が で与えられることも示せ。 参照 解答 本解答の は式 において、 及び としたものです。式 の を計算します。式 において、 と対応させると、 式 は以下のようにな…

問題 本文では、RVM回帰モデルに関して、 の周辺化尤度の最大化から、更新式 および を導いた。 超パラメータの事前分布を の形のガンマ分布に変更したときの と に対する更新式を、 同様に事後確率 を と に対して最大化することで導出せよ。 参照 解答 の…

問題 RVM回帰モデルについて周辺化対数尤度 を直接最大化すると、 更新式 および が得られることを示せ。 ただし、 は で与えられるものとする。 参照 解答 本解答は、長くなるので流れを記します。 1. 対数周辺尤度を で表す。 2. 対数周辺尤度を で微分し…

問題 前問を、 の結果を用いて解け。 参照 解答 前問とは、PRML演習問題 7.10(標準) wwwのことです。周辺尤度 を求めます。式 において、 と対応させると、以下が成り立ちます。式 より、式 が示せました。

問題 RVM回帰モデルについて周辺化尤度関数の式 を、 の に対する積分を実行することで導け。(指数に現れる 次式を平方完成するとよい。) 参照 解答 周辺尤度 を求めます。式 の指数部を について平方完成します。式 で、 は以下のようにおきました。式 を式…

問題 RVM回帰モデルについて重みに対する事後確率分布の平均および共分散が と で与えられることを示せ。 参照 解答 の事後分布 を求めます。に対数を取って、についてまとめます。は多次元ガウス分布なので、平均を、共分散をとおき、についてまとめます。…

問題 節で議論したSVM回帰モデルについて、が成り立つ訓練データ点については 、 同様に が成り立つ訓練データ点については が成立することを示せ。 参照 解答 を使ってKKT条件は、以下のように書けます。式 より、以下が成り立ちます。式 を式 に代入します…

問題 SVM回帰モデルのラグランジュ関数 について考える。 の に対する偏微分をそれぞれ零とおき、 その結果を代入することで双対ラグランジュ関数 が得られることを示せ。 参照 解答 式 に式 を代入します。式 を を微分して、 とおきます。式 と式 は同じで…

問題 出力値が であるロジスティック回帰モデルについて考える。 という形の を用いて、とすると、 対数尤度(の符号を反転したもの)に 乗ノルムの正則化項を加えたものは という形を取ることを示せ。 参照 解答 負の対数尤度を計算します。式 に 乗ノルムの…

問題 前問における および は、次の式を満たすことを示せ。ここで は で定義される関数である。 同様に以下の関係が成り立つことを示せ。 参照 解答 PRML演習問題 7.4(標準) www で示してあるので、解答は省略します。