問題 および を用いて連立方程式 を解き、 もともとの分布 が非特異ならば、近似された因子分布の平均についての一意な解は および となることを示せ。 参照 解答 式 に を代入します。式 に を代入します。式 を式 に代入します。 が非特異なので、以下の式…

問題 節において、回帰問題のためのRVMの超パラメータ と の 更新式 と を導くのに周辺尤度を直接最大化した。 同様に 節において、同じ周辺尤度を最大化するのにEMアルゴリズムを用いて 更新式 と を求めた。 任意の停留点においてこれら 組の更新式が厳密…

問題 期待完全データ対数尤度 を最大化することで、 回帰問題のためのRVM(関連ベクトルマシン)の超パラメータについての ステップ更新式 と を導け。 参照 解答 式 を計算します。式 を で微分して、 とおきます。式 より、式 が導けました。式 を で微分し…

問題 節で説明された因子分析モデルについて、独立なパラメータの数の表現を与える式を導け。 解答 確率的主成分分析モデルの独立なパラメータ数はです。(PRML 下巻 p294参照)因子分析モデルでは、確率的主成分分析モデルの が に置き換わったものと考えるこ…

はじめに 本記事は、確率的主成分分析の最尤推定をEMアルゴリズムで解く の続編的記事です。 ベイズ的主成分分析 グラフィカルモデルは以下です。確率的主成分分析では、 は定数でしたが 本記事のベイズ的主成分分析では、 を確率変数とします。主部分空間を…

問題 潜在変数を持つモデルに関して、データ集合 を観測した下での事後分布 を、 EMアルゴリズムを用いて について最大化する問題を考える。 このとき、Eステップは最尤推定問題の場合と同じであるのに対し、 Mステップでは、最大化すべき量が で与えられる…

問題 超パラメータ に対して、RVM回帰モデルの周辺化対数尤度 の 階微分を取ることで、 で与えられる停留点が周辺尤度の極大値であることを示せ。 参照 解答 式 を で微分します。式 を で微分します。念のため、式 が停留点であることを確認します。式 より…

問題 および を用いて、周辺化尤度 が の形に変形できることを示せ。 ただし、 および、品質／疎性パラメータはそれぞれ で定義されているとする。 参照 解答 式 を計算します。式 より、式 が示せました。

問題 RVM問帰モデルの予測確率分布が で与えられることを示せ。 また、その予測分布の分散が で与えられることも示せ。 参照 解答 本解答の は式 において、 及び としたものです。式 の を計算します。式 において、 と対応させると、 式 は以下のようにな…

問題 本文では、RVM回帰モデルに関して、 の周辺化尤度の最大化から、更新式 および を導いた。 超パラメータの事前分布を の形のガンマ分布に変更したときの と に対する更新式を、 同様に事後確率 を と に対して最大化することで導出せよ。 参照 解答 の…

問題 RVM回帰モデルについて周辺化対数尤度 を直接最大化すると、 更新式 および が得られることを示せ。 ただし、 は で与えられるものとする。 参照 解答 本解答は、長くなるので流れを記します。 1. 対数周辺尤度を で表す。 2. 対数周辺尤度を で微分し…

問題 前問を、 の結果を用いて解け。 参照 解答 前問とは、PRML演習問題 7.10(標準) wwwのことです。周辺尤度 を求めます。式 において、 と対応させると、以下が成り立ちます。式 より、式 が示せました。

問題 RVM回帰モデルについて周辺化尤度関数の式 を、 の に対する積分を実行することで導け。(指数に現れる 次式を平方完成するとよい。) 参照 解答 周辺尤度 を求めます。式 の指数部を について平方完成します。式 で、 は以下のようにおきました。式 を式…

問題 RVM回帰モデルについて重みに対する事後確率分布の平均および共分散が と で与えられることを示せ。 参照 解答 の事後分布 を求めます。に対数を取って、についてまとめます。は多次元ガウス分布なので、平均を、共分散をとおき、についてまとめます。…

問題 節で議論したSVM回帰モデルについて、が成り立つ訓練データ点については 、 同様に が成り立つ訓練データ点については が成立することを示せ。 参照 解答 を使ってKKT条件は、以下のように書けます。式 より、以下が成り立ちます。式 を式 に代入します…

問題 SVM回帰モデルのラグランジュ関数 について考える。 の に対する偏微分をそれぞれ零とおき、 その結果を代入することで双対ラグランジュ関数 が得られることを示せ。 参照 解答 式 に式 を代入します。式 を を微分して、 とおきます。式 と式 は同じで…

問題 出力値が であるロジスティック回帰モデルについて考える。 という形の を用いて、とすると、 対数尤度(の符号を反転したもの)に 乗ノルムの正則化項を加えたものは という形を取ることを示せ。 参照 解答 負の対数尤度を計算します。式 に 乗ノルムの…

問題 前問における および は、次の式を満たすことを示せ。ここで は で定義される関数である。 同様に以下の関係が成り立つことを示せ。 参照 解答 PRML演習問題 7.4(標準) www で示してあるので、解答は省略します。

問題 マージン最大の超平面のマージン は、以下の式を満たすことを示せ。ただし、 は を制約条件 および の下で解いて得られる解とする。 参照 解答 超平面 から点 までの距離は式 より、 なので、以下が成り立ちます。式 を 式 に代入します。式 を 式 に代…

問題 制約式 において、右辺の を任意の正数 で置き換えても、 マージン最大の超平面は変化しないことを示せ。 参照 解答 点 と分類境界までの距離 において、と定数倍してもと変わりません。 よって、題意が示せました。

はじめに Kmeans法はアルゴリズムが単純なので、ソースだけ貼り付けます。 コメントをたくさん書いているので、参考にしてください。 ソース import numpy as np import matplotlib.pyplot as plt class KMeans: def __init__(self, n_clusters, max_iter=10…

問題 確率的主成分分析モデルの対数尤度関数 の、パラメータ に対する2次微分を求めることにより、 停留点 が唯一の最大値を与える点となることを示せ。 参照 解答 の に関するヘッセ行列 を求めます。まず、 を計算します。次に、 を計算します。最後に、 …

問題 の結果を利用して確率的主成分分析モデルで出てくる事後分布 が で与えられることを示せ。 参照 解答 式 において、次のように対応付けます。 このとき、 は以下のようになります。式 より、式 が示せました。

はじめに 確率的主成分分析の記事の続きです。 有向グラフを貼り付けておきます。 の最尤解 EMアルゴリズムを適用する前に、 は簡単に最尤解が解析的に求まるので、求めてしまいます。確率的主成分分析モデルの対数尤度は、でした。確率的主成分分析モデルの…

問題 で与えられる完全データの対数尤度関数の期待値を最大化することにより、 確率的主成分分析モデルの ステップの式 と を導け。 参照 解答 を で微分して、 とおきます。式 において、 とします。式 より、式 が示せました。 を で微分して、 とおきます…

問題 確率的主成分分析モデルの対数尤度 をパラメータ に対して最大化すると、 の結果になることを確かめよ。 ただし、 はデータベクトルの平均である。 参照 解答 式 を を微分して、 とおきます。式 より、の結果になることを示せました。

問題 の多変量ガウス分布を考える精度行列(逆共分散行列) を対称行列と反対称行列(歪対称行列)の和の形で書くと、 反対称行列の項がガウス分布の指数部分には現れなくなるため、一般性を失うことなく精度行列は対称であるとしてよいことを示せ。 この結果か…

問題 正定値行列 は次の二次形式が、任意の実ベクトル について正になる ということで定義できる。 が正定値になる必要十分条件は、 で定義される のすべての固有値 が正となることであることを示せ。 参照 解答 まず、「全ての固有値が正」 「 が正定値行列…

問題 データ集合のサイズが増えるにつれて、モデルパラメータの事後分布に関する不確かさが 減少することについて説明した、次の行列の公式(付録 参照)を用いて、 の線形回帰モデルに関する不確かさ がを満たすことを示せ。 参照 解答 PRML演習問題 3.8(標準…

問題 ガウス分布に従う複数の目標変数 を持つ次の形の線形基底関数モデルを考える。ただし、である 入力基底ベクトル とそれに対応する目標ベクトル が訓練データ集合として与えられるとき、 パラメータ行列 の最尤推定解 のそれぞれの列が、等方性のノイズ…