問題 マージン最大の超平面のマージン は、以下の式を満たすことを示せ。ただし、 は を制約条件 および の下で解いて得られる解とする。 参照 解答 超平面 から点 までの距離は式 より、 なので、以下が成り立ちます。式 を 式 に代入します。式 を 式 に代…

問題 制約式 において、右辺の を任意の正数 で置き換えても、 マージン最大の超平面は変化しないことを示せ。 参照 解答 点 と分類境界までの距離 において、と定数倍してもと変わりません。 よって、題意が示せました。

はじめに Kmeans法はアルゴリズムが単純なので、ソースだけ貼り付けます。 コメントをたくさん書いているので、参考にしてください。 ソース import numpy as np import matplotlib.pyplot as plt class KMeans: def __init__(self, n_clusters, max_iter=10…

問題 確率的主成分分析モデルの対数尤度関数 の、パラメータ に対する2次微分を求めることにより、 停留点 が唯一の最大値を与える点となることを示せ。 参照 解答 の に関するヘッセ行列 を求めます。まず、 を計算します。次に、 を計算します。最後に、 …

問題 の結果を利用して確率的主成分分析モデルで出てくる事後分布 が で与えられることを示せ。 参照 解答 式 において、次のように対応付けます。 このとき、 は以下のようになります。式 より、式 が示せました。

はじめに 確率的主成分分析の記事の続きです。 有向グラフを貼り付けておきます。 の最尤解 EMアルゴリズムを適用する前に、 は簡単に最尤解が解析的に求まるので、求めてしまいます。確率的主成分分析モデルの対数尤度は、でした。確率的主成分分析モデルの…

問題 で与えられる完全データの対数尤度関数の期待値を最大化することにより、 確率的主成分分析モデルの ステップの式 と を導け。 参照 解答 を で微分して、 とおきます。式 において、 とします。式 より、式 が示せました。 を で微分して、 とおきます…

問題 確率的主成分分析モデルの対数尤度 をパラメータ に対して最大化すると、 の結果になることを確かめよ。 ただし、 はデータベクトルの平均である。 参照 解答 式 を を微分して、 とおきます。式 より、の結果になることを示せました。

問題 の多変量ガウス分布を考える精度行列(逆共分散行列) を対称行列と反対称行列(歪対称行列)の和の形で書くと、 反対称行列の項がガウス分布の指数部分には現れなくなるため、一般性を失うことなく精度行列は対称であるとしてよいことを示せ。 この結果か…

問題 正定値行列 は次の二次形式が、任意の実ベクトル について正になる ということで定義できる。 が正定値になる必要十分条件は、 で定義される のすべての固有値 が正となることであることを示せ。 参照 解答 まず、「全ての固有値が正」 「 が正定値行列…

問題 データ集合のサイズが増えるにつれて、モデルパラメータの事後分布に関する不確かさが 減少することについて説明した、次の行列の公式(付録 参照)を用いて、 の線形回帰モデルに関する不確かさ がを満たすことを示せ。 参照 解答 PRML演習問題 3.8(標準…

問題 ガウス分布に従う複数の目標変数 を持つ次の形の線形基底関数モデルを考える。ただし、である 入力基底ベクトル とそれに対応する目標ベクトル が訓練データ集合として与えられるとき、 パラメータ行列 の最尤推定解 のそれぞれの列が、等方性のノイズ…

はじめに 本機能はプログラムによるものなので、自己責任でお願いします。 プログラムを追加する方法 ①：管理画面のデザインを押下します。 ②：上にあるカスタマイズボタンを押下します。 ③：左側にあるフッタメニューを押下します。 ④：開いたフッタメニュ…

問題 多変量ガウス分布の共分散行列の最尤推定解を求めるには、共分散行列が対称で正定値である制約の下で について対数尤度関数 を最大化しなくてはならない。 ここでは、こうした制約を無視して、ただ最大化することにする。 付録 の 、および の結果を用…

はじめに まず、機械学習で使うベクトルや行列の微分を使った公式の導出(@Dynikon様の記事)を読んでください。 文章中の はPRMLの式番号です。 以下、公式の導出です。 を で微分します。 の固有値を とします。式 の左辺 を計算します。 を三角化します。式…

問題 有効なカーネル関数を構成するために利用できる等式 と を確かめよ。 参照 解答 任意の に対して、 要素が で与えられるグラム行列を 、 要素が で与えられるグラム行列を 、 要素が で与えられるグラム行列を とします。任意のベクトル について、 を…

問題 上記の問題を平方完成ではなく、線形ガウスモデルの一般的な結果 を用いて示せ 参照 解答 問題文の「上記の問題」とはPRML演習問題 3.8(標準) www のことです。 個のデータが与えられたときの の事後分布を事前分布とみなすので、式 は以下のように書け…

問題 節の線形基底関数モデルを考える。 そして、すでに 個のデータ点が観測され、 の事後分布が で与えられるとする。 この事後分布は次に観測されるデータの事前確率とみなすことができる。 追加のデータ点 を考え、指数関数の中で平方完成することにより…

問題 分割行列の逆行列の公式 を用いて、精度行列 の逆行列が、共分散行列 となることを示せ。 参照 解答 式 と式 を以下のように対応させます。 式 の を計算します。 を計算します。式 より、式 が示せました。

問題 はエピデンスの枠組みにおける最適な の値である。 この結果は、次の等式を使って導出することもできる。実対称行列 の固有値展開、および の行列式とトレースの固有値表現の標準的結果(付録 参照)を用いて、 この等式を証明せよ。 そして、 を用いて …

主成分分析の復習 さらっと主成分分析を復習しておきます。 データ集合 の共分散行列 の固有値 と固有ベクトル を求めます。 固有値の大きい順に 個選び、その固有値に対応する固有ベクトルとデータとの内積を取ったものが、 次元削減されたデータ となりま…

問題 の展開の中央の要素を、べき級数展開することによって、 ガウスカーネル は、無限次元の特徴ベクトルの内積で表されることを示せ。 参照 解答 式 の展開の中央の要素 をマクローリン展開します。式 の右辺の の中身である は、式 により、有効なカーネ…

問題 で与えられる主成分分析の歪み尺度 の、正規直交条件 の下での に対する最小値は、 がデータ共分散行列 の固有ベクトルであるときに得られることを示せ。 これを行うために、ラグランジュ乗数の行列 を導入し、制約条件のそれぞれを取り込む。 その結果…

問題 有効なカーネル関数を構成するために利用できる等式 と を確かめよ。 参照 解答 PRML下巻 p5-6 より、 は有効なカーネル、 は非負の係数をもつ多項式とします。 を以下のようにおきます。式 の係数 は非負とします。式 の右辺 を計算します。式 の は式…

問題 有効なカーネル関数を構成するために利用できる等式 と を確かめよ。 参照 解答 PRML下巻 p5-6 より、 は有効なカーネル、 は定数、 は任意の関数とします。 を以下のようにおきます。式 の右辺 を計算します。式 で とおきました。式 より、式 は有効…

問題 の結果を用いて の積分を評価し、ベイズ線形回帰モデルの予測分布が で与えられることを確かめよ。 ただし、入力に依存する分散は で与えられる。 参照 解答 式 より、以下が成り立ちます。式 に式 を適用します。 式 において、 と対応させると、以下…

問題 の事前分布がベータ分布 である二項分布 に従う確率変数 を考える。 ここで、 の事象が 回、 が 回生じたとする。 このとき、 の事後平均が、事前平均と の最尤推定量の間の値になることを示せ。 これには、事前平均の 倍と、最尤推定量の 倍の和で、事…

問題 それぞれのデータ点 に重み要素 が割り当てられており、二乗和誤差関数がとなるデータ集合を考える。 このとき、この誤差関数を最小にする解 についての式を求めよ。 また、 ノイズの分散がデータに依存する場合、 データ点に重複がある場合に照らして…

問題 付録 に示したラグランジュ未定乗数法を用いて、正則化誤差関数 の最小化と、 正則化されていない二乗和誤差 の制約条件 下での最小化が等価であることを示せ。 そして、パラメータ と の関係を議論せよ。 参照 解答 正則化されていない二乗和誤差 の制…

問題 本章の周期関数の議論で、用いたいろいろな三角関数の公式は、次の関係を用いて容易に証明できる。ただし、 は の平方根である。 の結果をから証明せよ。 同様に、を用いて を証明せよ。 ただし、 は実部を示す。 最後に、 から、 を証明せよ。 ただし…