はじめに 本機能はプログラムによるものなので、自己責任でお願いします。 プログラムを追加する方法 ①：管理画面のデザインを押下します。 ②：上にあるカスタマイズボタンを押下します。 ③：左側にあるフッタメニューを押下します。 ④：開いたフッタメニュ…

問題 多変量ガウス分布の共分散行列の最尤推定解を求めるには、共分散行列が対称で正定値である制約の下で について対数尤度関数 を最大化しなくてはならない。 ここでは、こうした制約を無視して、ただ最大化することにする。 付録 の 、および の結果を用…

はじめに まず、機械学習で使うベクトルや行列の微分を使った公式の導出(@Dynikon様の記事)を読んでください。 文章中の はPRMLの式番号です。 以下、公式の導出です。 を で微分します。 の固有値を とします。式 の左辺 を計算します。 を三角化します。式…

問題 有効なカーネル関数を構成するために利用できる等式 と を確かめよ。 参照 解答 任意の に対して、 要素が で与えられるグラム行列を 、 要素が で与えられるグラム行列を 、 要素が で与えられるグラム行列を とします。任意のベクトル について、 を…

問題 上記の問題を平方完成ではなく、線形ガウスモデルの一般的な結果 を用いて示せ 参照 解答 問題文の「上記の問題」とはPRML演習問題 3.8(標準) www のことです。 個のデータが与えられたときの の事後分布を事前分布とみなすので、式 は以下のように書け…

問題 節の線形基底関数モデルを考える。 そして、すでに 個のデータ点が観測され、 の事後分布が で与えられるとする。 この事後分布は次に観測されるデータの事前確率とみなすことができる。 追加のデータ点 を考え、指数関数の中で平方完成することにより…

問題 分割行列の逆行列の公式 を用いて、精度行列 の逆行列が、共分散行列 となることを示せ。 参照 解答 式 と式 を以下のように対応させます。 式 の を計算します。 を計算します。式 より、式 が示せました。

問題 はエピデンスの枠組みにおける最適な の値である。 この結果は、次の等式を使って導出することもできる。実対称行列 の固有値展開、および の行列式とトレースの固有値表現の標準的結果(付録 参照)を用いて、 この等式を証明せよ。 そして、 を用いて …

主成分分析の復習 さらっと主成分分析を復習しておきます。 データ集合 の共分散行列 の固有値 と固有ベクトル を求めます。 固有値の大きい順に 個選び、その固有値に対応する固有ベクトルとデータとの内積を取ったものが、 次元削減されたデータ となりま…

問題 の展開の中央の要素を、べき級数展開することによって、 ガウスカーネル は、無限次元の特徴ベクトルの内積で表されることを示せ。 参照 解答 式 の展開の中央の要素 をマクローリン展開します。式 の右辺の の中身である は、式 により、有効なカーネ…

問題 で与えられる主成分分析の歪み尺度 の、正規直交条件 の下での に対する最小値は、 がデータ共分散行列 の固有ベクトルであるときに得られることを示せ。 これを行うために、ラグランジュ乗数の行列 を導入し、制約条件のそれぞれを取り込む。 その結果…

問題 有効なカーネル関数を構成するために利用できる等式 と を確かめよ。 参照 解答 PRML下巻 p5-6 より、 は有効なカーネル、 は非負の係数をもつ多項式とします。 を以下のようにおきます。式 の係数 は非負とします。式 の右辺 を計算します。式 の は式…

問題 有効なカーネル関数を構成するために利用できる等式 と を確かめよ。 参照 解答 PRML下巻 p5-6 より、 は有効なカーネル、 は定数、 は任意の関数とします。 を以下のようにおきます。式 の右辺 を計算します。式 で とおきました。式 より、式 は有効…

問題 の結果を用いて の積分を評価し、ベイズ線形回帰モデルの予測分布が で与えられることを確かめよ。 ただし、入力に依存する分散は で与えられる。 参照 解答 式 より、以下が成り立ちます。式 に式 を適用します。 式 において、 と対応させると、以下…

問題 の事前分布がベータ分布 である二項分布 に従う確率変数 を考える。 ここで、 の事象が 回、 が 回生じたとする。 このとき、 の事後平均が、事前平均と の最尤推定量の間の値になることを示せ。 これには、事前平均の 倍と、最尤推定量の 倍の和で、事…

問題 それぞれのデータ点 に重み要素 が割り当てられており、二乗和誤差関数がとなるデータ集合を考える。 このとき、この誤差関数を最小にする解 についての式を求めよ。 また、 ノイズの分散がデータに依存する場合、 データ点に重複がある場合に照らして…

問題 付録 に示したラグランジュ未定乗数法を用いて、正則化誤差関数 の最小化と、 正則化されていない二乗和誤差 の制約条件 下での最小化が等価であることを示せ。 そして、パラメータ と の関係を議論せよ。 参照 解答 正則化されていない二乗和誤差 の制…

問題 本章の周期関数の議論で、用いたいろいろな三角関数の公式は、次の関係を用いて容易に証明できる。ただし、 は の平方根である。 の結果をから証明せよ。 同様に、を用いて を証明せよ。 ただし、 は実部を示す。 最後に、 から、 を証明せよ。 ただし…

問題 この演習問題では、帰納法を使って、射影されたデータの分散を最大化するような 次元部分空間の上への線形写像が、 データ共分散行列 (定義は ) の上位 個の固有値に属する 本の固有ベクトルにより定義されることを証明する。 節では、 に対してこの結…

問題 フォン・ミーゼス分布 の 階と 階の導関数を求め、 さらに で であることを用いて、 分布は で最大になり、 で最小になることを示せ。 参照 解答 式 を で微分します。式 を で微分します。問題文より、 で なので、 で が成り立ちます。 よって、 とお…

問題 三角関数の公式 を用いて、 についての の解が となることを示せ。 参照 解答 式 を変形します。式 より、式 が示せました。

問題 ベータ分布 、ガンマ分布 、およびフォン・ミーゼス分布 を 指数型分布族の形 に変形し、これらの分布の自然パラメータを求めよ。 参照 解答 式 を変形します。式 と 式 を比較します。式 を式 に代入します。式 がベータ分布の指数型分布族の形であり…

問題 は、指数型分布族では、 の負の勾配が、 の期待値になることを示している。 の2階微分を取ることでを示せ。 参照 解答 式 より、以下が成り立ちます。式 を で微分します。式 より、式 が示せました。 参考リンク ヘッセ行列をベクトルによる微分で表す

問題 多変量ガウス分布は、指数型分布族の形式 に変形できることを示し、 - と同様に、 および の式を導出せよ。 参照 解答 式 の指数の中身 を変形します。式 を式 に代入します。式 のを式 の に当てはめると、以下のようになります。ーーーーーー↓ここか…

はじめに こんなツイートがありました。これ暗記なのか…？ pic.twitter.com/t6U3lxOAjU— クルトン (@kuruton456) 2021年10月31日 ツイート主は、「こんな式覚えるのか？」と困惑しているようでしたので、 私なりの回答を作成してみることにしました。統計学…

問題 で定義される固有ベクトルが単位長さに規格化されていることを示せ。 ただし、固有ベクトル は単位長さを持っていると仮定する。 参照 解答 式 の両辺に左側から を掛けます。式 より、 で定義される固有ベクトルが単位長さに規格化されていることが示…

はじめに マクローリン展開をアニメーションで見せる動画をPythonで作る方法を紹介します。 開発環境は Google Colab です。マクローリン展開アニメーションです。 pic.twitter.com/wEeE8CP5PD— 機械学習基礎理論独習 (@PG12345678) 2021年10月24日 Google C…

問題 個の混合要素を持つ混合モデルにおいて、混合要素の入れ替えについての対称性から得られる、 同値なパラメータ設定の数は であることを示せ。 解答 最初の混合要素は、パラメータ設定の数は 種類あり、 番目の混合要素は、パラメータ設定の数は 種類あ…

問題 節でエントロピー のアイディアを、 確率分布 を持つ確率変数 の値を観測することによって増える情報量として導入した。 また、変数 が となって独立なときは、エントロビーは加法的で となることを見た。 この演習問題では、 と の間の関数関係 を導く…

問題 つの変数 を考え、同時分布を とする。 この変数の組の微分エントロピーがを満たし、等号は と が統計的に独立なとき、またそのときに限ることを示せ。 参照 解答 を計算します。式 より、式 が示せました。 式 より、式 の等号が成り立つのは、 の時で…