はじめに マクローリン展開をアニメーションで見せる動画をPythonで作る方法を紹介します。 開発環境は Google Colab です。マクローリン展開アニメーションです。 pic.twitter.com/wEeE8CP5PD— 機械学習基礎理論独習 (@PG12345678) 2021年10月24日 Google C…

問題 個の混合要素を持つ混合モデルにおいて、混合要素の入れ替えについての対称性から得られる、 同値なパラメータ設定の数は であることを示せ。 解答 最初の混合要素は、パラメータ設定の数は 種類あり、 番目の混合要素は、パラメータ設定の数は 種類あ…

問題 節でエントロピー のアイディアを、 確率分布 を持つ確率変数 の値を観測することによって増える情報量として導入した。 また、変数 が となって独立なときは、エントロビーは加法的で となることを見た。 この演習問題では、 と の間の関数関係 を導く…

問題 つの変数 を考え、同時分布を とする。 この変数の組の微分エントロピーがを満たし、等号は と が統計的に独立なとき、またそのときに限ることを示せ。 参照 解答 を計算します。式 より、式 が示せました。 式 より、式 の等号が成り立つのは、 の時で…

問題 ベイズ線形回帰モデルについて、 節におけるエビデンスの枠組みを用いて、 パラメータ に関する と同様の、パラメータ に関する ステップ更新式を導け。 参照 解答 本解答における期待値 は事後分布 に関する期待値 です。 を で微分して、 とおきます…

問題 有向分離を用いて、図 の有向グラフで表現される状態空間モデルにおける 観測データの分布 が何の条件付き独立性も満足せず、 したがって、どのような有限次数のマルコフ性ももたないことを示せ。 参照 図 解答 任意の つの変数 について考えます。 こ…

問題 混合ガウスモデルを考え、 潜在変数の周辺分布 が で、観測変数の条件付き分布 が でそれぞれ与えられると仮定する。 を の可能な値について足して得られる周辺分布 が の形の混合ガウス分布になることを示せ。 参照 解答 を で周辺化することにより、 …

問題 の形の混合分布で、与えられる密度のモデルを考え、ベクトル を のように2つの部分に分解すると仮定する。 このとき、条件付き密度 自体が混合分布であることを示し、混合係数と各混合要素の表式を求めよ。 解答 は、式 より、以下のようになります。式…

問題 ベイズ線形回帰モデルについて、期待完全データ対数尤度関数 の最大化は に関する ステップの更新式 を導くことを示せ。 参照 解答 本解答における期待値 は事後分布 に関する期待値 です。 を で微分して、 とおきます。 を計算します。式 の式変形は…

問題 対数周辺尤度関数 の に関する最大化が再推定方程式 に 帰着されることを示すのにすべての段階を、 から始めて確かめよ。 参照 解答 行列を行列で対角化します。すると、行列にも対角化ができます。式の導出については、PRML演習問題 3.20(標準) wwwの…

問題 対数周辺尤度関数 の に関する最大化が再推定方程式 に 帰着されることを示すのに必要なすべての段階を、 から始めて確かめよ。 参照 解答 行列を行列で対角化します。すると、行列にも対角化ができます。式の導出については、後で補足説明します。 よ…

問題 ベイズ線形回帰モデルの に関する積分が で与えられることを示せ。 したがって、対数周辺尤度が で与えられることを示せ。 参照 解答 式 より、式 の 行目が示せました。 式 より、式 の 行目が示せました。 を計算します。式 より、式 が示せました。

問題 と がそれぞれ と で定義される線形基底関数モデルを考える。 平方完成を用いて、このモデルのパラメータ の事後分布が で与えられることを確かめよ。 参照 解答 を変形します。式 より、 の事後分布が であることが示せました。

問題 に関して平方完成することにより、 で定義されるベイズ線形回帰の誤差関数が の形で書けることを示せ。 参照 解答 準備として、式 を変形します。 を計算します。 を計算します。 を計算します。式 を 式 に代入します。式 を 式 に代入します。式 より…

問題 ベイズ線形回帰モデルに対するエビデンス関数が の形式で書けることを示せ。 ただし、 は で定義される。 参照 解答 式 の対数を外します。式 を計算します。式 を式に代入します。式 より、ベイズ線形回帰モデルに対するエビデンス関数が の形式で書け…

問題 の積分の評価に を直接用いて、 で与えられる線形回帰モデルの対数エビデンス関数 の結果を導け。 参照 のとき、 解答 周辺尤度 を計算します。式 は式 を使えば、積分計算せずに求まります。 式 に のように当てはめるととなります。 式 に対数を取り…

問題 線形基底関数からなる回帰モデルの超パラメータ をエビデンスの枠組みを用いて決定する場合を考える。 で定義される関数 が関係式 を満たすことを示せ。 参照 解答 式 を変形します。式 を式 に代入します。式 より、 が示せました。

線形代数の射影、特異値分解、一般逆行列をさっと学びたかったらコレ サブタイトルが「射影、特異値分解、一般逆行列」になっている通り、これらの内容に特化した本です。 とても分かりやすいです。 巻末に線形代数の基礎的な部分がまとめられているので、そ…

問題 と を つの独立な確率ベクトル、すなわち、 であるとする。 これらの和 の平均が、それぞれの変数について個別に求めた平均の和となることを示せ。 同様に、 の共分散行列が、 と それぞれの共分散行列の和であることを示せ。 これが、演習問題 の結果…

問題 次元ガウス確率変数 を考える。 この分布 の共分散 は既知としたとき、観測値集合 から平均 を推定したいとする。 事前分布 について、これに対応する事後分布 を求めよ。 参照 解答 問題文にはありませんが、観測値 は分布 から独立に生成されると仮定…

問題 ガウス確率変数の平均の事後分布についての結果 と を元に、 最初の 個のデータ点の影響を分離し、 と の逐次更新の式を求めよ。 そして、事後分布 に尤度関数 を掛けた後、 平方完成と正規化をすることで、 個の観測値を得た後の事後分布と同じ結果を…

問題 行列は任意のベクトル を の列ベクトルで張られる空間の上に正射影することを示せ。 そしてこの結果を使って、最小二乗解 は図 で示した多様体 の上に ベクトル を正射影することに対応していることを示せ。 参照 図 解答 を計算します。式より、 は の…

問題 次元の半径 の球と、同じ中心を持つ一辺 の超立方体を考える球面は超立方体の各面の中心で接している。 演習問題 の結果を使って、球の体積と立方体の体積の比がで与えられることを示せ。 スターリングの公式が で成り立つことを使って の極限で比の値 …

問題 つの非負の数 と があったとき、 なら であることを示せ。 この結果を使って、 クラスのクラス分類問題の決定領域を誤識別率が最小になるように選ぶと、この確率がを満たすことを示せ。 参照 解答 を変形していきます。式 より、 が示せました。決定領…

問題 次元の単位球の表面積 、体積 を導くのに を使うことができる。 これにはまず、直交座標から極座標への変換から導かれるという事実を考える。 ガンマ関数の定義 と からこの式の両辺を評価し、を示せ。 次に半径 から まで積分し、 次元単位球の体積が…

問題 関数とロジスティックシグモイド関数 は次のように関係付けられることを示せ。さらに、次の形のロジスティックシグモイド関数の線形結合は次の形の 関数の線形結合と等価であることを示し、新しいパラメータ ともとのパラメータ を関係付ける式を求めよ…

問題 一般の場合に、損失行列とクラスに対する事前確率が与えられたときに、期待損失を最小にする規準を導け。 参照 解答 を変形します。問題文より、損失行列 と事前確率 が与えられているので、 式を最小化するように、尤度 を決定すればよいことが分かり…

問題 の分布を使って、の結果を確かめよ。 参照 多次元ガウス分布のの期待値は以下の式です。ウィシャート分布のの期待値は以下の式です。 解答 を計算します。を計算します。を計算します。を計算します。式を式に代入します。式を式に代入します。式より、…

問題 から始めて、ベイズ混合ガウス分布におけるとの最適な変分事後分布についての結果を導き、 この分布のパラメータが-で与えられることを確かめよ。 参照 解答 式の期待値をからに書き換えます。(私はこっちの方が好きなので)式より、 だけを含む項と 及…

問題 の結果を用いて、変分混合ガウス分布の混合係数の期待値はで与えられることを示せ。 参照 解答 を計算します。式より、式が示せました。