問題 同時分布から始めて一般的な結果を適用することで、 ベイズ混合ガウス分布の潜在変数の最適な変分事後分布はで与えられることを、 本文の段階を確かめることで示せ。 参照 解答 式で(右辺のは式の)とおくと、以下が成り立ちます。式の2つの項を分けて計…

変分下限(変分下界)とは？ 観測変数を、潜在変数とパラメータをとしたときの周辺分布の対数はと書けます。 変分法の時に、式のを変分下限と呼びます。は以下の式で表されます。パラメータの再推定(繰り返し法による再推定)を行う際に収束を判定するのに、下…

問題 で与えられる変分ガウス混合モデルの下界の、残りの項についての結果-を確かめよ。 参照 解答 を計算します。式より、式が示せました。を計算します。とおきます。とおきます。式を式に代入します。式より、式が示せました。を計算します。式より、式が…

問題 で与えられる変分ガウス混合モデルの下界の、最初の二項についての結果とを確かめよ。 参照 解答 を計算します。とおきます。とおきます。式を式に代入します。式を式に代入します。式より、式が示せました。を計算します。式より、式が示せました。

「はてな形式」で数式を書く時、mathjaxか「はてな形式」のバグで数式が正しく表示されないケースがあります。 それの個人的メモです。 ちなみに、はてなブログで数式を書く時、mathjaxを明示的に導入する方法と、「はてな形式」で書く2つの方法がありますが…

はじめに 本記事は、「ベイズ推論による機械学習入門」という書籍を参考に書いたので、 今までの記事とは異なり、潜在変数をと書いております。本記事でも、「平均場近似の変分推論といえば、この式！」という以下の式を使います。式については、こちらで解…

はじめに 本記事はプログラム未経験者向けの記事です。 JavaScriptは開発環境いらず Google Chromeだけはインストールしましょう。 はい、開発環境終わりです。プログラムを動かすときには、環境を整える必要がありますが、 プログラムを組む前にそこで挫折…

はじめに 本記事は自己紹介的な内容とWebの開発に関する記事で、 いかにこの仕事が楽であるかを説明するものです。 Webの仕事って給料どれくらいなの？ 60～80万円です。 ただし、これはフリーの場合です。 フリーのエンジニアとは、個人事業主であり、普通…

2次元調和振動子 2次元調和振動子の時のラグランジアンは、以下のようになります。方向のE-L eq.を計算します。方向のE-L eq. も同様に、以下のようになります。 2次元中心力ポテンシャル 半径に比例するようなポテンシャルを持つシステムがあるとします。 …

例: 1次元自由粒子 自由粒子とは何の力が加えられていないという意味です。 すなわちポテンシャルはです。この時のラグランジアンはとなります。E-L eq.はとなり、等速直線運動を表します。 例: 単振動 図1 このとき、運動エネルギーはであり、ポテンシャル…

大局的な見方と座標に依らない物理 大局的な見方の例として、距離を最小にするとか、掛かる時間が最小にする例を見ました。 これを幾何学(図形的)的な見方とも言いました。図形的な見方をすると、座標に依らない物理が出てきます。物理現象、例えば、斜方投…

なぜ学ぶのか 力学という名前がついている通り、元々は力学から出発しています。 それで、解析力学は何かというと、 力学の再定式化といって、ニュートン力学の運動方程式をもう回数学的にメタな観点から、 構成したものです。 これは力学にとどまりません。…

問題 とを使って、フィッシャーの判別規準がの形で書けることを示せ。 参照 解答 式を用いて、を求めます。式を用いて、を求めます。式を用いて、を求めます。式を式に代入します。式より、式が示せました。

問題 の定義と確率の乗法定理から、を証明せよ。 参照 解答 を計算します。式より、以下が成り立ちます。式より、式が示せました。

問題 ガンマ関数はで定義される。 部分積分を使って関係式を証明せよ。 また、を示し、が整数ならとなることを示せ。 解答 を計算します。式より、を示せました。を計算します。式より、のときが成り立ちます。の時、が成り立つとすると、以下の式が成り立ち…

問題 が正規化されていれば密度も正規化されていることをと変数を変換することで示せ。 参照 解答 を計算します。式をと変数変換します。(が成り立ちます。)式より、が正規化されていれば密度も正規化されていることを示せました。

問題 の極限で分布がガウス分布になることを示せ。 ヒント：正規化係数を無視し、への依存性だけに注目する。 参照 解答 式で、に関する項を変形します。式で、テイラー展開より成り立つ式を用いました。式において、とします。式はのカーネル(分布の主要な…

問題 の積分を計算しになることを確かめよ。 参照 解答 を計算します。とおくと、以下が成り立ちます。式より、からへ変数変換します。式でガンマ関数の定義を用いました。とおくと、以下が成り立ちます。式を式へ代入します。式より、式が示せました。

問題 ダイバージェンスはで定義される。 カルバック-ライブラーダイバージェンスはこのときの場合に対応することを示せ。 これにはと書き、すればよい。 同様にして、はの場合に対応することを示せ。 参照 解答 まず、の場合を考えます。 を計算します。式に…

問題 制約を満たすようにラグランジュ乗数を利用し、 によって与えられるクラス分離規準をに関して最大化すればとなることを示せ。 参照 解答 の制約の下で、を最大化します。 この時、ラグランジュ関数は以下のようになります。をで微分して、とおきます。…

問題 ロジスティックシグモイド関数がを満たすことを示せ。 また、その逆関数がで与えられることを示せ。 参照 解答 を計算します。式より、が示せました。式をとおいて、について解きます。式より、以下の式が成り立ちます。式より、が示せました。 関連リ…

問題 ガンマ分布の平均がになるという標準的な結果、および、、、を用いて、 一変数ガウス分布の分解された変分近似の持つ精度の期待値の逆数についての結果を導け。 参照 解答 問題文にはありませんが、PRML下巻p186より、です。を計算します。を計算します…

問題 モデルの事後分布を変分推論を用いて近似する際の分解を導け。 参照 解答 式の右辺 を計算します。式より、式が示せました。

はじめに 本記事では、以下の式を使います。式については、こちらで解説しています。 また、1次元ガウス分布の平均と分散の事後分布の記事を読んでおくと、本記事の理解の助けになるかもしれません。 1変数ガウス分布 1変数についてのガウス分布を用いて、分…

問題 一変数ガウス分布の平均と精度を、分解した変分近似を用いて求める。 節の問題を考える。 このとき、因子はガウス分布となり、 この平均と精度はそれぞれとで与えられることを示せ。 同様にして因子はガンマ分布となり、 そのパラメータはとで与えられ…

問題 ディリクレ分布の下でのの期待値を、についての導関数として表すと、になることを示せ。 ただし、はで定義され、はディガンマ関数(digamma function)である。 参照 解答 を計算します。式で、以下の式を使いました。式で、ディレクレ分布が正規化されて…

問題 ガンマ関数の性質を用いて、のディリクレ分布の平均、分散、および共分散の結果を導出せよ。ただし、はで定義されている。 参照 解答 を計算します。ディリクレ分布は正規化されているので、式より、以下の式が成り立ちます。式の両辺にを加えることに…

問題 観測データの対数周辺尤度は、のように二つの項に分解できることを確かめよ。 ここで、は、はで与えられる。 参照 解答 を計算します。式より、式が示せました。

問題 個の異なる確率変数集合に対して個の異なる無向グラフが存在することを示せ。 の場合における個の可能なグラフをすべて描け。 解答 ノードは個あり、あるノードが選ばれたとして、そのノードとリンクで結ばれるノードは個あるので、リンクの数は個あり…

問題 混合ガウスモデルについて、各混合要素の共分散行列すべてが共通の値に制限された特別な場合を考える。 そのようなモデルにおいて、尤度関数を最大化するEM方程式を導け。 参照 解答 各混合要素の共分散行列すべてが共通の値に制限されることによって、…