問題 の結果を用いて、ベータ分布の平均、分散、およびモードがそれぞれになることを示せ。 参照 解答 平均を求めます。式より、式が示せました。を求めます。分散を求めます。式より、式が示せました。をで微分して、とおきます。式より、式が示せました。

問題 この演習問題では.、のベータ分布が、が成立するように正しく正規化されていることを証明する。 これはを示すことと等価である。 ガンマ関数の定義よりを得る。 この式を用いて、次のようにしてを証明せよ。 まず、についての積分を、についての積分の…

問題 この演習問題では、二項分布が正規化されていることを説明する。 まず、全部で個ある対象から個の同じものを選ぶ組み合わせの数の定義を用いて、を示せ。 この結果を用い、帰納法で次の結果を証明せよ。これは、二項定理(binomial theorem)として知られ…

問題 連続変数上で定義された確率密度を考える。 により非線形変換を施すと密度はの変換を受ける。 を微分して、に関する密度を最大にする位置とに関する密度を最大にする位置とが、 ヤコビ因子の影響により一般には単純なという関係にないことを示せ。 これ…

問題 対数尤度関数のとに関する微分をとおいて、とを確かめよ。 参照 解答 式のに関する微分をとします。式より、式が示せました。式のに関する微分をとします。式において、とおくと、式が示せます。

問題 2変数が統計的に独立であるとする。それらの和の平均と分散がを満たすことを示せ。 解答 を計算します。式より、式が示せました。を計算します。式より、式が示せました。

問題 ガウス分布のモード(つまり分布が最大となるの値)がで与えられることを示せ。 同様に、多変量ガウス分布のモードはで与えられることを示せ。 参照 解答 式をで微分します。式でとします。式より、1変数ガウス分布のモードがで与えられることが示せまし…

問題 変数変換を使って変数ガウス分布がを満たすことを確かめよ。 次に、規格化条件の両辺をに関して微分し、ガウス分布がを満たすことを確かめよ。 最後にが成り立つことを示せ。 参照 解答 式を式に代入します。式にの変数変換を行います。式ではが奇関数…

問題 この演習問題では.、変数ガウス分布に関する規格化条件を証明するこのために、積分を考え、その乗をの形で書いて評価する直交座標系から極座標に変換し、を代入する。 とに関する積分を実行し、両辺の平方根を取ることにより、が得られることを示せ。 …

問題 固有ベクトルの方程式についてが成立する実対称行列は、 固有値を係数とする固有ベクトルで展開した、の形で表せることを示せ。 同様に逆行列はの形で表現できることを示せ。 参照 解答 直交行列を以下のように定義します。対象行列を以下のように定義…

問題 対数尤度関数とその下界(ただし)は、 点において同じ勾配を持つことを示せ。 参照 解答 問題文より、なので、この時であり、 式より、以下の式が成り立ちます。式の両辺をで微分して、とします。式より、題意が示せました。

問題 を示せ。 ただし、とはそれぞれとで定義されている。 参照 解答 との差を計算します。式より、式を示せました。 関連リンク 一般のEMアルゴリズム

問題 混合ベルヌーイ分布についての期待完全データ対数尤度関数をラグランジュ未定乗数法を用いて 混合係数の総和を一定に保ちつつについて最大化すると、Mステップ方程式が得られることを示せ。 参照 解答 を以下のようにおきます。の制約の下で最大化しま…

問題 混合ベルヌーイ分布についての期待完全データ対数尤度関数をについて最大化すると、 Mステップ方程式が得られることを示せ。 参照 解答 を以下のようにおきます。をで微分してとおきます。式でとおきました。 また、とおくことにより、次の更新式が得ら…

問題 との積でベルヌーイ分布の潜在変数と観測変数の同時分布を構成しよう。 この同時分布をについて周辺化するとが得られることを示せ。 参照 解答 同時分布は、以下のようになります。式をについて周辺化します。式より、式が示せました。 関連リンク 混合…

問題 図に示される形のノードのグラフを考える。 ただしおよびは観測されているとする。 有向分離性を使ってを示せ。 節のメッセージパッシングアルゴリズムをの計算に用いたとき、結果がの値に依存しないことを示せ。 参照 図 解答 図に示される形のノード…

問題 ガウス出力密度をもつ隠れマルコフモデルを考える。 ガウス分布の平均と共分散のパラメータについての関数 の最大化が、 ステップの方程式 と を導くことを示せ。 参照 解答 のに関する最大化は、のみについて行います。(他の項は無視します。)式を示し…

問題 隠れマルコフモデルので定義される同時分布が条件付き独立性-を満たすことを、 有向分離の規準を用いて確かめよ。 参照 解答 式の証明 のどれかからのどれかへの経路は、すべてを通り、 そこでhead-to-tailで観測されていると仮定されているため、 であ…

問題 隠れマルコフモデルの初期状態確率と遷移確率のパラメータについてのステップの方程式とを、 完全データに対する対数尤度関数の期待値を最大化することにより確かめよ。 その際、適当なラグランジュ乗数を用いてとの成分に対する和の制約を与えること。…

はじめに 本記事では、モデルパラメータは一定なので、依存性は明記しません。 本記事は、フォワード-バックワードアルゴリズム(α-βアルゴリズム)の続きの記事です。 -アルゴリズムの数値計算時の問題点 の再帰式は以下でした。再帰式を見ると、お各々のステ…

はじめに 本記事では、モデルパラメータは一定なので、依存性は明記しません。 本記事は、隠れマルコフモデルの最尤推定の続きの記事であり、 HMMの最尤推定のEMアルゴリズムにおけるEステップのとを求めるのが主目的となります。 フォワード-バックワードア…

はじめに 本記事は、隠れマルコフモデルの記事の続きです。 登場する変数、定数などのまとめ 隠れマルコフモデルに登場する変数、定数をまとめておきます。 : 観測変数の次元 : 観測変数の数 : 潜在変数の次元 : 観測変数 : 観測変数の集合 : 潜在変数 () : …

はじめに 本記事は、マルコフモデルと状態空間モデルの記事の続きです。 本記事では、隠れマルコフモデルについて説明していきます。 隠れマルコフモデルとは、以下の状態空間モデルにおいて、潜在変数が離散変数であるモデルでした。図1 このモデルの同時分…

マルコフモデル 系列データが与えられているとします。 このような系列データを扱う確率モデルとして、マルコフモデルを考えます。 マルコフモデルは以下の式で表せます。 一次マルコフ連鎖 式の右辺の条件付分布のもの者が最も近い観測値以外の全ての過去の…

問題 図の有向グラフに対応する同時確率分布について考えよう。 確率の加法・乗法定理を用い、この同時確率が、 について条件付き独立性を満たすことを示せ。 同様に、同時分布によって記述される二次マルコフモデルが、 について以下の条件付き独立性を満た…

問題 節で議論した有向分離のテクニックを使って、 図に示す全部で個のノードをもつマルコフモデルが、 について条件付き独立性を満たすことを示せ。 同様に、図のグラフで記述される全部で個のノードをもつモデルが、 について以下の条件付き独立性を満たす…

はじめに が多重で出てくると、一瞬わからなくなることはありませんか？ 私は、混乱してしまうことがあるので、ちょっとまとめてみます。 のとき、 私はこのパターンが一瞬「うっ」ってなってしまいましたので、書きます。 の場合で説明します。式でをの外に…

問題 つの変数が独立なら、それらの共分散はになることを示せ。 参照 解答 題意を示すには、を示せばよいです。 を計算します。わかりやすくするため、の表記を用いることにします。式は、が独立であることを利用しています。式を式へ代入します。式より題意…

問題 の定義を使ってがを満たすことを示せ。 参照 解答 式を変形して、式を導きます。式より、題意が示せました。 関連リンク PRML演習問題 1.6(基本)

問題 イェンセンの不等式をに適用し実数集合の算術予均が、 幾何平均より決して小さくならないことを示せ。 参照 解答 式において、を考えます。 この時は上に凸の関数であるので、式の不等号の向きは逆になり、以下の式が成り立ちます。式をの右肩に乗せて…