点から動かしたときのの増加量は です。テイラーの定理よりとなります。の2次以上の項を無視すると、となります。ここで、以下のようにおきます。よりはの時に最大となり、 の時に最小となります。よって、勾配ベクトルと同じ方向へ点を動かすと関数値は最も…

本記事のアルゴリズムの記事はこちらです。目標分布を以下のベータ分布とします。正規化項は除きます。提案分布は一様分布とします。とします。 この時、を満たしています。 ############################### # 棄却サンプリング ##########################…

本記事のPythonによる実装記事はこちらです。サンプリングする分布(事後分布)をを目標分布と言います。を満たす提案分布を選びます。 ただし、は乱数発生が容易な分布を選択する必要があります。以下の1～3を繰り返すことによりサンプリングします。1: に従…

本記事のアルゴリズムの記事はこちらです。アルゴリズムが単純なので、ソースを貼り付けるだけにします。 ############################### # モンテカルロ法 ############################### import numpy as np import matplotlib.pyplot as plt # 乱数を…

モンテカルロ法 本記事のPythonによる実装記事はこちらです。を数値的計算により求めてみましょう。以下の手順で求めます。 からまで一様乱数を使って点を発生させます。 その点が中心が原点で半径１の円の内部あるか判定します。点を100個発生させてみまし…

ウッドベリーの公式 ウッドベリーの公式は逆行列を求めることのできるとても便利な公式です。で が存在するとき、以下が成り立ちます。以下証明です。 偉人の名言 「これをやりにおれは生まれてきた」と思えることだけを考えていればよい。 ヘミングウェイ …

ベイズモデル比較 本記事では、ベイズの立場からモデル比較の問題を考えます。個のモデルを比較する場合を考えます。 観測されたデータをとします。 モデルの不確かさは、事前確率分布で表します。 この時、モデルの事後分布はとなります。簡単のため、すべ…