棄却サンプリング

本記事のPythonによる実装記事はこちらです。

サンプリングする分布(事後分布)を $p(x)$ を目標分布と言います。

$kq(x)\geq p(x)$ を満たす提案分布 $q(x)$ を選びます。
ただし、 $q(x)$ は乱数発生が容易な分布を選択する必要があります。

以下の1～3を繰り返すことによりサンプリングします。

1: $q(x)$ に従う乱数 $x'$ を発生する
2: $[0, \ kq(x)]$ の一様分布に従う乱数 $y'$ を発生する
3: $y'\leq p(x')$ なら $x'$ を採用、そうでないなら棄却する

イメージは以下です。
青線が目標分布、オレンジ色の線が提案分布です。
$x'$ が点線で、赤丸が採用される場合、青×が棄却される場合です。

f:id:olj611:20210408152854p:plain:w400

f:id:olj611:20210408154659p:plain:w300
貴方の遊びに言い訳はいらない。
言い訳を決して言うな。
シェイクスピア

機械学習基礎理論独習