スライスサンプリング - 機械学習基礎理論独習

スライスサンプリングは、分布の特徴に合わせて自動的に調整される適応的になステップサイズを利用する手法です。

MH法の難点の一つはステップサイズに対して敏感であることです。
ステップサイズが小さすぎれば、サンプル点の移動が遅くなり、それに伴って定常分布への収束も遅くなり、
逆にステップサイズが大きすぎると、提案されたサンプル点が棄却される可能性が高まり、こちらも定常分布への収束が遅れます。

一方でスライスサンプリングは上記のようなパラメータ設定が不要であり、
また提案分布も必要もないことから、実装は非常に単純であり、適用範囲も広いです。

スライスサンプリングでは、目標分布 $f(\theta)$ に関して、補助変数 $u$ を導入し、同時分布 $f(\theta,u)$ からサンプリングを行います。
目標分布 $f(\theta)$ はカーネル $\pi(\theta)$ が容易に計算できるものとします $(f(\theta)\propto\pi(\theta))$ 。
この同時分布 $f(\theta,u)$ は

$\begin{eqnarray} f(\theta,u)= \left\{ \begin{array}{l} 1 / Z_p \hspace{20px} 0\leq u \leq \pi(\theta)の場合\\ 0 \hspace{50px}それ以外の場合 \end{array}\tag{1} \right. \end{eqnarray}$

であり、 $Z_p=\int\pi(\theta){\rm d}\theta$ です。
$f(\theta,u)$ の $\theta$ に関する周辺分布は、

$\begin{eqnarray} \int f(\theta,u){\rm d}u&=&\int_0^{\pi(\theta)}\frac{1}{Z_p}{\rm d}u\\ &=&\frac{\pi(\theta)}{Z_p}\\ &=&f(\theta)\tag{2} \end{eqnarray}$

となります。

つまり、同時分布 $f(\theta,u)$ からサンプリングを行い、 $u$ の値を無視することで、
$\theta$ からのサンプリングを行うことができます。

アルゴリズム

1. 一様分布から補助変数 $u$ をサンプリングし $(p(u|\theta)\sim U(0,\pi(\theta^{(t)})))$ 、スライスを定義します $(S=\{\theta:u\leq\pi(\theta)\})$ 。
2. $\theta^{(t)}$ を含む領域 $I=(L,R)$ を見つけます。
3. 領域 $I$ から一様に候補点 $\theta^{(t+1)}$ をサンプリングします。

f:id:olj611:20210415155416p:plain

スライスサンプリングにおいて、 $\theta^{(t)}$ を含む領域 $I=(L,R)$ を決定する方法として、
stepping-out法とdoubling法を紹介します。

stepping-out法

stepping-out法は幅 $w$ を設定し、現在の点 $\theta^{(t)}$ を含む区間を拡張して領域 $I=(L,R)$ を決定する方法です。

まず、現在の点 $\theta$ の周りで幅 $w$ で区間を設定します。
その際、区間 $(0,1)$ の一様乱数 $z$ を発生させ、区間の下限 $L$ を $L=\theta^{(t)}-w\times z$ とし、区間の上限 $R$ を $R=L+w$ とします。
次に、幅 $w$ で下限 $L$ と上限 $R$ を拡張します。両端がスライス $S$ の外側に出るまで、幅 $w$ の拡張を繰り返します。

下図は、下限は1回の拡張で $L$ がスライスの外に出ており、上限は2回の拡張でスライスの外に出ています。

f:id:olj611:20210415155428p:plain

doubling法

doubling法は、幅 $w$ を設定し、現在の点 $\theta^{(t)}$ を含む区間を倍に増やすことで領域 $I=(L,R)$ を決定する方法です。

まず、現在の点 $\theta$ の周りで幅 $w$ で区間を設定します。
その際、区間 $(0,1)$ の一様乱数 $z$ を発生させ、区間の下限 $L$ を $L=\theta^{(t)}-w\times z$ とし、区間の上限 $R$ を $R=L+w$ とします。
次に、拡張する方向をランダムに決めます。そして、拡張する方向に、領域の幅が現在の幅の2倍になるように区間を拡張します。