PRML演習問題 2.5(標準) www - 機械学習基礎理論独習

問題

この演習問題では.、 $(2.13)$ のベータ分布が、 $(2.14)$ が成立するように正しく正規化されていることを証明する。
これは

$\begin{eqnarray} \int_0^1\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\tag{2.265} \end{eqnarray}$

を示すことと等価である。
ガンマ関数の定義 $(1.141)$ より

$\begin{eqnarray} \Gamma(a)\Gamma(b)=\int_0^\infty\exp(-x)x^{a-1}{\rm d}x\int_0^\infty\exp(-y)y^{b-1}{\rm d}y\tag{2.266} \end{eqnarray}$

を得る。
この式を用いて、次のようにして $(2.265)$ を証明せよ。
まず、 $y$ についての積分を、 $x$ についての積分の被積分関数の中に移す。
次に、 $x$ を固定して $t=y+x$ と置換し、 $x$ と $t$ の積分の順序を交換する。
最後に、 $t$ を固定して $x=t\mu$ と置換する。

参照

$\begin{eqnarray} \Gamma(x)\equiv\int_0^\infty u^{x-1}e^{-u}{\rm d}u\tag{1.141} \end{eqnarray}$

$\begin{eqnarray} {\rm Beta}(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}\tag{2.13} \end{eqnarray}$

$\begin{eqnarray} \int_0^1{\rm Beta}(\mu|a,b){\rm d}\mu=1\tag{2.14} \end{eqnarray}$

解答

式 $(2.266)$ において、 $y$ についての積分を、 $x$ についての積分の被積分関数の中に移します。

$\begin{eqnarray} \Gamma(a)\Gamma(b)&=&\int_0^\infty\exp(-x)x^{a-1}{\rm d}x\int_0^\infty\exp(-y)y^{b-1}{\rm d}y\\ &=&\int_0^\infty\int_0^\infty\exp(-x-y)x^{a-1}y^{b-1}{\rm d}y{\rm d}x\tag{1} \end{eqnarray}$

$t=y+x$ と変数変換すると、式 $(1)$ は次のようになります。
(この時、 ${\rm d}t={\rm d}y$ で、積分範囲は $[0,\infty)$ から $[x,\infty)$ へ変わります。)

$\begin{eqnarray} \Gamma(a)\Gamma(b)&=&\int_0^\infty\int_x^\infty\exp(-t)x^{a-1}(t-x)^{b-1}{\rm d}t{\rm d}x\tag{2} \end{eqnarray}$

$x$ と $t$ の積分の順序を交換します。
順序交換前の先に $t$ を積分して、次に $x$ を積分する場合、 $t$ の積分範囲は $[x,\infty]$ で、 $x$ の積分範囲は $[0,\infty]$ です。
順序交換後の先に $x$ を積分して、次に $y$ を積分する場合、 $x$ の積分範囲は $[0,t]$ で、 $x$ の積分範囲は $[0,\infty]$ です。
積分の順序交換のイメージを下図に記しました。
薄青色で塗りつぶしているのが積分範囲で、
緑矢印は順序交換前の $x$ を $\hat{x}$ に固定したときの $t$ の積分を、
赤矢印は順序交換後の $t$ を $\hat{t}$ に固定したときの $x$ の積分をイメージしたものです。

図1
f:id:olj611:20210930213007p:plain:w300

積分の順序交換の結果、式 $(2)$ は以下のようになります。

$\begin{eqnarray} \Gamma(a)\Gamma(b)&=&\int_0^\infty\int_0^t\exp(-t)x^{a-1}(t-x)^{b-1}{\rm d}x{\rm d}t\tag{3} \end{eqnarray}$

$x=t\mu$ と変数変換すると、式 $(3)$ は次のようになります。
(この時、 ${\rm d}x=t{\rm d}\mu$ で、積分範囲は $[0,t]$ から $[0,1]$ へ変わります。)

$\begin{eqnarray} \Gamma(a)\Gamma(b)&=&\int_0^\infty\int_0^1\exp(-t)(\mu t)^{a-1}(t-\mu t)^{b-1}t{\rm d}\mu{\rm d}t\\ &=&\int_0^\infty\int_0^1\exp(-t)t^{a+b-1}\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu{\rm d}t\\ &=&\int_0^1\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu\cdot\int_0^\infty t^{a+b-1}\exp(-t){\rm d}t\\ &=&\int_0^1\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu\cdot\Gamma(a+b)\tag{4} \end{eqnarray}$

式 $(4)$ より、

$\begin{eqnarray} \int_0^1\mu^{a-1}(1-\mu)^{b-1}{\rm d}\mu=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\tag{5} \end{eqnarray}$

が成り立つので、式 $(2.265)$ が成り立つことが示せました。