ベイジアンネットワーク - 機械学習基礎理論独習

ベイジアンネットワークとは

ベイジアンネットワーク(有向グラフィカルモデル)は、
確率モデル上に存在する複数の変数の関係性をノードと矢印(有向リンク)を表現する記法です。
ここでは、有向非循環グラフ(DAG)と呼ばれる有向閉路を持たない有向グラフ(矢印付きのグラフ)について説明します。
有向閉路とは、
あるノードから出発して、矢印に従って進んだ後、また初めのノードに戻ってくるような閉じた経路のことです。

ベイジアンネットワークの例

例えば、以下の式があるとします。

$\begin{eqnarray} p(a,b)=p(a|b)p(b)\tag{1} \end{eqnarray}$

式 $(1)$ に対応するグラフィカルモデルは、以下の図1です。
図1
f:id:olj611:20210929212417p:plain:w150

次の例です。

$\begin{eqnarray} p(a,b,c)=p(a)p(b)p(c|a,b)\tag{2} \end{eqnarray}$

式 $(2)$ に対応するグラフィカルモデルは、以下の図2です。
図2
f:id:olj611:20210929212452p:plain:w200

2つの例から分かるように、同時確率をベイジアンネットワークによって表現できます。
確率変数をノード二割当たっているのが分かります。
条件付き確率ですが、矢印の尾に該当するノードが条件となります。

ノードには親子の概念があり、図2でいうと、 $a,b$ は $c$ の親ノードといい、 $c$ は $a,b$ の子ノードといいます。

定数とプレートと塗りつぶし

定数は小さい丸で塗りつぶされで表現されます。(図6参照)
観測済みのノードは塗りつぶされて表現されます。(図6参照)
プレートを使うと複数のリンクやノードをまとめて書くことができます。
以下の図3がプレートを使わないグラフで、図4がプレートを使ったグラフです。
図3
f:id:olj611:20210930013710p:plain:w300

図4
f:id:olj611:20210930013728p:plain:w250

全結合

次の式のグラフは、すべてのノードに対してリンクを持つので全結合といいます。

$\begin{eqnarray} p(x_1,\ldots,x_K)=p(x_K|x_1,\ldots,x_{K-1})\cdots p(x_2|x_1)p(x_1)\tag{3} \end{eqnarray}$

$K=4$ のベイジアンネットワークは以下の図5のようになります。
図5
f:id:olj611:20210930013051p:plain:w300

有向分解 - 有向グラフと分布の一般的な関係

グラフによって定義される同時分布は、グラフ上で親に対応する変数によって条件づけられた、
各ノード変数上の条件付分布の積で与えられます。
よって、 $K$ 個のノードを持つグラフに対応する同時分布は

$\begin{eqnarray} p({\bf x})=\prod_{k=1}^Kp(x_k|pa_k)\tag{4} \end{eqnarray}$

で与えられます。
ここで、 $pa_k$ は $x_k$ の親ノードの集合を表し、 ${\bf x}=\{x_1,\ldots,x_K\}$ です。
有向グラフから、式 $(4)$ のように因数分解することを有向分解といいます。

ベイズ線形回帰 - 予測分布を使った例

ベイズ線形回帰 - 予測分布の記事で新しい $\hat{x}$ に対する予測値 $\hat{t}$ に対する分布を求めました。
この時の同時分布は、以下の式で表されました。(変数の説明はしません。)

$\begin{eqnarray} p(\hat{t},{\bf t},{\bf w}|\hat{x},{\bf x},\alpha,\sigma^2)=\left(\prod_{n=1}^Np(t_n|x_n,{\bf w},\sigma^2)\right)p({\bf w}|\alpha)p(\hat{t}|\hat{x},{\bf w},\sigma^2)\tag{5} \end{eqnarray}$

式 $(5)$ に対応するグラフは以下のようになります。
図6
f:id:olj611:20210929215835p:plain:w300

$\hat{x},{x}_n,\alpha,\sigma^2$ は定数ですので、小さい赤丸で塗りつぶされています。
$t_n$ は観測された確率変数なので、青色で塗りつぶされています。
${\bf w},\hat{t}$ は観測されていない(観測されるはずがない)確率変数なので、塗りつぶされていません。

このように、グラフで考えると式の見通しがよくなり、条件付き確率も分かりやすいです。

偉人の名言

f:id:olj611:20210930015038p:plain:h300
夢を叶えるコツは狂ったように欲しがること。
山本寛斎

参考文献

パターン認識と機械学習下巻 p71-p81
ベイズ推論による機械学習入門 p23-p24

動画

なし