機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

ベイジアンネットワーク

ベイジアンネットワークとは

ベイジアンネットワーク(有向グラフィカルモデル)は、
確率モデル上に存在する複数の変数の関係性をノードと矢印(有向リンク)を表現する記法です。
ここでは、有向非循環グラフ(DAG)と呼ばれる有向閉路を持たない有向グラフ(矢印付きのグラフ)について説明します。
有向閉路とは、
あるノードから出発して、矢印に従って進んだ後、また初めのノードに戻ってくるような閉じた経路のことです。

ベイジアンネットワークの例

例えば、以下の式があるとします。

\begin{eqnarray}
p(a,b)=p(a|b)p(b)\tag{1}
\end{eqnarray}

(1)に対応するグラフィカルモデルは、以下の図1です。
図1
f:id:olj611:20210929212417p:plain:w150

次の例です。

\begin{eqnarray}
p(a,b,c)=p(a)p(b)p(c|a,b)\tag{2}
\end{eqnarray}

(2)に対応するグラフィカルモデルは、以下の図2です。
図2
f:id:olj611:20210929212452p:plain:w200

2つの例から分かるように、同時確率をベイジアンネットワークによって表現できます。
確率変数をノード二割当たっているのが分かります。
条件付き確率ですが、矢印の尾に該当するノードが条件となります。

ノードには親子の概念があり、図2でいうと、a,bcの親ノードといい、ca,bの子ノードといいます。

定数とプレートと塗りつぶし

定数は小さい丸で塗りつぶされで表現されます。(図6参照)
観測済みのノードは塗りつぶされて表現されます。(図6参照)
プレートを使うと複数のリンクやノードをまとめて書くことができます。
以下の図3がプレートを使わないグラフで、図4がプレートを使ったグラフです。
図3
f:id:olj611:20210930013710p:plain:w300

図4
f:id:olj611:20210930013728p:plain:w250

全結合

次の式のグラフは、すべてのノードに対してリンクを持つので全結合といいます。

\begin{eqnarray}
p(x_1,\ldots,x_K)=p(x_K|x_1,\ldots,x_{K-1})\cdots p(x_2|x_1)p(x_1)\tag{3}
\end{eqnarray}

K=4ベイジアンネットワークは以下の図5のようになります。
図5
f:id:olj611:20210930013051p:plain:w300

有向分解 - 有向グラフと分布の一般的な関係

グラフによって定義される同時分布は、グラフ上で親に対応する変数によって条件づけられた、
各ノード変数上の条件付分布の積で与えられます。
よって、K個のノードを持つグラフに対応する同時分布は

\begin{eqnarray}
p({\bf x})=\prod_{k=1}^Kp(x_k|pa_k)\tag{4}
\end{eqnarray}

で与えられます。
ここで、pa_kx_kの親ノードの集合を表し、{\bf x}=\{x_1,\ldots,x_K\}です。
有向グラフから、式(4)のように因数分解することを有向分解といいます。

ベイズ線形回帰 - 予測分布を使った例

ベイズ線形回帰 - 予測分布の記事で新しい\hat{x}に対する予測値\hat{t}に対する分布を求めました。
この時の同時分布は、以下の式で表されました。(変数の説明はしません。)

\begin{eqnarray}
p(\hat{t},{\bf t},{\bf w}|\hat{x},{\bf x},\alpha,\sigma^2)=\left(\prod_{n=1}^Np(t_n|x_n,{\bf w},\sigma^2)\right)p({\bf w}|\alpha)p(\hat{t}|\hat{x},{\bf w},\sigma^2)\tag{5}
\end{eqnarray}
(5)に対応するグラフは以下のようになります。
図6
f:id:olj611:20210929215835p:plain:w300
\hat{x},{x}_n,\alpha,\sigma^2は定数ですので、小さい赤丸で塗りつぶされています。
t_nは観測された確率変数なので、青色で塗りつぶされています。
{\bf w},\hat{t}は観測されていない(観測されるはずがない)確率変数なので、塗りつぶされていません。

このように、グラフで考えると式の見通しがよくなり、条件付き確率も分かりやすいです。

偉人の名言

f:id:olj611:20210930015038p:plain:h300
夢を叶えるコツは狂ったように欲しがること。
山本 寛斎

参考文献

パターン認識機械学習 下巻 p71-p81
ベイズ推論による機械学習入門 p23-p24

動画

なし

目次へ戻る