マルコフ連鎖

時間とともに変化する確率変数のことを確率過程といいます。

時刻 $t(=1,\ldots,T)$ の時の確率変数を $X^{(t)}$ とすると、 $X^{(1)}\rightarrow X^{(2)}\rightarrow\cdots\rightarrow X^{(T)}$ のように変化します。

$X^{(t)}$ が従う確率分布は、 $p(x^{(t)}|X^{(t-1)},X^{(t-2)},\ldots,X^{(1)})$ です。

$X^{(t)}$ が $X^{(t-1)}$ のみから決まる時、この確率過程をマルコフ連鎖といいます。

$\begin{eqnarray} p(x^{(t)}|X^{(t-1)},X^{(t-2)},\ldots,X^{(1)})=p(x^{(t)}|X^{(t-1)})\tag{1} \end{eqnarray}$

遷移核

毎日、同じメニューでは飽きるので、ランチメニューの変更が表の遷移核に従っているとする。
初日のラーメン、カレー、焼きそばの確率が0.3,0.2,0.5のとき、
2日目、3日目のラーメン、カレー、焼きそばの確率を求めよ。

f:id:olj611:20210504120453p:plain:w500

$X^{(t)}(ラーメン)=1,X^{(t)}(カレー)=2,X^{(t)}(焼きそば)=3$ とおくと、
初日の確率は、 $p(X^{(1)}=1)=0.3,p(X^{(1)}=2)=0.2,p(X^{(1)}=3)=3$ であり、
まとめて ${\bf p}^1=(0.3,0.2,0.5)$ のように表現します。

2日目、3日目のラーメン、カレー、焼きそばの確率を求めることは、 ${\bf p}^2,{\bf p}^3$ を求めることと同じです。

全確率の公式を使って

$\begin{eqnarray} p(X^{(2)}=j)=\sum_{i=1}^3p(X^{(2)}=j|X^{(1)}=i)p(X^{(1)}=i)\tag{2} \end{eqnarray}$

と書けます。

$\begin{eqnarray} {\bf p}^2&=&\begin{pmatrix}0.3 & 0.2 & 0.5\end{pmatrix}\begin{pmatrix}0.2 & 0.2 & 0.6\\0.1 & 0.6 & 0.3\\0.3 & 0.5 & 0.2\end{pmatrix}\\ &=&\begin{pmatrix}0.23 & 0.43 & 0.34\end{pmatrix}\tag{3} \end{eqnarray}$

$\begin{eqnarray} {\bf p}^3&=&\begin{pmatrix}0.23 & 0.43 & 0.34\end{pmatrix}\begin{pmatrix}0.2 & 0.2 & 0.6\\0.1 & 0.6 & 0.3\\0.3 & 0.5 & 0.2\end{pmatrix}\\ &=&\begin{pmatrix}0.191 & 0.474 & 0.335\end{pmatrix}\tag{4} \end{eqnarray}$