マルコフ連鎖の基本とコルモゴロフ方程式

上の式は，$X_{t+1}$ が $X_t$ のみに依存する（$X_{t-1}$ 以前には依存しない）ことを表しています。

例えば，$t$ 日目の天気を $X_t$ とし，以下の2つが成立するとしましょう。

• $X_t$ によって $X_{t+1}$ の傾向が決まる
  （例. 今日晴れたら明日も晴れやすい）

• $X_{t-1}$ 以前は $X_{t+1}$ に影響しない
  （2日前の天気は関係ない）

このとき，$\{X_t\}$ はマルコフ連鎖になります。

マルコフ連鎖に関する基本的な用語を整理しました。

$X_t$ がとりうる値の集合のことを状態空間と言うことがあります。例えば，天気の例だと状態空間は $S=\{$ 晴れ，曇，雨 $\}$ と考えることができます。晴れ，曇，雨の各状態をそれぞれ $1,2,3$ で表すと便利です。このとき $S=\{1,2,3\}$ と書けます。

また，$P(X_{t+1}\mid X_t)$ のことを 遷移確率（推移確率）と言うことがあります。例えば「今日曇りだと確率 $0.4$ で明日晴れになる」場合，遷移確率は $P(X_{t+1}=晴れ\mid X_t=曇)=0.4$ となります。

また，状態空間を頂点で表し，遷移確率を枝で表した図のようなグラフを状態遷移図と言うことがあります。確率はかなり適当ですがマルコフ連鎖の理解には役立ちます。

注：この記事では時間的に均一（遷移確率が時刻によらない）なマルコフ連鎖を考えています。

マルコフ連鎖において，遷移確率を並べた行列を考えてみましょう。

すなわち，$ij$ 成分に「 $i$ から $j$ に遷移する確率」を入れたものを推移確率行列（または遷移確率行列，遷移行列）と言います。例えば，上のマルコフ連鎖の例では推移確率行列 $P$ は以下のようになります：

$P=\begin{pmatrix} 0.7 &0.3& 0\\0.4 & 0.4 & 0.2\\ 0.3 & 0.3 & 0.4\end{pmatrix}$

確率が満たすべき性質より，以下が分かります：

• 推移確率行列の各要素は $0$ 以上 $1$ 以下である。
• 推移確率行列のどの行も，行和は $1$ である。

マルコフ連鎖の推移確率行列について「推移確率行列の $n$ 乗」と「$n$ 回の遷移の確率」が対応するという性質が成り立ちます。

もう少しきちんと書いてみます。$n$ 時刻経過に対する推移確率行列を $P^{(n)}$ と書くことにします。つまり，$P(X_{t+n}=j\mid X_t=i)$ を $ij$ 成分に持つ行列を $P^{(n)}$ とします。

すると，$P^{(n)}=P^n$ が成立します（右辺は推移確率行列の $n$ 乗）。

上記の定理より，$P^{(n+m)}=P^{(n)}P^{(m)}$ が成立します（$n$ 時刻ぶんの遷移の様子 $P^{(n)}$ と $m$ 時刻ぶんの遷移の様子 $P^{(m)}$ が分かれば $n+m$ 時刻ぶんの遷移の様子 $P^{(n+m)}$ も分かる）。この等式をチャップマン–コルモゴロフ方程式と言います。

この記事ではマルコフ連鎖について紹介しましたが，一般に，未来の状態（の確率）が過去の状態によらず現在の状態のみで決まるような確率過程のことをマルコフ過程と言います。

特に，確率変数がとりうる値の集合（状態空間）が離散的なマルコフ過程のことをマルコフ連鎖と言います。

Tag:数学的モデリングまとめ