マルコフ連鎖：「未来は現在だけで決まる」状態遷移の数学と確率モデル

はじめに

私たちの生きる世界には、不確実性が満ち溢れています。明日の天気、株価の変動、インターネット上のページ遷移など、予測が難しい現象は数多く存在します。このような不確実な現象を数学的にモデル化する強力なツールが マルコフ連鎖 （Markov chain）です。

マルコフ連鎖の最大の特徴は、「未来の状態は、過去の履歴に依存せず、現在の状態のみによって決まる」という マルコフ性 （Markov property）を持っていることです。本記事では、この魅力的な数学的モデルの基礎から、具体的な計算手法、そして実社会での応用までを詳しく解説します。

マルコフ性とは何か？

確率過程において、ある時刻 $t$ における状態が $X_t$ で表されるとします。離散時間モデルを考える場合、マルコフ性は以下の数式で定義されます。

$$ P(X_{n+1} = x_{n+1} \mid X_n = x_n, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) = P(X_{n+1} = x_{n+1} \mid X_n = x_n) $$

この式は、時間 $n+1$ で状態 $x_{n+1}$ になる確率は、時間 $n$ での状態 $x_n$ さえ分かっていれば計算可能であり、それ以前の状態（ $x_{n-1}, \dots, x_0$ ）の情報は不要であることを示しています。これが「未来は現在だけで決まる」という言葉の意味です。

推移確率行列（状態遷移行列）

マルコフ連鎖を記述する上で欠かせないのが 推移確率行列 （Transition Probability Matrix）です。状態空間が有限である場合、ある状態 $i$ から状態 $j$ へ遷移する確率を $p_{ij}$ とすると、行列 $P$ は次のように表されます。

$$ P = \begin{pmatrix} p_{11} & p_{12} & \cdots & p_{1k} \\ p_{21} & p_{22} & \cdots & p_{2k} \\ \vdots & \vdots & \ddots & \vdots \\ p_{k1} & p_{k2} & \cdots & p_{kk} \end{pmatrix} $$

ここで、各行の和は必ず $1$ になります。

$$ \sum_{j=1}^{k} p_{ij} = 1 \quad \text{(すべての } i \text{ について)} $$

具体例：天気予報モデル

簡単な例として、ある街の天気を考えます。状態は「晴れ」と「雨」の2つのみとします。

今日が晴れの場合、明日も晴れる確率は 0.7、雨になる確率は 0.3
今日が雨の場合、明日晴れる確率は 0.4、雨になる確率は 0.6

このモデルを推移確率行列 $P$ で表すと以下のようになります。

$$ P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} $$

この状態遷移を Mermaid グラフで視覚化してみましょう。

  graph TD
  A["晴れ"] -->|"0.7"| A
  A -->|"0.3"| B["雨"]
  B -->|"0.4"| A
  B -->|"0.6"| B

定常分布：長期的な振る舞い

マルコフ連鎖を長期間（ $n \to \infty$ ）観測した場合、状態の確率分布はどうなるでしょうか？多くのマルコフ連鎖では、初期状態にかかわらず特定の確率分布に収束します。これを 定常分布 （Stationary distribution）と呼びます。

確率ベクトルを $\pi$ としたとき、定常分布は次の方程式を満たします。

$$ \pi P = \pi $$

条件として、 $\sum \pi_i = 1$ が必要です。

先ほどの天気の例で定常分布 $\pi = (\pi_{\text{晴れ}}, \pi_{\text{雨}})$ を計算してみます。

$$ \begin{pmatrix} \pi_{\text{晴れ}} & \pi_{\text{雨}} \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} = \begin{pmatrix} \pi_{\text{晴れ}} & \pi_{\text{雨}} \end{pmatrix} $$

連立方程式を解くと以下のようになります。