马尔可夫链：'未来仅取决于现在' 状态转移的数学与概率模型

引言

我们生活的世界充满了不确定性。明天的天气、股票价格的波动、互联网上的页面跳转等，存在许多难以预测的现象。用于在数学上对这些不确定现象进行建模的强大工具就是 马尔可夫链 （Markov chain）。

马尔可夫链最大的特点在于它具有 马尔可夫性 （Markov property），即“未来的状态不依赖于过去的完整历史，而仅由当前状态决定”。在本文中，我们将详细解释这一迷人数理模型的基础知识、具体的计算方法，以及其在现实社会中的应用。

什么是马尔可夫性？

在随机过程中，假设某一时刻 $t$ 的状态表示为 $X_t$。在考虑离散时间模型时，马尔可夫性由以下数学公式定义：

$$ P(X_{n+1} = x_{n+1} \mid X_n = x_n, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) = P(X_{n+1} = x_{n+1} \mid X_n = x_n) $$

该公式表明，只要已知时间 $n$ 的状态 $x_n$，就可以计算出时间 $n+1$ 变为状态 $x_{n+1}$ 的概率，而不需要之前状态（ $x_{n-1}, \dots, x_0$ ）的信息。这就是“未来仅取决于现在”这句话的含义。

转移概率矩阵

描述马尔可夫链不可或缺的是 转移概率矩阵 （Transition Probability Matrix）。当状态空间有限时，假设从状态 $i$ 转移到状态 $j$ 的概率为 $p_{ij}$，则矩阵 $P$ 表示如下：

$$ P = \begin{pmatrix} p_{11} & p_{12} & \cdots & p_{1k} \\ p_{21} & p_{22} & \cdots & p_{2k} \\ \vdots & \vdots & \ddots & \vdots \\ p_{k1} & p_{k2} & \cdots & p_{kk} \end{pmatrix} $$

在这里，每一行的和必定为 $1$。

$$ \sum_{j=1}^{k} p_{ij} = 1 \quad \text{(对于所有的 } i \text{)} $$

具体例子：天气预报模型

作为一个简单的例子，我们来考虑某个城市的天气。假设只有“晴天”和“雨天”两个状态。

如果今天是晴天，明天是晴天的概率为 0.7，雨天的概率为 0.3
如果今天是雨天，明天是晴天的概率为 0.4，雨天的概率为 0.6

用转移概率矩阵 $P$ 表示这个模型如下：

$$ P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} $$

让我们用 Mermaid 图表将这种状态转移可视化。

  graph TD
  A["晴天"] -->|"0.7"| A
  A -->|"0.3"| B["雨天"]
  B -->|"0.4"| A
  B -->|"0.6"| B

平稳分布：长期行为

如果长期观察（ $n \to \infty$ ）一个马尔可夫链，状态的概率分布会变成什么样呢？在许多马尔可夫链中，无论初始状态如何，都会收敛到一个特定的概率分布。这被称为 平稳分布 （Stationary distribution）。

假设概率向量为 $\pi$，平稳分布满足以下方程：

$$ \pi P = \pi $$

作为条件，需要满足 $\sum \pi_i = 1$。

让我们计算之前天气例子的平稳分布 $\pi = (\pi_{\text{晴天}}, \pi_{\text{雨天}})$。

$$ \begin{pmatrix} \pi_{\text{晴天}} & \pi_{\text{雨天}} \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} = \begin{pmatrix} \pi_{\text{晴天}} & \pi_{\text{雨天}} \end{pmatrix} $$

解联立方程组可得：