马尔可夫链：'未来仅取决于现在' 状态转移的数学与概率模型

引言

我们生活的世界充满了不确定性。明天的天气、股票价格的波动、互联网上的页面跳转等，存在许多难以预测的现象。用于在数学上对这些不确定现象进行建模的强大工具就是 马尔可夫链 （Markov chain）。

马尔可夫链最大的特点在于它具有 马尔可夫性 （Markov property），即“未来的状态不依赖于过去的完整历史，而仅由当前状态决定”。在本文中，我们将详细解释这一迷人数理模型的基础知识、具体的计算方法，以及其在现实社会中的应用。

什么是马尔可夫性？

在随机过程中，假设某一时刻 \(t\) 的状态表示为 \(X_t\)。在考虑离散时间模型时，马尔可夫性由以下数学公式定义：

\[ P(X_{n+1} = x_{n+1} \mid X_n = x_n, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) = P(X_{n+1} = x_{n+1} \mid X_n = x_n) \]

该公式表明，只要已知时间 \(n\) 的状态 \(x_n\)，就可以计算出时间 \(n+1\) 变为状态 \(x_{n+1}\) 的概率，而不需要之前状态（ \(x_{n-1}, \dots, x_0\) ）的信息。这就是“未来仅取决于现在”这句话的含义。

转移概率矩阵

描述马尔可夫链不可或缺的是 转移概率矩阵 （Transition Probability Matrix）。当状态空间有限时，假设从状态 \(i\) 转移到状态 \(j\) 的概率为 \(p_{ij}\)，则矩阵 \(P\) 表示如下：

\[ P = \begin{pmatrix} p_{11} & p_{12} & \cdots & p_{1k} \\ p_{21} & p_{22} & \cdots & p_{2k} \\ \vdots & \vdots & \ddots & \vdots \\ p_{k1} & p_{k2} & \cdots & p_{kk} \end{pmatrix} \]

在这里，每一行的和必定为 \(1\)。

\[ \sum_{j=1}^{k} p_{ij} = 1 \quad \text{(对于所有的 } i \text{)} \]

具体例子：天气预报模型

作为一个简单的例子，我们来考虑某个城市的天气。假设只有“晴天”和“雨天”两个状态。

如果今天是晴天，明天是晴天的概率为 0.7，雨天的概率为 0.3
如果今天是雨天，明天是晴天的概率为 0.4，雨天的概率为 0.6

用转移概率矩阵 \(P\) 表示这个模型如下：

\[ P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} \]

让我们用 Mermaid 图表将这种状态转移可视化。

  graph TD
  A["晴天"] -->|"0.7"| A
  A -->|"0.3"| B["雨天"]
  B -->|"0.4"| A
  B -->|"0.6"| B

平稳分布：长期行为

如果长期观察（ \(n \to \infty\) ）一个马尔可夫链，状态的概率分布会变成什么样呢？在许多马尔可夫链中，无论初始状态如何，都会收敛到一个特定的概率分布。这被称为 平稳分布 （Stationary distribution）。

假设概率向量为 \(\pi\)，平稳分布满足以下方程：

\[ \pi P = \pi \]

作为条件，需要满足 \(\sum \pi_i = 1\)。

让我们计算之前天气例子的平稳分布 \(\pi = (\pi_{\text{晴天}}, \pi_{\text{雨天}})\)。

\[ \begin{pmatrix} \pi_{\text{晴天}} & \pi_{\text{雨天}} \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} = \begin{pmatrix} \pi_{\text{晴天}} & \pi_{\text{雨天}} \end{pmatrix} \]

解联立方程组可得：