中央極限定理（Central Limit Theorem）——任何資料相加都會趨近常態分佈的奇蹟

1. 前言

在學習資料科學和統計學時，中央極限定理（Central Limit Theorem）是一個無法迴避的概念。該定理具有一種近乎魔法般的性質：「無論資料服從何種分佈，其樣本平均值的分佈都會隨著樣本數的增大而趨近常態分佈。」

本文將對中央極限定理進行全面講解，從直觀印象到嚴格的數學定義，再到實際的應用案例。

2. 什麼是中央極限定理？

中央極限定理（CLT）是機率論和統計學中最強大、最令人驚嘆的結果之一。簡單來說，大量隨機抽取的獨立隨機變數的和（或平均值），無論原始變數服從何種分佈，都會趨近於常態分佈。

2.1 直觀理解

以骰子為例。擲一顆骰子時，點數的分佈是均勻分佈。然而，當擲兩顆骰子並取其和時，分佈變成以7為峰值的三角形。隨著骰子數量的增加，其和的分佈逐漸接近光滑的鐘形曲線，即 常態分佈。

2.2 數學定義

假設從某母體中隨機抽取 $n$ 個樣本 $X_1, X_2, \dots, X_n$，它們相互獨立且服從同一分佈（i.i.d.）。設該母體的平均值（期望值）為 $\mu$，變異數為 $\sigma^2$。

將樣本平均值定義為 $\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$，則根據中央極限定理，當 $n$ 足夠大時，以下標準化變數 $Z$ 收斂於標準常態分佈 $\mathcal{N}(0, 1)$：

$$ Z = \frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}} \xrightarrow{d} \mathcal{N}(0, 1) \text{ as } n \to \infty $$

其中，$\xrightarrow{d}$ 表示依分佈收斂。$\text{ as } n \to \infty$ 表示樣本數趨近於無窮大。

3. 中央極限定理的視覺化

為了直觀地理解中央極限定理的運作原理，下面使用 Mermaid 繪製流程圖。

  graph TD
    A["原始分佈（非常態分佈）"] -->|"抽樣"| B["樣本1"]
    A -->|"抽樣"| C["樣本2"]
    A -->|"抽樣"| D["樣本N"]
    B -->|"計算平均值"| E["樣本平均值1"]
    C -->|"計算平均值"| F["樣本平均值2"]
    D -->|"計算平均值"| G["樣本平均值N"]
    E -->|"繪製分佈"| H["趨近常態分佈"]
    F -->|"繪製分佈"| H
    G -->|"繪製分佈"| H

4. 使用 Python 進行模擬

讓我們不僅停留在理論上，還透過實際執行程式來驗證。我們將從均勻分佈中抽取資料，模擬其平均值的分佈情況。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import numpy as np
import matplotlib.pyplot as plt

# 母體參數（均勻分佈 [0, 1]）
mu = 0.5
sigma = np.sqrt(1/12)

# 模擬設定
sample_sizes = [1, 5, 30, 100]
num_simulations = 10000

# 圖表繪製設定
fig, axes = plt.subplots(2, 2, figsize=(12, 8))
axes = axes.flatten()

for i, n in enumerate(sample_sizes):
    # 從均勻分佈中抽取 n 個樣本，重複 num_simulations 次
    samples = np.random.uniform(0, 1, (num_simulations, n))
    
    # 計算每次試驗的樣本平均值
    sample_means = np.mean(samples, axis=1)
    
    # 繪製直方圖
    ax = axes[i]
    ax.hist(sample_means, bins=50, density=True, alpha=0.7, color='skyblue')
    ax.set_title(f"樣本數 n={n}")
    
    # 新增理論常態分佈曲線
    x = np.linspace(mu - 4*sigma/np.sqrt(n), mu + 4*sigma/np.sqrt(n), 100)
    y = (1 / (np.sqrt(2 * np.pi) * (sigma/np.sqrt(n)))) * np.exp(-0.5 * ((x - mu) / (sigma/np.sqrt(n)))**2)
    ax.plot(x, y, 'r-', lw=2)

plt.tight_layout()
plt.show()

執行此程式碼後可以確認，當 $n=1$ 時為均勻分佈，但隨著 $n$ 的增大，直方圖逐漸趨近紅線所示的常態分佈。

5. 中央極限定理的重要性與應用

為什麼中央極限定理如此重要？因為即使不知道現實世界中的資料究竟服從何種分佈，我們也可以利用樣本平均值等統計量來假設常態分佈，從而進行假設檢定和建構信賴區間。

5.1 統計推論的基礎

當我們從資料中進行推論時——無論是民意調查、品質管制還是 A/B 測試——其中大部分依據都依賴於中央極限定理。

5.2 誤差的累積

測量誤差和自然界中的許多雜訊也可以建模為大量微小獨立因素之和，因此它們通常服從常態分佈。這也是常態分佈被稱為高斯分佈的原因。

6. 深入探究：證明的方法

中央極限定理的嚴格證明使用了特徵函數（動差生成函數）和泰勒展開。下面介紹其概要。

利用特徵函數 $\phi_X(t) = E[e^{itX}]$，獨立隨機變數之和的特徵函數等於各自特徵函數的乘積。透過計算標準化變數 $Z$ 的特徵函數並取 $n \to \infty$ 的極限，可以證明其收斂於標準常態分佈的特徵函數 $e^{-t^2/2}$。由此證明分佈本身收斂於常態分佈。

7. 結語

中央極限定理是一個極其優美的定理，它揭示了混沌資料背後隱藏的秩序。理解這一定理，將使您在資料分析和統計模型建構中獲得更深刻的洞察。

附錄：詳細的數學背景與歷史

附錄 1：機率論的發展

中央極限定理有著悠久的歷史，起源於亞伯拉罕·棣莫弗對二項分佈常態近似的證明。後來被皮埃爾-西蒙·拉普拉斯加以擴展，亞歷山大·李雅普諾夫在更一般的條件下給出了證明。在現代機率論中，存在多種擴展，如林德伯格條件和李雅普諾夫條件。這些條件保證了單個隨機變數不會對總和產生支配性影響。這為「自然界和社會科學中的各種現象為何能用常態分佈來近似」這一根本性問題提供了解答。

1. 前言

2. 什麼是中央極限定理？

2.1 直觀理解

2.2 數學定義

3. 中央極限定理的視覺化

4. 使用 Python 進行模擬

5. 中央極限定理的重要性與應用

5.1 統計推論的基礎

5.2 誤差的累積

6. 深入探究：證明的方法

7. 結語

附錄：詳細的數學背景與歷史

附錄 1：機率論的發展

附錄 2：機率論的發展

附錄 3：機率論的發展

附錄 4：機率論的發展

附錄 5：機率論的發展

附錄 6：機率論的發展

附錄 7：機率論的發展

附錄 8：機率論的發展

附錄 9：機率論的發展

附錄 10：機率論的發展

附錄 11：機率論的發展

附錄 12：機率論的發展

附錄 13：機率論的發展

附錄 14：機率論的發展

附錄 15：機率論的發展

附錄 16：機率論的發展

附錄 17：機率論的發展

附錄 18：機率論的發展

附錄 19：機率論的發展

附錄 20：機率論的發展

附錄 21：機率論的發展

附錄 22：機率論的發展

附錄 23：機率論的發展

附錄 24：機率論的發展

附錄 25：機率論的發展

附錄 26：機率論的發展

附錄 27：機率論的發展

附錄 28：機率論的發展

附錄 29：機率論的發展

附錄 30：機率論的發展