Центральная предельная теорема — чудо, когда любые данные при суммировании приближаются к нормальному распределению

1. Введение

Изучая науку о данных и статистику, нельзя избежать одной концепции — Центральной предельной теоремы (ЦПТ). Эта теорема обладает почти волшебным свойством: «независимо от распределения данных распределение выборочных средних приближается к нормальному распределению по мере увеличения размера выборки».

В этой статье мы даем всестороннее объяснение Центральной предельной теоремы, от интуитивно понятных изображений до строгих математических определений и практических приложений.

2. Что такое центральная предельная теорема?

Центральная предельная теорема (ЦПТ) — один из самых мощных и удивительных результатов в теории вероятностей и статистике. Проще говоря, сумма (или среднее значение) большого количества случайно выбранных независимых случайных величин аппроксимируется нормальным распределением, независимо от исходного распределения этих переменных.

2.1 Интуитивное понимание

Рассмотрим игральные кости. Когда вы бросаете один кубик, результаты распределяются равномерно. Однако когда вы бросаете два кубика и берете их сумму, распределение становится треугольным с максимумом в 7. По мере увеличения количества кубиков распределение их суммы приближается к плавной колоколообразной кривой — то есть к нормальному распределению.

2.2 Математическое определение

Предположим, что выборки $n$ $X_1, X_2, \dots, X_n$ выбраны случайным образом из популяции и независимо и одинаково распределены (i.i.d.). Пусть среднее значение совокупности (ожидаемое значение) будет $\mu$, а дисперсия — $\sigma^2$.

Если мы определим выборочное среднее как $\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$, то согласно Центральной предельной теореме, когда $n$ достаточно велико, следующая стандартизованная переменная $Z$ сходится к стандартному нормальному распределению $\mathcal{N}(0, 1)$:

$$ Z = \frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}} \xrightarrow{d} \mathcal{N}(0, 1) \text{ as } n \to \infty $$

Здесь $\xrightarrow{d}$ обозначает сходимость распределения. $\text{ as } n \to \infty$ указывает, что размер выборки приближается к бесконечности.

3. Визуализация центральной предельной теоремы

Чтобы наглядно понять, как работает Центральная предельная теорема, вот диаграмма процесса с использованием Mermaid.

  graph TD
    A["Исходное распределение (не нормальное)"] -->|"Формирование выборок"| B["Выборка 1"]
    A -->|"Формирование выборок"| C["Выборка 2"]
    A -->|"Формирование выборок"| D["Выборка N"]
    B -->|"Вычисление среднего"| E["Среднее выборки 1"]
    C -->|"Вычисление среднего"| F["Среднее выборки 2"]
    D -->|"Вычисление среднего"| G["Среднее выборки N"]
    E -->|"Построение распределения"| H["Приближение к нормальному распределению"]
    F -->|"Построение распределения"| H
    G -->|"Построение распределения"| H

4. Моделирование с помощью Python

Давайте проверим это не только теоретически, но и запустив программу. Мы возьмем данные из равномерного распределения и смоделируем распределение средних значений.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import numpy as np
import matplotlib.pyplot as plt

# Population parameters (Uniform distribution [0, 1])
mu = 0.5
sigma = np.sqrt(1/12)

# Simulation settings
sample_sizes = [1, 5, 30, 100]
num_simulations = 10000

# Graph drawing settings
fig, axes = plt.subplots(2, 2, figsize=(12, 8))
axes = axes.flatten()

for i, n in enumerate(sample_sizes):
    # Draw n samples from a uniform distribution, num_simulations times
    samples = np.random.uniform(0, 1, (num_simulations, n))
    
    # Calculate the sample mean for each trial
    sample_means = np.mean(samples, axis=1)
    
    # Plot the histogram
    ax = axes[i]
    ax.hist(sample_means, bins=50, density=True, alpha=0.7, color='skyblue')
    ax.set_title(f"Sample size n={n}")
    
    # Add the theoretical normal distribution curve
    x = np.linspace(mu - 4*sigma/np.sqrt(n), mu + 4*sigma/np.sqrt(n), 100)
    y = (1 / (np.sqrt(2 * np.pi) * (sigma/np.sqrt(n)))) * np.exp(-0.5 * ((x - mu) / (sigma/np.sqrt(n)))**2)
    ax.plot(x, y, 'r-', lw=2)

plt.tight_layout()
plt.show()

Запустив этот код, вы можете убедиться, что для $n=1$ распределение равномерное, но по мере увеличения $n$ гистограмма приближается к красной кривой нормального распределения.

5. Важность и применение центральной предельной теоремы.

Почему Центральная предельная теорема так важна? Это потому, что даже не зная точного распределения реальных данных, мы можем предположить нормальное распределение для статистики, такой как выборочные средние, что позволяет проверять гипотезы и строить доверительные интервалы.

5.1 Основание статистического вывода

Когда мы делаем выводы на основе данных — в опросах общественного мнения, контроле качества, A/B-тестировании и т. д. — большая часть обоснований опирается на Центральную предельную теорему.

5.2 Накопление ошибок

Ошибки измерений и многие виды шума в природе также можно смоделировать как сумму множества небольших независимых факторов, поэтому они часто подчиняются нормальному распределению. По этой же причине его называют распределением Гаусса.

6. Идем глубже: подходы к доказательству

Строгое доказательство центральной предельной теоремы использует характеристические функции (производящие моменты) и разложения Тейлора. Здесь мы представляем конспект.

Используя характеристическую функцию $\phi_X(t) = E[e^{itX}]$, характеристическая функция суммы независимых случайных величин становится произведением их отдельных характеристических функций. Вычислив характеристическую функцию стандартизованной переменной $Z$ и приняв предел как $n \to \infty$, можно показать, что она сходится к характеристической функции стандартного нормального распределения $e^{-t^2/2}$. Это доказывает, что само распределение сходится к нормальному распределению.

7. Заключение

Центральная предельная теорема — необычайно красивая теорема, раскрывающая порядок, скрытый за хаотическими данными. Поняв эту теорему, вы сможете получить более глубокое понимание анализа данных и построения статистических моделей.

Приложение: Подробная математическая основа и история

Приложение 1: Развитие теории вероятностей

История центральной предельной теоремы уходит корнями в глубокую демонстрацию Абрахамом де Муавром нормальной аппроксимации биномиального распределения. Позднее оно было расширено Пьером-Симоном Лапласом, а доказательство в более общих условиях было дано Александром Ляпуновым. В современной теории вероятностей существуют различные расширения, такие как условие Линдеберга и условие Ляпунова. Эти условия гарантируют, что ни одна отдельная случайная величина не будет иметь доминирующего влияния на общую сумму. Это дает ответ на фундаментальный вопрос: почему разнообразные явления в природе и социальных науках можно аппроксимировать нормальным распределением.

1. Введение

2. Что такое центральная предельная теорема?

2.1 Интуитивное понимание

2.2 Математическое определение

3. Визуализация центральной предельной теоремы

4. Моделирование с помощью Python

5. Важность и применение центральной предельной теоремы.

5.1 Основание статистического вывода

5.2 Накопление ошибок

6. Идем глубже: подходы к доказательству

7. Заключение

Приложение: Подробная математическая основа и история

Приложение 1: Развитие теории вероятностей

Приложение 2: Развитие теории вероятностей

Приложение 3: Развитие теории вероятностей

Приложение 4: Развитие теории вероятностей

Приложение 5: Развитие теории вероятностей

Приложение 6: Развитие теории вероятностей

Приложение 7: Развитие теории вероятностей

Приложение 8: Развитие теории вероятностей

Приложение 9: Развитие теории вероятностей

Приложение 10: Развитие теории вероятностей

Приложение 11: Развитие теории вероятностей

Приложение 12: Развитие теории вероятностей

Приложение 13: Развитие теории вероятностей

Приложение 14: Развитие теории вероятностей

Приложение 15: Развитие теории вероятностей

Приложение 16: Развитие теории вероятностей

Приложение 17: Развитие теории вероятностей

Приложение 18: Развитие теории вероятностей

Приложение 19: Развитие теории вероятностей

Приложение 20: Развитие теории вероятностей

Приложение 21: Развитие теории вероятностей

Приложение 22: Развитие теории вероятностей

Приложение 23: Развитие теории вероятностей

Приложение 24: Развитие теории вероятностей

Приложение 25: Развитие теории вероятностей

Приложение 26: Развитие теории вероятностей

Приложение 27: Развитие теории вероятностей

Приложение 28: Развитие теории вероятностей

Приложение 29: Развитие теории вероятностей

Приложение 30: Развитие теории вероятностей