Теорема Байеса on kenji.blog

«Положительный результат теста» не всегда означает «болезнь»? Ошибка базового процента

Thu, 10 Sep 2026 21:00:00 +0900

Если на медицинском или онкологическом обследовании вы получите результат «положительно (есть отклонения)», любой человек впадет в панику. Однако, если у вас есть знания в области статистики и теории вероятностей, возможно, вы сможете сделать глубокий вдох и успокоиться. Все потому, что «положительный результат высокоточного теста» вовсе не означает, что «вероятность того, что вы действительно больны, высока».

Это типичное когнитивное искажение, при котором человеческая интуиция сильно ошибается в расчетах вероятности, называемое «ошибкой базового процента (Base Rate Fallacy)» или «игнорированием априорной вероятности».

Пугающая проблема медицинского обследования

Представьте себе следующую ситуацию.

В одном городе есть неизвестная болезнь, которой заражен 1 человек из 10 000 (0,01%). Для выявления этой болезни был разработан отличный набор для тестирования с «точностью 99%». (*Точность 99% означает, что если тест проходит больной человек, то с вероятностью 99% результат будет правильно определен как «положительный», а если здоровый человек — с вероятностью 99% он будет правильно определен как «отрицательный».)

Вы случайно прошли этот тест, и результат оказался «положительным». Итак, какова вероятность того, что вы действительно заражены этой болезнью?

Многие люди интуитивно ответят: «Раз точность теста 99%, значит, вероятность того, что я болен, тоже 99%». Однако математически правильный ответ — «около 0,98% (менее 1%)».

Почему же при точности 99% фактическая вероятность оказывается меньше 1%?

Теорема Байеса и визуализация картины в целом

Ключ к разгадке этой проблемы заключается в учете не только точности теста, но и того, «насколько эта болезнь изначально редка (базовый процент / априорная вероятность)». Давайте визуализируем это противоречащее интуиции явление на примере большой группы из 1 000 000 человек.

Общее количество людей: 1 000 000 человек
Действительно больные люди (1 на 10 000): 100 человек
Здоровые люди: 999 900 человек

Всем этим 1 миллиону человек проводится тест с «точностью 99%».

1. Если тест проходят действительно больные люди (100 человек)

Так как точность 99%, правильно определены как «положительные» будут: 100 человек × 99% = 99 человек (истинно положительные)

2. Если тест проходят здоровые люди (999 900 человек)

Так как точность 99%, есть люди, которые с вероятностью 1% будут ошибочно определены как «положительные» (ложноположительные): 999 900 человек × 1% = 9 999 человек (ложноположительные)

graph TD A["Всё население (1 000 000 человек)"] --> B["Больные люди (100 человек)"] A --> C["Здоровые люди (999 900 человек)"] B -->|Верно на 99%| B1["Истинно положительные (99 человек)"] B -->|Ошибка на 1%| B2["Ложноотрицательные (1 человек)"] C -->|Верно на 99%| C1["Истинно отрицательные (989 901 человек)"] C -->|Ошибка на 1%| C2["Ложноположительные (9 999 человек)"] B1 -.-> D{"Общее число людей, получивших результат 'Положительный': 10 098 человек"} C2 -.-> D style A fill:#ECEFF1,stroke:#333 style B fill:#FFCDD2,stroke:#333 style C fill:#C8E6C9,stroke:#333 style B1 fill:#F44336,stroke:#333,color:#fff style C2 fill:#FF9800,stroke:#333,color:#fff style D fill:#FFF9C4,stroke:#333,stroke-width:2px

Истинная вероятность того, что вы больны

Итак, врач сообщил вам: «У вас положительный результат». Это означает, что вы попали в группу «Общее число людей, получивших результат ‘Положительный’ (10 098 человек)», расположенную в правой нижней части схемы.

Какова доля «действительно больных людей (истинно положительных)» в этой группе?

$$ \text{Вероятность того, что вы действительно больны} = \frac{\text{Истинно положительные}}{\text{Все получившие положительный результат}} = \frac{99}{99 + 9,999} = \frac{99}{10,098} \approx 0.0098 $$

Результат расчета — около 0,98%. Несмотря на то, что вам сказали о «положительном» результате, вероятность того, что вы здоровы (ложноположительный результат), подавляюще выше (около 99%).

Почему интуиция ошибается?

Это явление математически объясняется «теоремой Байеса» для вычисления условной вероятности, но человеческий мозг очень плохо справляется с такими вычислениями.

Причина, по которой мы совершаем ошибку, заключается в том, что мы отвлекаемся на индивидуальную и яркую информацию, предоставленную нам прямо сейчас («Ваш результат теста положительный! Точность 99%!»), и игнорируем огромные и скучные статистические данные на заднем плане («Изначально этой болезнью болеет только 1 из 10 000 человек (базовый процент)»).

Поскольку «редкость болезни (0,01%)» гораздо более экстремальна, чем «неточность теста (1%)», незначительные ошибки тестирования мгновенно поглощают истинное число больных.

«Ошибка базового процента», скрывающаяся в обществе

Эта иллюзия вызывает панику и ошибочные суждения не только в медицине, но и в различных других ситуациях.

Системы распознавания лиц и террористы: Даже если камера с распознаванием лиц с точностью 99,9% обнаружит «террориста» в аэропорту, поскольку базовая вероятность наличия террориста крайне мала, задержанными окажутся в основном невинные обычные люди с похожими лицами (ложноположительный результат).
Дорожно-транспортные происшествия и пожилые водители: Даже если вы почувствуете опасность, увидев новости о том, что «〇〇% автомобилей, попавших в аварии, управлялись пожилыми людьми», если не учесть «долю пожилых людей среди всех водителей на дорогах (базовый процент)», будет непонятно, действительно ли эта конкретная возрастная группа более склонна к авариям.

«Ошибка базового процента» учит нас важности статистического мышления: когда мы видим шокирующие цифры или отдельные случаи, нам следует возвращаться к вопросу: «Насколько вообще вероятно, что это произойдет в целом (базовый процент)».

Проблема Спящей красавицы: Вероятность монеты 1/2 или 1/3? Парадокс, раскалывающий теорию вероятностей

Thu, 10 Sep 2026 09:00:00 +0900

1. Правила странного эксперимента

Вы (Спящая красавица) были выбраны в качестве испытуемой в некотором научном эксперименте. Эксперимент проводится с воскресенья по среду. В воскресенье вечером вам дают снотворное, и вы засыпаете.

После того как вы уснете, экспериментатор бросает одну правильную монету (монету, у которой вероятность выпадения орла и решки абсолютно равна 1/2). И в зависимости от результата, вас будут будить по следующему расписанию.

【Если монета выпала «Орлом»】

Вас разбудят только один раз в понедельник и зададут вопрос. После этого вас снова усыпят, и вы больше не проснетесь до конца эксперимента (до среды).

【Если монета выпала «Решкой»】

Вас разбудят в понедельник и зададут вопрос. После этого вам дадут специальное лекарство (стирающее память), и вы снова уснете.
Вас снова разбудят во вторник и зададут тот же самый вопрос. После этого вас снова усыпят, и на этом эксперимент завершится (в среду).

※ Из-за эффекта лекарства, стирающего память, проснувшись, вы совершенно не можете вспомнить «какой сегодня день недели» и «будили ли вас в прошлом».

graph TD Sunday["Воскресенье: Красавица засыпает"] --> Toss{"Бросок монеты"} Toss -->|Орел (1/2)| Mon_Heads["Понедельник: Пробуждение + Вопрос
(затем завершение эксперимента)"] Toss -->|Решка (1/2)| Mon_Tails["Понедельник: Пробуждение + Вопрос
(затем стирание памяти)"] Mon_Tails --> Tue_Tails["Вторник: Пробуждение + Вопрос
(затем завершение эксперимента)"] style Toss fill:#ff9999,stroke:#333 style Mon_Heads fill:#aaffaa,stroke:#333 style Mon_Tails fill:#aaffaa,stroke:#333 style Tue_Tails fill:#aaffaa,stroke:#333

Итак, в понедельник (или во вторник) вы проснулись. В комнате нет ни часов, ни календаря, и вы не знаете, какой сегодня день недели.

Тут приходит экспериментатор и задает вам следующий вопрос: «Как вы думаете, какова вероятность того, что подброшенная монета выпала ‘Орлом’, учитывая ваше нынешнее состояние пробуждения?»

Вы — красавица, хорошо разбирающаяся в математике. Итак, что вы ответите?

2. Столкновение двух лагерей: 1/2 или 1/3

Эта проблема была придумана в 1990-х годах и опубликована в научном журнале философом Адамом Элгой в 2000 году. Вероятность монеты кажется очевидной, но на самом деле из-за этой проблемы математики, статистики и философы по всему миру раскололись ровно пополам на два лагеря: «сторонники 1/2» (халферы) и «сторонники 1/3» (тёрдеры), и до сих пор ведут ожесточенные споры.

Давайте послушаем «идеальную логику» каждого из лагерей.

Аргументы «сторонников 1/2» (халферов)

«Поскольку монета правильная и без подвоха, вероятность выпадения орла, естественно, составляет 1/2. Сколько бы раз экспериментатор ни будил меня после того, как я усну, и как бы ни стирал память, это никак не влияет на физический результат броска монеты. В момент броска монеты вероятность была 1/2, и мое пробуждение не дает мне никакой новой информации (никаких подсказок для того, чтобы угадать — орел это или решка). Следовательно, вероятность остается 1/2.»

Это вполне разумное мнение, в котором придается значение объективному физическому явлению и отсутствию обновления информации.

Аргументы «сторонников 1/3» (тёрдеров)

«Сам факт того, что вы ‘проснулись’, — это информация, изменяющая вероятность. Допустим, мы повторили бы этот эксперимент 100 раз (100 недель). Монета должна выпасть ‘Орлом’ 50 раз и ‘Решкой’ 50 раз.

В те 50 недель, когда выпадал орел, вас будят только 1 раз в понедельник $\rightarrow$ Количество пробуждений при ‘Орле’ — 50 раз

В те 50 недель, когда выпадала решка, вас будят 2 раза: в понедельник и во вторник $\rightarrow$ Количество пробуждений при ‘Решке’ — 100 раз

Иными словами, ситуация вашего пробуждения в целом возникает 150 раз, из которых ‘сценарий пробуждения при орле’ составляет 50 раз, а ‘сценарий пробуждения при решке’ — 100 раз. Следовательно, вероятность того, что пробуждение, которое вы переживаете прямо сейчас, произошло при ‘Орле’, равна 50 / 150 ＝ 1/3!»

Это сильное мнение, основанное на «фриквентизме» (частотном подходе) и «антропном принципе», где сама ситуация «я сейчас существую (наблюдаю)» включается в расчет как элемент вероятностного пространства.

3. Попробуем вычислить с помощью теоремы Байеса

Существуют также попытки разгадать эту проблему с помощью «теоремы Байеса» — математического инструмента для обновления вероятностей. Давайте систематизируем логику «сторонников 1/3» с точки зрения условной вероятности.

Состояние при пробуждении будет одним из трех:

$E_1$: Монета выпала «Орлом», и сейчас «Понедельник»
$E_2$: Монета выпала «Решкой», и сейчас «Понедельник»
$E_3$: Монета выпала «Решкой», и сейчас «Вторник»

Вероятность выпадения «Орла» равна $1/2$, а вероятность выпадения «Решки» равна $1/2$. Однако в случае с решкой «понедельник» и «вторник» абсолютно симметричны (их невозможно отличить из-за отсутствия памяти), поэтому вероятность возникновения $E_2$ и $E_3$ считается одинаковой.

Поскольку сумма всех вероятностей должна быть равна $1$, если мы назначим каждому пробуждению равную вероятность как независимому «событию (точке наблюдения)», то получим: $P(E_1) = 1/3$ $P(E_2) = 1/3$ $P(E_3) = 1/3$ Следовательно, делается вывод, что «вероятность того, что выпал орел ($P(E_1)$)», становится равна $1/3$.

С другой стороны, «сторонники 1/2» возражают: «Понедельник и вторник при выпадении решки ($E_2$ и $E_3$) — это зависимые события, производные от результата броска одной и той же монеты, и подсчитывать их как независимые вероятности в корне неверно».

4. Почему эта проблема не решается?

Причина, по которой «Проблема Спящей красавицы» так сильно мучает ученых, кроется вовсе не в простых ошибках в вычислениях или иллюзиях. Эта проблема затрагивает самый глубокий и фундаментальный вопрос теории вероятностей, а именно философский вопрос: «Что же такое вообще вероятность?»

Для сторонников 1/2 вероятность — это «физическое свойство монеты» и «объективный факт».
Для сторонников 1/3 вероятность — это «степень убежденности наблюдателя (красавицы)» и «частота наблюдений».

В этом простом эксперименте с подбрасыванием монеты сконцентрированы глубокие темы, перекликающиеся с «проблемой измерения» в квантовой механике и «антропным принципом» в космологии (идея вычисления вероятностей Вселенной исходя из факта нашего существования).

5. Заключение

Если бы вы стали испытуемым в этом эксперименте, ответили бы вы при пробуждении «1/2»? Или вы бы ответили «1/3»?

Что бы вы ни ответили, математики мирового уровня встанут за вашей спиной, чтобы защитить вас. Как математические определения, кажущиеся на первый взгляд простыми, рушатся, стоит им лишь соприкоснуться с такими сложными понятиями, как человеческая «субъективность» и «существование». Парадоксы и сегодня продолжают расшатывать наш здравый смысл.

Проблема Монти Холла: ловушка теории вероятностей, обманывающая интуицию, и полное решение с помощью байесовского вывода

Thu, 10 Sep 2026 00:00:00 +0900

1. Место действия — телевикторина: что бы вы сделали?

В 1990 году в колонку “Спросите Мэрилин” (Ask Marilyn) американского новостного журнала “Parade” поступил следующий вопрос от читателя:

Вы — участник телевизионной игры. Перед вами 3 двери (A, B, C). За одной из дверей находится новый автомобиль (выигрыш), а за двумя другими — козы (проигрыш).

Сначала вы выбираете дверь A.

Затем ведущий Монти Холл, который знает, где находится новый автомобиль, открывает из оставшихся дверей дверь B, за которой стоит коза.

Монти говорит вам: «Теперь вы можете изменить свой выбор на дверь C. Что вы решите?»

Итак, стоит ли вам менять дверь?

Интуитивно кажется: «Остались 2 двери, A и C. Поскольку новый автомобиль может быть за любой из них с равной случайностью, вероятность выигрыша составляет $\frac{1}{2}$ (50%) для обеих. Поэтому нет никакой разницы, менять выбор или нет».

Однако колумнистка Мэрилин вос Савант (занесенная в Книгу рекордов Гиннесса как обладательница самого высокого IQ) ответила: «Вам следует изменить выбор. Если вы это сделаете, ваши шансы на выигрыш удвоятся».

Этот ответ вызвал сенсацию по всей Америке, и в редакцию обрушилась лавина из примерно 10 000 писем с протестами (из которых около 1000 были от ученых со степенью доктора математики). Это была буря резкой критики вроде «вы не понимаете основ теории вероятностей» или «это женская логика». Но, забегая вперед, ответ Мэрилин был математически абсолютно верен.

2. Расхождение между интуицией и математикой: Разветвление вероятностей в Mermaid

Почему наша интуиция создает иллюзию вероятности «$\frac{1}{2}$»? Для начала давайте визуализируем все паттерны игры.

graph TD Start["Начало игры"] --> CarA["Новый автомобиль за дверью A (вероятность 1/3)"] Start --> CarB["Новый автомобиль за дверью B (вероятность 1/3)"] Start --> CarC["Новый автомобиль за дверью C (вероятность 1/3)"] CarA --> PickA1["Вы выбираете дверь A"] CarB --> PickA2["Вы выбираете дверь A"] CarC --> PickA3["Вы выбираете дверь A"] PickA1 --> HostB_or_C["Ведущий открывает B или C"] PickA2 --> HostC["Ведущий обязательно открывает C"] PickA3 --> HostB["Ведущий обязательно открывает B"] HostB_or_C --> Stay1["Не менять: Выигрыш!"] HostB_or_C --> Switch1["Изменить: Проигрыш..."] HostC --> Stay2["Не менять: Проигрыш..."] HostC --> Switch2["Изменить: Выигрыш!"] HostB --> Stay3["Не менять: Проигрыш..."] HostB --> Switch3["Изменить: Выигрыш!"] style Switch2 fill:#bbf,stroke:#333,stroke-width:2px style Switch3 fill:#bbf,stroke:#333,stroke-width:2px style Stay1 fill:#f99,stroke:#333,stroke-width:2px

Предполагая, что вы выбрали «дверь A», с равной вероятностью ($\frac{1}{3}$) могут произойти 3 следующих сценария:

Сценарий 1 (Новый автомобиль за A): Ведущий открывает B или C, где находится коза. Если изменить выбор, то проигрыш.
Сценарий 2 (Новый автомобиль за B): Ведущий может открыть только C, где коза. Если изменить выбор, то выигрыш.
Сценарий 3 (Новый автомобиль за C): Ведущий может открыть только B, где коза. Если изменить выбор, то выигрыш.

Другими словами, в 2 случаях из 3 (Сценарии 2 и 3) возникает ситуация, когда «изменение двери гарантирует выигрыш». Следовательно, вероятность выигрыша при изменении выбора составляет $\frac{2}{3}$, что в 2 раза больше вероятности выигрыша $\frac{1}{3}$, если выбор не менять.

3. Строгое доказательство с помощью теоремы Байеса

Для строгого математического решения этой проблемы мы используем «теорему Байеса», которая вычисляет условную вероятность.

$$ P(H|E) = \frac{P(E|H) P(H)}{P(E)} $$

Здесь мы определяем события следующим образом:

$C_A, C_B, C_C$ : События, при которых новый автомобиль находится за дверью A, B и C соответственно. Априорные вероятности: $P(C_A) = P(C_B) = P(C_C) = \frac{1}{3}$
Предположим, что сначала вы выбрали дверь A.
$M_B$ : Событие, при котором ведущий открывает дверь B с козой.

То, что мы хотим найти, — это «вероятность того, что новый автомобиль находится за дверью C, при условии, что ведущий открыл дверь B», то есть апостериорную вероятность $P(C_C|M_B)$.

Сначала рассмотрим вероятность $P(M_B|C_X)$ того, что ведущий откроет дверь B, в зависимости от того, где находится машина.

Если новый автомобиль за дверью A ($C_A$) Ведущий может случайно открыть B или C.
$$ P(M_B|C_A) = \frac{1}{2} $$
Если новый автомобиль за дверью B ($C_B$) Поскольку ведущий не может открыть дверь с автомобилем, вероятность того, что он откроет B, равна нулю.
$$ P(M_B|C_B) = 0 $$
Если новый автомобиль за дверью C ($C_C$) Поскольку ведущий не может открыть A (которую вы выбрали) и C (где находится машина), ему неизбежно придется открыть B.
$$ P(M_B|C_C) = 1 $$

Далее мы находим полную вероятность $P(M_B)$ того, что ведущий откроет дверь B, по «формуле полной вероятности».

$$ P(M_B) = P(M_B|C_A)P(C_A) + P(M_B|C_B)P(C_B) + P(M_B|C_C)P(C_C) $$ $$ P(M_B) = \left(\frac{1}{2} \times \frac{1}{3}\right) + \left(0 \times \frac{1}{3}\right) + \left(1 \times \frac{1}{3}\right) = \frac{1}{6} + 0 + \frac{1}{3} = \frac{1}{2} $$

Наконец, мы применяем теорему Байеса для вычисления апостериорной вероятности для дверей A и C.

Вероятность того, что новый автомобиль находится за дверью A (если не менять выбор):

$$ P(C_A|M_B) = \frac{P(M_B|C_A) P(C_A)}{P(M_B)} = \frac{\frac{1}{2} \times \frac{1}{3}}{\frac{1}{2}} = \frac{1}{3} $$

Вероятность того, что новый автомобиль находится за дверью C (если изменить выбор):

$$ P(C_C|M_B) = \frac{P(M_B|C_C) P(C_C)}{P(M_B)} = \frac{1 \times \frac{1}{3}}{\frac{1}{2}} = \frac{2}{3} $$

Даже математическое доказательство ясно показывает, что «изменение двери удваивает вероятность выигрыша (2/3)».

4. Когнитивное искажение: Ценность информации под названием «условие»

Почему даже многие гениальные математики интуитивно ошиблись в этой задаче? Всё дело в заложенных в человеческий мозг «предвзятости к равной вероятности» и «ошибке обновления информации».

4.1. Предвзятость к равной вероятности (Equiprobability Bias)

Люди склонны бессознательно предполагать, что «оставшиеся варианты всегда имеют равную вероятность», когда сталкиваются с неизвестными альтернативами. В тот момент, когда мы видим, что осталось две двери, мозг автоматически маркирует их как «$50\%$ : $50\%$».

4.2. Информация о «намерениях» ведущего

Главная причина, по которой интуиция нас подводит, заключается в игнорировании того факта, что действия ведущего не случайны. Если бы правило было таким: «Ведущий не знает, где автомобиль, случайно открывает дверь, и там случайно оказывается коза» (это называется «Проблема Монти Фолла» (Monty Fall problem)), то вероятности для дверей A и C действительно были бы по $\frac{1}{2}$.

Однако в реальной проблеме Монти Холла ведущий действует под строгими ограничениями:

Он не может открыть дверь, которую выбрал участник.
Он не может открыть дверь, за которой находится новый автомобиль.

Из-за этих ограничений само действие ведущего — «открытие двери B» — дает нам огромную информацию о двери C. В этом заключается скрытое послание: «Я не мог открыть дверь C (потому что там находится новый автомобиль)».

5. Исправление интуиции с помощью экстремального примера

Если вас всё еще не убедили, давайте увеличим количество дверей до 1 миллиона.

Вы выбираете дверь 1 из 1 миллиона дверей. (Вероятность выигрыша $\frac{1}{1,000,000}$)
Всезнающий ведущий открывает 999 998 дверей, за которыми находятся козы, из оставшихся 999 999 дверей.
Закрытыми остаются только ваша «дверь 1» и «дверь 777 777», которую ведущий намеренно оставил.

Ну что, теперь вы поменяете свой выбор? В этом случае вам не следует менять выбор только если вы верите, что с самого начала вытянули чудо с вероятностью «один на миллион». Но в реальности интуитивно понятно, что вероятность того, что новый автомобиль находится за «той единственной дверью, которую ведущий ни в коем случае не мог открыть», составляет $\frac{999,999}{1,000,000}$.

Проблема Монти Холла (с 3 дверями) — это просто то же самое явление, но в уменьшенном масштабе «миллиона дверей».

pie title "Эффект от смены двери (100 симуляций)" "Сменил и выиграл (около 66.7%)" : 67 "Не сменил и выиграл (около 33.3%)" : 33

6. Заключение: Уроки бизнеса и жизни от теории вероятностей

Проблема Монти Холла выходит за рамки простой викторины и преподает нам важные уроки.

Интуиция часто ошибается: Человеческий мозг не эволюционировал для интуитивной обработки сложных условных вероятностей. Опасно полагаться только на интуицию при принятии важных решений.
Обновление вероятностей новой информацией (Байесовское обновление): Когда ситуация меняется и поступает новая информация (например, какую дверь открыл ведущий), ключом к успеху становится умение гибко обновлять вероятности и стратегии, а не цепляться за старые убеждения.

Маленькое решение «изменить дверь» может удвоить ваши шансы заполучить «новый автомобиль» в вашей жизни.