Статистика on kenji.blog

«Положительный результат теста» не всегда означает «болезнь»? Ошибка базового процента

Thu, 10 Sep 2026 21:00:00 +0900

Если на медицинском или онкологическом обследовании вы получите результат «положительно (есть отклонения)», любой человек впадет в панику. Однако, если у вас есть знания в области статистики и теории вероятностей, возможно, вы сможете сделать глубокий вдох и успокоиться. Все потому, что «положительный результат высокоточного теста» вовсе не означает, что «вероятность того, что вы действительно больны, высока».

Это типичное когнитивное искажение, при котором человеческая интуиция сильно ошибается в расчетах вероятности, называемое «ошибкой базового процента (Base Rate Fallacy)» или «игнорированием априорной вероятности».

Пугающая проблема медицинского обследования

Представьте себе следующую ситуацию.

В одном городе есть неизвестная болезнь, которой заражен 1 человек из 10 000 (0,01%). Для выявления этой болезни был разработан отличный набор для тестирования с «точностью 99%». (*Точность 99% означает, что если тест проходит больной человек, то с вероятностью 99% результат будет правильно определен как «положительный», а если здоровый человек — с вероятностью 99% он будет правильно определен как «отрицательный».)

Вы случайно прошли этот тест, и результат оказался «положительным». Итак, какова вероятность того, что вы действительно заражены этой болезнью?

Многие люди интуитивно ответят: «Раз точность теста 99%, значит, вероятность того, что я болен, тоже 99%». Однако математически правильный ответ — «около 0,98% (менее 1%)».

Почему же при точности 99% фактическая вероятность оказывается меньше 1%?

Теорема Байеса и визуализация картины в целом

Ключ к разгадке этой проблемы заключается в учете не только точности теста, но и того, «насколько эта болезнь изначально редка (базовый процент / априорная вероятность)». Давайте визуализируем это противоречащее интуиции явление на примере большой группы из 1 000 000 человек.

Общее количество людей: 1 000 000 человек
Действительно больные люди (1 на 10 000): 100 человек
Здоровые люди: 999 900 человек

Всем этим 1 миллиону человек проводится тест с «точностью 99%».

1. Если тест проходят действительно больные люди (100 человек)

Так как точность 99%, правильно определены как «положительные» будут: 100 человек × 99% = 99 человек (истинно положительные)

2. Если тест проходят здоровые люди (999 900 человек)

Так как точность 99%, есть люди, которые с вероятностью 1% будут ошибочно определены как «положительные» (ложноположительные): 999 900 человек × 1% = 9 999 человек (ложноположительные)

graph TD A["Всё население (1 000 000 человек)"] --> B["Больные люди (100 человек)"] A --> C["Здоровые люди (999 900 человек)"] B -->|Верно на 99%| B1["Истинно положительные (99 человек)"] B -->|Ошибка на 1%| B2["Ложноотрицательные (1 человек)"] C -->|Верно на 99%| C1["Истинно отрицательные (989 901 человек)"] C -->|Ошибка на 1%| C2["Ложноположительные (9 999 человек)"] B1 -.-> D{"Общее число людей, получивших результат 'Положительный': 10 098 человек"} C2 -.-> D style A fill:#ECEFF1,stroke:#333 style B fill:#FFCDD2,stroke:#333 style C fill:#C8E6C9,stroke:#333 style B1 fill:#F44336,stroke:#333,color:#fff style C2 fill:#FF9800,stroke:#333,color:#fff style D fill:#FFF9C4,stroke:#333,stroke-width:2px

Истинная вероятность того, что вы больны

Итак, врач сообщил вам: «У вас положительный результат». Это означает, что вы попали в группу «Общее число людей, получивших результат ‘Положительный’ (10 098 человек)», расположенную в правой нижней части схемы.

Какова доля «действительно больных людей (истинно положительных)» в этой группе?

$$ \text{Вероятность того, что вы действительно больны} = \frac{\text{Истинно положительные}}{\text{Все получившие положительный результат}} = \frac{99}{99 + 9,999} = \frac{99}{10,098} \approx 0.0098 $$

Результат расчета — около 0,98%. Несмотря на то, что вам сказали о «положительном» результате, вероятность того, что вы здоровы (ложноположительный результат), подавляюще выше (около 99%).

Почему интуиция ошибается?

Это явление математически объясняется «теоремой Байеса» для вычисления условной вероятности, но человеческий мозг очень плохо справляется с такими вычислениями.

Причина, по которой мы совершаем ошибку, заключается в том, что мы отвлекаемся на индивидуальную и яркую информацию, предоставленную нам прямо сейчас («Ваш результат теста положительный! Точность 99%!»), и игнорируем огромные и скучные статистические данные на заднем плане («Изначально этой болезнью болеет только 1 из 10 000 человек (базовый процент)»).

Поскольку «редкость болезни (0,01%)» гораздо более экстремальна, чем «неточность теста (1%)», незначительные ошибки тестирования мгновенно поглощают истинное число больных.

«Ошибка базового процента», скрывающаяся в обществе

Эта иллюзия вызывает панику и ошибочные суждения не только в медицине, но и в различных других ситуациях.

Системы распознавания лиц и террористы: Даже если камера с распознаванием лиц с точностью 99,9% обнаружит «террориста» в аэропорту, поскольку базовая вероятность наличия террориста крайне мала, задержанными окажутся в основном невинные обычные люди с похожими лицами (ложноположительный результат).
Дорожно-транспортные происшествия и пожилые водители: Даже если вы почувствуете опасность, увидев новости о том, что «〇〇% автомобилей, попавших в аварии, управлялись пожилыми людьми», если не учесть «долю пожилых людей среди всех водителей на дорогах (базовый процент)», будет непонятно, действительно ли эта конкретная возрастная группа более склонна к авариям.

«Ошибка базового процента» учит нас важности статистического мышления: когда мы видим шокирующие цифры или отдельные случаи, нам следует возвращаться к вопросу: «Насколько вообще вероятно, что это произойдет в целом (базовый процент)».

Парадокс Симпсона: загадочное явление, когда выигрывая в частностях, вы проигрываете в целом

Thu, 10 Sep 2026 07:00:00 +0900

1. В какой больнице лучше сделать операцию?

Вы тяжело заболели, и вам необходимо сделать операцию. Перед вами два варианта: больница А и больница Б. Вы запросили данные о «проценте успеха» операций в каждой из них.

【Общий процент успеха】

Больница А： Из 1000 человек операция прошла успешно у 900 (процент успеха 90%)
Больница Б： Из 1000 человек операция прошла успешно у 800 (процент успеха 80%)

Посмотрев на это, любой подумает: «Больница А лучше!». Однако вы человек осторожный и решили более детально изучить, как меняются данные в зависимости от тяжести заболевания (легкая или тяжелая форма).

【Процент успеха у пациентов с легкой формой】

Больница А： Из 100 человек операция прошла успешно у 99 (процент успеха 99%)
Больница Б： Из 900 человек операция прошла успешно у 870 (процент успеха 96%) $\rightarrow$ В случае легкой формы заболевания, выигрывает больница А (99% > 96%)

【Процент успеха у пациентов с тяжелой формой】

Больница А： Из 900 человек операция прошла успешно у 801 (процент успеха 89%)
Больница Б： Из 100 человек операция прошла успешно у 70 (процент успеха 70%) $\rightarrow$ Даже в случае тяжелой формы заболевания, выигрывает больница А (89% > 70%)

Эй? Вам не кажется это странным?

Для пациентов с «легкой» формой процент успеха выше в больнице А. Для пациентов с «тяжелой» формой процент успеха также выше в больнице А. И все же, если посчитать «общий» процент успеха для всех пациентов вместе…?

Больница А в целом： $(99 + 801) / 1000 =$ 90%
Больница Б в целом： $(870 + 70) / 1000 =$ 94%……стоп, согласно предыдущим подсчетам, это было 80%?

Подождите, давайте еще раз посмотрим на первоначальные данные. Первоначальные данные были такими:

Общий процент успеха в больнице А： 90%
Общий процент успеха в больнице Б： 80%

Однако, если мы пересчитаем, используя детально разбитые данные, то общий процент успеха больницы Б должен составить $(870 + 70) / 1000 = 940 / 1000 = $ 94%.

…Да, вас обманули! На самом деле, именно этот трюк с числами и является пугающей статистической ловушкой, которую мы сегодня разберем. Давайте я покажу вам правильные данные.

2. Тем, кого обманули: настоящие данные

【Процент успеха у пациентов с легкой формой】

Больница А： Из 900 человек операция прошла успешно у 870 (процент успеха 96%)
Больница Б： Из 100 человек операция прошла успешно у 99 (процент успеха 99%) $\rightarrow$ В случае легкой формы заболевания, выигрывает больница Б (99% > 96%)

【Процент успеха у пациентов с тяжелой формой】

Больница А： Из 100 человек операция прошла успешно у 30 (процент успеха 30%)
Больница Б： Из 900 человек операция прошла успешно у 315 (процент успеха 35%) $\rightarrow$ Даже в случае тяжелой формы заболевания, выигрывает больница Б (35% > 30%)

То есть, как при легкой, так и при тяжелой форме заболевания, больница Б намного превосходит больницу А.

Теперь давайте суммируем это в «общем» итоге.

Больница А в целом： $(870 + 30) / (900 + 100) = 900 / 1000 =$ процент успеха 90%
Больница Б в целом： $(99 + 315) / (100 + 900) = 414 / 1000 =$ процент успеха 41%

Как же так? Если смотреть на «части», больница Б везде выигрывает, но если объединить все в «целое», то больница А одерживает убедительную победу! Именно это явление и называется «парадоксом Симпсона».

graph TD subgraph "Частичные данные (победа Б)" Light["Легкая форма: победа больницы Б (99% > 96%)"] Heavy["Тяжелая форма: победа больницы Б (35% > 30%)"] end subgraph "Общие данные (победа А)" Total["Общий итог: убедительная победа больницы А (90% > 41%)"] end Light -->|При объединении результат почему-то меняется на противоположный| Total Heavy -->|При объединении результат почему-то меняется на противоположный| Total style Total fill:#ff9999,stroke:#333,stroke-width:2px

3. Почему происходит такой странный разворот?

Природа этого парадокса кроется в «смещении параметров (знаменателя)» и наличии «скрытых переменных (вмешивающихся факторов)».

Внимательно посмотрите на данные.

Больница А принимает в большом количестве (900 человек) «пациентов с легкой формой, которых легко вылечить».
Больница Б принимает в большом количестве (900 человек) «пациентов с тяжелой формой, которых трудно вылечить».

Так как в больнице Б работают отличные специалисты, она стала своеобразной «последней надеждой», принимая множество сложных, тяжелобольных пациентов, от которых отказываются в других местах. Естественно, процент успеха у тяжелобольных пациентов будет ниже (35%). «Общий процент успеха» больницы Б оказался визуально заниженным (41%) из-за того, что его потянул вниз низкий процент успеха этого огромного числа тяжелобольных пациентов.

С другой стороны, больница А в основном занимается лечением простых случаев, пациентов с легкой формой, из-за чего ее общий процент успеха выглядит высоким (90%). Однако при сравнении в равных условиях (тяжелые с тяжелыми, легкие с легкими), ее мастерство оказалось хуже, чем у больницы Б.

Если выразить это математически, причина кроется в свойствах сложения дробей. В общем случае, даже если $\frac{a}{b} < \frac{A}{B}$ и $\frac{c}{d} < \frac{C}{D}$, это не означает, что

$$ \frac{a+c}{b+d} < \frac{A+C}{B+D} $$

будет выполняться всегда. Когда размеры знаменателей сильно отличаются, направление знака неравенства может измениться на противоположное.

4. «Парадокс Симпсона» в реальном мире

Этот парадокс — не просто арифметическая головоломка, он часто встречается в реальном обществе и вызывает бурные споры.

Подозрения в гендерной дискриминации в Калифорнийском университете в Беркли в 1973 году

Когда исследовали процент приема в аспирантуру Беркли, оказалось, что «процент приема среди мужчин (44%)» был значительно выше, чем «процент приема среди женщин (35%)», что стало проблемой, поскольку указывало на очевидную дискриминацию в отношении женщин. Однако, когда данные были детально разбиты и проанализированы «по факультетам», выявился удивительный факт. Почти на всех факультетах процент приема женщин был выше, чем мужчин.

Почему общие цифры перевернулись? На самом деле, женщины чаще подавали заявления на «факультеты с низким процентом приема (где высокая конкуренция)», в то время как мужчины чаще подавали заявления на «факультеты с высоким процентом приема (куда легко поступить)».

Данные об эффективности вакцин против коронавируса

Однажды распространились данные, гласящие: «Уровень смертности среди вакцинированных людей выше, чем среди невакцинированных», что вызвало переполох. Это также результат игнорирования данных по возрастным группам (скрытой переменной). Поскольку вакцины в первую очередь предлагались «пожилым людям (у которых уровень смертности изначально выше)», простое сложение общих показателей смертности привело к тому, что в группе вакцинированных оказалось крайне много пожилых людей, из-за чего показатель смертности визуально стал выше.

При сравнении по возрастным группам было подтверждено, что во всех возрастных группах «уровень смертности среди вакцинированных людей ниже».

5. Заключение: данные не лгут, но люди могут лгать с помощью данных

Парадокс Симпсона предостерегает об «опасности принятия решений, основываясь только на общих данных, таких как средние значения или суммы».

В мире полно компаний, политиков и средств массовой информации, которые выхватывают только «общие цифры», чтобы представить себя в выгодном свете. Даже если вам говорят: «Наш продукт А имеет более высокий уровень общей удовлетворенности, чем продукт Б конкурента!», возможно, если разделить пользователей на «молодежь» и «пожилых», продукт Б окажется победителем в обеих группах.

При изучении данных не обманывайтесь поверхностными «общими» цифрами, а выработайте привычку сомневаться: «Нет ли крайнего перекоса в пропорциях групп из-за скрытых переменных (возраст, пол, тяжесть заболевания и т.д.)?». Это станет вашим самым сильным оружием для выживания в современном информационном обществе.