Есть секретный мир, о котором вы, вероятно, никогда не слышали. Это лежит в основе каждого утверждения, которое вы когда-либо читали, каждого заголовка, который осуждает «науку!» на вас, когда вы прошли мимо. Этот мир - то, почему вы были привиты, почему вы принимаете ибупрофен от боли и воспаления, и даже почему вы не можете купить противозачаточные таблетки без рецепта в большинстве стран.

Я говорю, конечно, о мире статистики.

Статистика Google о статистике: окончательный нердфест.

Изучать статистику

Представьте, что вы проводите исследование по снижению веса. Например, у вас есть три группы людей: 1, 2 и 3. Группа 1 принимает наркотики. У группы 2 есть вмешательство в образ жизни. Группа 3 - это контроль плацебо - они ничего не делают. В конце исследования у вас есть сотни, даже тысячи номеров. Вы можете сравнить их довольно легко - взгляните на средства и медианы - но все это действительно говорит вам о том, что есть некоторые различия. Они могут быть неважными; они могут быть просто случайны. Что если бы у вас был один человек в группе 2, который начал с 400 кг и потерял 300, но остальные люди фактически набрали пару кг? У вас, вероятно, будет общая потеря веса, но на самом деле ваше вмешательство в образ жизни работает только для одного парня.

Введите статистику.

Статистические данные, которые в основном позволяют вам делать в медицине, - это сравнение результатов разных групп и определение вероятности отклонения в результате вашего эксперимента или просто случайности. Таким образом, вы снова сравниваете свои три группы людей и обнаруживаете, что хотя группа 2 в среднем похудела, она не была статистически значимой, потому что все это было связано с этим одним парнем и его гигантскими усилиями.

Оказывается, новая «шоколадная диета» не так эффективна, как мы думали.

Я только что использовал очень важную фразу: статистически значимо. Это в основном бар, который мы установили для результатов исследований. Если они превышают планку, они, скорее всего, связаны с тем, что вы исследуете - в данном случае, с наркотиками или вмешательством в образ жизни. В основном, чтобы лечение работало.

Если они не достигают планки, мы говорим, что любые результаты, которые мы видели, возможно, произошли случайно, и лечение не сработало.

Это довольно важный бар.

И вы будете удивлены, услышав, это совершенно произвольно.

Что важно?

Когда мы запускаем статистический тест, мы обычно получаем то, что известно как значение вероятности, или p-значение. Это число от нуля до единицы, которое показывает нам, насколько вероятно, что результат, который мы наблюдали в нашем эксперименте, был случайным. Высокое значение р означает, что любая разница между группами была, скорее всего, случайностью; низкое значение p означает, что мы можем что-то здесь делать. Обычно значение р ниже 0,05 означает, что ваши результаты статистически значимы.

Другими словами, 0,05 - это бар, о котором я говорил ранее.

В этом баре нет напитков, только смешанные метафоры и грусть.

Но проблема в том, что 0,05 - абсолютно произвольное число. Мы могли бы сказать, 0,04 или 0,06 - это не будет иметь никакого значения. Помните: это всего лишь мера вероятности того, что результаты оказались случайными.

Если я говорю, что что-то является статистически значимым, я говорю, что любые различия между группами в моем исследовании, вероятно, не были случайностью. Там есть эффект.

Допустим, я делаю свой эксперимент и нахожу статистически значимое различие между Группой 1 и Группой 3, причем Группа 1 теряет на 100 грамм больше веса за шесть месяцев эксперимента. Наше значение р удивительно низкое, 0,000001.

Звучит как хорошие новости, верно?

Клиническое значение

Итак, мы прошли первый тест: мы знаем, что различие, которое мы видим, вероятно, связано с препаратом, который мы даем группе 1. Статистический тест говорит об этом!

Но это не единственный тип значимости.

Статистическая значимость заключается в том, что одно вызвало другое. Клиническое значение заключается в том, заботимся ли мы. Имеет ли значение, если мы сможем заставить некоторых людей похудеть на 100 грамм? Стоит ли принимать наркотики в течение следующих нескольких месяцев, лет или даже на всю оставшуюся жизнь?

Что если я скажу вам, что это также вызвало мигрень, тошноту и экзистенциальный страх?

Итак, если я скажу, что мой новый препарат имеет клиническое значение, я действительно скажу, что я думаю, что польза от него перевешивает побочные эффекты. Я говорю, что это меняет ваше здоровье настолько, что врач может быть заинтересован в его назначении, и вы можете использовать его для лечения.

Фактически, клиническое значение - единственное, о чем мы заботимся.

Отличным примером является разница между мужским и женским мозгом. Огромное исследование недавно обнаружило статистическую разницу между действием мужского мозга по сравнению с женским в нескольких ключевых регионах. Тем не менее, они также обнаружили, что сходство перевешивало различия и что в конечном итоге между мужчинами и женщинами не было клинических различий.

Незначительное значение.

Дело в том, что вы можете провести исследование и найти статистические различия, но если вы не знаете, являются ли эти различия клинически значимыми, все, что вы делаете, это играете с числами. Исследователи в этом исследовании не могли отличить мозг мужчины от женского, если они заранее не знали, какой из них был, потому что статистически значимые различия в активности не переводили на что-то, что они могли фактически использовать в своей работе.

Но когда вы читаете новость о научной статье, вы никогда не услышите о нюансах клинического значения. Помните все эти страшные истории о ибупрофене и сердечных приступах? На самом деле существует общеизвестная статистически значимая связь между приемом ибупрофена и сердечным приступом. Единственная проблема заключается в том, что для большинства из нас увеличение риска очень мало - оно статистически значимо, но не клинически значимо.

Это идет и в другую сторону: есть статистически значимая связь между умеренным употреблением алкоголя и не умиранием. Единственная проблема заключается в том, что разница невелика и, вероятно, объясняется другими факторами, поэтому нет оснований начинать каждый день выпивать бокал вина.

Почти каждая статья, которую вы когда-либо читали о науке, цитирует статистику так, будто она что-то значит.

Слишком часто они этого не делают.

Пятнистая значимость

Трудно понять, что важно, когда дело доходит до учебы. Клиническое значение это то, что часто требует медицинской степени и годы обучения, чтобы правильно понять.

Но есть несколько вещей, которые вы можете посмотреть.

Если абсолютный размер эффекта невелик, за исключением случаев, когда это действительно серьезное событие (например, смерть), вероятность того, что клиническое значение ограничено. Если результат, о котором говорят люди, только косвенно связан с фактическим здоровьем - например, с количеством съеденного мороженого, - есть большая вероятность, что на самом деле результаты мало что говорят о вашей жизни.

Если ты когда-нибудь действительно переживаешь, сходи к врачу. Есть причина, по которой требуется почти десятилетие, чтобы получить полную квалификацию.

Иногда это не так просто.