Проверка гипотезы

Простой и краткий учебник по проверке гипотез с использованием Python

Изображение из: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

В этом блоге я дам краткое руководство по проверке гипотез с использованием статистических методов в Python. Проверка гипотез является частью научного метода, с которым мы все знакомы, что мы, вероятно, узнали в наши ранние годы обучения. Однако в статистике многие эксперименты проводятся на выборке населения.

«Чтобы определить, что выборочный набор наблюдений говорит нам о предлагаемом объяснении, в общем, требуется, чтобы мы сделали вывод, или, как мы называем это, статистики, приводить причину неопределенности. Рассуждение с неопределенностью является ядром статистического вывода и, как правило, проводится с использованием метода, называемого «Проверка достоверности нулевой гипотезы». -Ovens.

В качестве примера для этого блога я буду использовать европейский набор данных о футболе, найденный в Kaggle, и проведу проверку гипотез. Набор данных можно найти здесь.

Шаг 1

Сделать наблюдение

Первый шаг - наблюдать за явлениями. В этом случае это будет так: есть ли влияние агрессии защиты на средние допустимые цели?

Шаг 2

Изучите исследование

Хорошее мышление - умнее, а не сложнее. Одна хорошая вещь, которую нужно сделать, это посмотреть, если исследования, связанные с вашим наблюдением, уже существуют. Если это так, это может помочь в ответе на наш вопрос. Знание уже существующих исследований или экспериментов поможет нам лучше структурировать наш эксперимент, или, возможно, даже ответит на наш вопрос, и не придется проводить эксперимент в первую очередь.

Шаг 3

Сформируйте нулевую гипотезу и альтернативную гипотезу

Альтернативная гипотеза - это наше обоснованное предположение, а нулевая гипотеза - просто противоположность. Если альтернативная гипотеза утверждает, что между двумя переменными существует значительная взаимосвязь, нулевая гипотеза утверждает, что значимой взаимосвязи нет.

Наша Нулевая Гипотеза будет такой: Статистическая разница в целях не допускается для команд с рейтингом агрессии защиты выше или равным 65 против команд ниже 65.

Альтернативная гипотеза: существует статистическая разница в целях, допустимая для команд с рейтингом агрессии защиты выше или равным 65 против команд ниже 65.

Шаг 4

Определите, является ли наша гипотеза односторонним тестом или двусторонним тестом.

Односторонний тест

«Если вы используете уровень значимости 0,05, односторонний тест позволяет всей вашей альфе проверить статистическую значимость в одном интересующем направлении». Примером одностороннего теста может быть «Футбольные команды с рейтингом агрессии ниже 65 позволяют статистически значительно больше голов, чем команды с рейтингом ниже 65».

Двусторонний тест

«Если вы используете уровень значимости 0,05, двухсторонний тест позволяет половине вашего альфа проверить статистическую значимость в одном направлении и половину вашего альфа, чтобы проверить статистическую значимость в другом направлении. Это означает, что 0,025 находится в каждом хвосте распределения вашей тестовой статистики ».

С помощью двустороннего теста вы проверяете статистическую значимость в обоих направлениях. В нашем случае мы проверяем статистическую значимость в обоих направлениях.

Шаг 5

Установить пороговый уровень значимости (альфа)

(альфа-значение): предельный порог, при котором мы можем отказаться от нулевой гипотезы. Альфа-значение может быть любым значением, которое мы устанавливаем в диапазоне от 0 до 1. Однако наиболее распространенным альфа-значением в науке является 0,05. Альфа, установленная на 0,05, означает, что мы можем отказаться от нулевой гипотезы, даже если есть вероятность 5% или менее, что результаты обусловлены случайностью.

Значение P: рассчитанная вероятность случайного получения этих данных.

Если мы вычислим p-значение, и оно получится равным 0,03, мы можем интерпретировать это как: «Существует 3% -ная вероятность того, что результаты, которые я вижу, на самом деле обусловлены случайностью или чистой удачей».

Изображение с сайта Learn.co

Наша цель - вычислить значение p и сравнить его с нашей альфой. Чем ниже альфа, тем строже тест.

Шаг 6

Выполнить выборку

Здесь у нас есть наш набор данных под названием футбол. Для нашего теста нам нужны только два столбца в нашем наборе данных: team_def_aggr_rating и goal_allowed. Мы отфильтруем его по этим двум столбцам, затем создадим два подмножества для команд с рейтингом оборонительной агрессии выше или равным 65 и для команд с рейтингом оборонительной агрессии ниже 65.

Просто подведем итоги теста на гипотезу:

Влияние оборонительной агрессии на средне допустимые цели. Нулевая гипотеза: статистическая разница в целях не допускается для команд с рейтингом агрессии защиты выше или равным 65 по сравнению с командами ниже 65. Альтернативная гипотеза: существует статистическая разница в целях, допустимых для команд с рейтингом агрессии защиты выше не более 65 против команд ниже 65. Двусторонняя Тестовая Альфа: 0,05

Теперь у нас есть два списка выборок, на которых мы можем запустить статистические тесты. Перед этим шагом я нарисую два распределения, чтобы получить визуальное представление.

Шаг 7

Выполните T-тест с двумя образцами

T-критерий с двумя выборками используется для определения, равны ли два средних значения популяции. Для этого мы будем использовать модуль Python под названием statsmodels. Я не буду вдаваться в подробности о statsmodels, но вы можете посмотреть документацию здесь.

Шаг 8

Оценить и сделать вывод

Напомним, что альфа, которую мы установили, была = 0,05. Как видно из результатов нашего теста, значение p меньше, чем наша альфа. Мы можем отвергнуть нашу нулевую гипотезу и с 95% уверенностью принять нашу альтернативную гипотезу.

Спасибо за чтение! Для получения более подробной информации о проверке гипотез, вы можете проверить этот групповой проект на GitHub, в котором я принимал участие в проверке гипотез, здесь.

Ресурсы:

Печи, Мэтью. «Статистика и« научный метод »Получено от YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Введение в SAS. УКЛА: Статистическая Консалтинговая Группа. из https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (доступ к маю) 16, 2019).

Справочник по инженерной статистике. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm