Тестване на хипотези

Прост и кратък урок за тестване на хипотези с помощта на Python

Изображение от: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

В този блог ще дам кратък урок за тестване на хипотези, използвайки статистически методи в Python. Тестването на хипотези е част от Научния метод, с който всички сме запознати, нещо, което вероятно сме научили в ранните си образователни години. В статистиката обаче много експерименти се правят върху извадка от популация.

„Определянето на това, което примерният набор от наблюдения ни говори за предложеното обяснение, по принцип изисква от нас да направим извод или, както го наричаме статистиците, да изложим причина с несигурност. Разсъждението с несигурността е ядрото на статистическите изводи и обикновено се извършва по метод, наречен тест на значимост на нулева хипотеза. " Фурни.

Като пример за този блог ще използвам набор от европейски футболни данни, намерен в Kaggle, и ще проверя тестване на хипотези. Наборът от данни може да бъде намерен тук.

Етап 1

Направете наблюдение

Първата стъпка е да се наблюдават явления. В този случай ще бъде: Има ли влияние на отбранителната агресия върху средно позволените цели?

Стъпка 2

Проучете изследването

Доброто мислене е да се работи по-интелигентно, а не по-трудно. Едно добро нещо, което трябва да направите е да видите дали вече съществуват изследвания, свързани с вашето наблюдение. Ако е така, може да помогне при отговора на нашия въпрос. Осъзнаването на вече съществуващи изследвания или експерименти ще ни помогне да структурираме експеримента си по-добре или може би дори ще отговорим на въпроса ни и не трябва да провеждаме експеримента на първо място.

Стъпка 3

Формирайте нулева хипотеза и алтернативна хипотеза

Алтернативна хипотеза е нашето образовано предположение, а нулевата хипотеза е точно обратното. Ако алтернативната хипотеза заявява, че съществува значима връзка между две променливи, нулевата хипотеза заявява, че няма значима връзка.

Нашата нулева хипотеза ще бъде: Няма статистическа разлика в целите, разрешени при отбори с отбранителна степен на агресия по-голяма или равна на 65 срещу отбори под 65.

Алтернативна хипотеза: Има статистическа разлика в целите, разрешени при отбори с отбранителна степен на агресия по-голяма или равна на 65 срещу отбори под 65.

Стъпка 4

Определете дали нашата хипотеза е тест с едно опашка или тест с две опашки.

Тест с една опашка

„Ако използвате ниво на значимост 0,05, еднократният тест позволява на цялата ви алфа да тества статистическата значимост в едната интересна посока.“ Пример за еднократен тест е „Футболните отбори с степен на агресия по-ниска от 65 позволяват статистически значително повече голове, отколкото отбори с рейтинг по-нисък от 65.“

Тест с две опашки

„Ако използвате ниво на значимост 0,05, тестът с две опашки позволява половината от вашата алфа да тества статистическата значимост в едната посока и половината от вашата алфа, за да тествате статистическата значимост в другата посока. Това означава, че 0,025 е във всяка опашка на разпределението на вашата тестова статистика. "

С тест с две опашки тествате статистическата значимост и в двете посоки. В нашия случай тестваме статистическата значимост и в двете посоки.

Стъпка 5

Задайте ниво на значимост на прага (алфа)

(алфа стойност): пределен праг, при който сме добре с отхвърлянето на нулевата хипотеза. Алфа стойност може да бъде всяка стойност, която задаваме между 0 и 1. Въпреки това, най-често срещаната алфа стойност в науката е 0,05. Алфа, зададена на 0,05, означава, че сме добре с отхвърлянето на нулевата хипотеза, въпреки че има 5% или по-малък шанс резултатите да се дължат на случайност.

P-стойност: Изчислената вероятност да стигне до тези данни на случаен принцип.

Ако изчислим p-стойност и тя достигне 0,03, можем да тълкуваме това като казваме: „Има 3% шанс резултатите, които виждам, да се дължат на случайността или на чистия късмет“.

Изображение от Learn.co

Нашата цел е да изчислим p-стойността и да я сравним с нашата алфа. Колкото по-ниска е алфа, толкова по-строг е тестът.

Стъпка 6

Извършете вземане на проби

Тук имаме нашата база данни, наречена футбол. За нашия тест ни трябват само две колони в нашия набор от данни: team_def_aggr_rating и Goal_allowed. Ще го филтрираме до тези две колони, след което ще създадем две подмножества за отбори с отбранителна степен на агресия по-голяма или равна на 65 и отбори с отбранителна степен на агресия под 65.

Само за да обобщим нашия тест за хипотеза:

Въздействие на отбранителната агресия върху средно позволените цели. Нулева хипотеза: Не е разрешена статистическа разлика в целите, разрешени с отбори с отбранителна степен на агресия по-голяма или равна на 65 срещу отбори под 65. Алтернативна хипотеза: Има статистическа разлика в целите, разрешени при отбори с отбранителна степен на агресия по-голяма по-голям или равен на 65 спрямо отбори под 65. Тест с двукратно тестване Алфа: 0,05

Сега имаме два списъка с извадки, по които можем да стартираме статистически тестове. Преди тази стъпка ще начертая двете дистрибуции, за да получа визуално.

Стъпка 7

Извършете T-тест с две проби

Двупробният t-тест се използва за определяне дали две средства за популация са равни. За това ще използваме модула Python, наречен statsmodels. Няма да навлизам в твърде подробности относно статистическите модели, но можете да видите документацията тук.

Стъпка 8

Оценете и заключете

Спомнете си, че алфата, която зададохме, беше = 0,05. Както можем да видим от резултатите от нашите тестове, че p-стойността е по-малка от нашата алфа. Можем да отхвърлим нулевата си хипотеза и с 95% увереност да приемем нашата алтернативна хипотеза.

Благодаря ви за четенето! За по-задълбочено тестване на хипотези можете да разгледате този групов проект в GitHub, в който участвах в тестване на хипотези.

ресурси:

Пещи, Матю. „Статистика и„ Научен метод “, получени от YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Въведение в SAS. UCLA: Статистическа консултантска група. от https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (достъпен май 16, 2019).

Наръчник за инженерна статистика. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm