Testowanie hipotez, p-wartość i błędy dwóch rodzajów

Poprzednia lekcja odpowiadała na pytanie ile — jaka jest średnia i z jaką dokładnością ją znamy. Ta odpowiada na pytanie czy: czy zaobserwowana różnica jest realna, czy mieści się w granicach przypadku.

Nowy wariant strony konwertuje $4{,}8\%$ zamiast $4{,}0\%$. Automat nasypuje $499{,}4$ g zamiast $500$. Lek obniżył ciśnienie o $5$ mmHg. Za każdym razem pytanie jest to samo: czy to jest efekt, czy szum.

Dwie hipotezy

Test zaczyna się od pary twierdzeń o populacji:

Hipoteza zerowa $H_0$ mówi, że nic się nie dzieje: średnia jest równa wartości nominalnej, warianty konwertują tak samo, lek nie działa. Hipoteza alternatywna $H_1$ mówi, że jednak coś się dzieje.

Ta para jest niesymetryczna, i to jest pierwsza rzecz, którą trzeba zrozumieć:

• $H_0$ zawsze zawiera równość, bo tylko wtedy da się policzyć rozkład statystyki testowej. Zapis $\mu = 500$ wyznacza jeden konkretny rozkład; zapis $\mu \neq 500$ — nieskończenie wiele.
• $H_0$ obowiązuje dopóki dane jej nie obalą. Test nigdy nie „dowodzi" $H_0$; może ją co najwyżej odrzucić albo nie odrzucić. To jest ta sama asymetria co w sądzie: niewinność zakłada się do czasu dowodu winy, a wyrok uniewinniający nie znaczy „udowodniono niewinność".

Hipoteza alternatywna bywa też jednostronna ($H_1: \mu > \mu_0$), gdy z góry interesuje nas odchylenie w jedną stronę — na przykład czy lek obniża ciśnienie, a nie czy je zmienia. Kierunek trzeba wtedy ustalić przed zobaczeniem danych; wracamy do tego w sekcji o nadużyciach.

Statystyka testowa

Skoro $H_0$ wyznacza rozkład, można sprawdzić, jak nietypowa jest nasza próba względem tego rozkładu. Miarą nietypowości jest statystyka testowa:

W liczniku jest odchylenie próby od hipotezy, w mianowniku — błąd standardowy z poprzedniej lekcji. Iloraz mówi więc, o ile błędów standardowych średnia z próby odbiega od tego, co twierdzi $H_0$.

Podzielenie przez $\sqrt{n}$ jest tu istotą rzeczy: to samo odchylenie $0{,}6$ g przy $n = 4$ jest niczym, a przy $n = 100$ jest alarmem. Dokładnie ten krok odróżnia statystykę testową od zwykłej standaryzacji pojedynczej obserwacji z lekcji o rozkładzie normalnym.

Obszar odrzuceń i poziom istotności

Trzeba jeszcze ustalić, jak bardzo nietypowa próba wystarcza do odrzucenia $H_0$. Granicę wyznacza poziom istotności $\alpha$ — dopuszczalne prawdopodobieństwo fałszywego alarmu.

Reguła decyzyjna jest jednym porównaniem:

Wartości są te same, które lekcja o estymacji dobierała do poziomu ufności — i to nie jest zbieg okoliczności. Do związku obu rachunków wracamy za chwilę.

Dla automatu z przykładu $|z| = 3 > 1{,}96$, więc odrzucamy hipotezę, że automat sypie $500$ g.

p-wartość

Porównanie z granicą daje odpowiedź „tak/nie", ale gubi informację o tym, jak bardzo wynik jest skrajny. Tę informację niesie p-wartość:

Słownie: prawdopodobieństwo zaobserwowania danych co najmniej tak skrajnych jak nasze, przy założeniu, że $H_0$ jest prawdziwa. Im mniejsza, tym gorzej dane pasują do hipotezy zerowej.

Regułę decyzyjną można więc zapisać drugi raz, równoważnie: odrzucamy $H_0$, gdy $p < \alpha$. Trzy liczby z reguły trzech sigm wystarczają do czytania p-wartości bez tablic:

| $\lvert z

Kierunek warunkowania w definicji p-wartości jest wszystkim i wrócimy do niego w sekcji o nadużyciach: $p = P(\text{dane} \mid H_0)$, a nie $P(H_0 \mid \text{dane})$. To jest ta sama różnica co między $P(A|B)$ a $P(B|A)$ z lekcji o prawdopodobieństwie warunkowym.

Dwa rodzaje błędu

Decyzja podejmowana na podstawie próby może być błędna na dwa sposoby — i to są zupełnie różne błędy:

• Błąd I rodzaju — fałszywy alarm: ogłaszamy efekt, którego nie ma. Jego prawdopodobieństwo to $\alpha$ i ustalamy je sami, z góry.
• Błąd II rodzaju — przeoczenie: efekt istnieje, a my go nie wykrywamy. Jego prawdopodobieństwo $\beta$ zależy od tego, jak duży jest efekt i jak liczna jest próba.
• Moc testu to $1 - \beta$ — szansa wykrycia efektu, który naprawdę istnieje. Praktyczna granica przyzwoitości to $0{,}80$.

Rysunek pokazuje rzecz, której tabela nie odda: oba błędy walczą o tę samą granicę. Przesunięcie kreski w prawo (zaostrzenie $\alpha$) zmniejsza zacieniowany ogon i jednocześnie powiększa część prawej krzywej po lewej stronie kreski. Jedynym sposobem na zmniejszenie obu naraz jest rozsunięcie krzywych albo ich zwężenie — czyli większy efekt albo większa próba.

Test a przedział ufności

Oba rachunki tej i poprzedniej lekcji są tym samym rachunkiem, zapisanym z dwóch stron:

Test dwustronny na poziomie $\alpha$ odrzuca $H_0: \mu = \mu_0$ dokładnie wtedy, gdy $\mu_0$ leży poza przedziałem ufności na poziomie $1 - \alpha$.

Dlatego coraz więcej czasopism wymaga podawania przedziału obok p-wartości: przedział mówi, jak duży jest efekt i z jaką dokładnością został zmierzony, a p-wartość tylko, czy przekroczył próg.

Gdzie ta matematyka bywa nadużywana

To jest najbardziej nadużywany rachunek w całej nauce, więc nadużyć jest pięć.

1. p-wartość czytana jako prawdopodobieństwo hipotezy

„$p = 0{,}03$, więc jest tylko 3 procent szans, że hipoteza zerowa jest prawdziwa." Nieprawda, i to zamiana warunkowania miejscami: $p$ to $P(\text{dane} \mid H_0)$, a to zdanie mówi o $P(H_0 \mid \text{dane})$.

Sprostowanie: poprawnie brzmi to tak: „gdyby $H_0$ była prawdziwa, dane tak skrajne jak nasze pojawiałyby się w 3 procentach badań". Żeby powiedzieć cokolwiek o prawdopodobieństwie samej hipotezy, potrzeba prawdopodobieństwa a priori i wzoru Bayesa — a test tej drogi nie przechodzi. Przy hipotezach rzadko prawdziwych z góry, $P(H_0 \mid \text{dane})$ potrafi przy $p = 0{,}03$ wynosić kilkadziesiąt procent.

2. „Brak dowodu" czytany jako „dowód braku"

„$p = 0{,}31$, więc lek nie działa." Nie: $p = 0{,}31$ znaczy, że te dane nie wystarczyły do odrzucenia $H_0$. Może efektu nie ma — a może próba była za mała, żeby go wykryć, czyli test miał niską moc.

Sprostowanie: konkluzja brzmi „nie odrzucamy $H_0$", nigdy „potwierdzamy $H_0$". Jeśli naprawdę chcemy wykazać brak efektu, służy do tego test równoważności albo przedział ufności, który wyklucza każdy efekt istotny praktycznie.

3. Istotność statystyczna mylona z ważnością

Przy dostatecznie dużej próbie każda różnica staje się istotna statystycznie, bo błąd standardowy maleje jak $1/\sqrt{n}$. Przy milionie obserwacji różnica konwersji o $0{,}01$ punktu procentowego da $p < 0{,}001$ — i będzie kompletnie bez znaczenia dla biznesu.

Sprostowanie: istotność mówi „to nie jest szum", a nie „to jest ważne". Wielkość efektu i jego przedział ufności są osobną, równie potrzebną informacją; próg ważności praktycznej ustala dziedzina, nie statystyka.

4. p-hacking i wielokrotne testowanie

Jeżeli wykonamy dwadzieścia niezależnych testów przy $\alpha = 0{,}05$, a wszystkie hipotezy zerowe są prawdziwe, to średnio jeden wyjdzie istotny. Nie dlatego, że coś odkryto, tylko dlatego, że tak zdefiniowano $\alpha$. Ta sama arytmetyka stoi za dokładaniem obserwacji „aż wyjdzie", usuwaniem wartości odstających po fakcie, testowaniem wielu zmiennych i szukaniem podgrupy, w której się udało.

Sprostowanie: hipoteza i plan analizy ustalane przed zebraniem danych, a przy wielu testach poprawka na wielokrotność — najprostsza jest reguła Bonferroniego, dzieląca $\alpha$ przez liczbę testów. Preregistracja badania jest praktyczną wersją tej samej zasady.

5. Wybór hipotezy po zobaczeniu danych

Zamiana testu dwustronnego na jednostronny po obejrzeniu kierunku odchylenia podwaja deklarowane $\alpha$: wynik z $p = 0{,}08$ dwustronnie staje się „istotny" z $p = 0{,}04$. Ta sama sztuczka pod nazwą HARKing polega na sformułowaniu hipotezy tak, żeby pasowała do znalezionego wzorca, i przedstawieniu jej jako postawionej z góry.

Sprostowanie: kierunek testu i sama hipoteza są częścią planu, a nie wyniku. Analiza, która znalazła wzorzec, nie może go tym samym zestawem danych potwierdzić — potrzebna jest nowa próba.

Zadania

Pierwszy zestaw prowadzi przez trzy kroki jednego testu. Prompt z podaje $\bar{x}$, $\mu_0$, $\sigma$ i $n$, a prosi o statystykę testową — pamiętaj o podzieleniu $\sigma$ przez $\sqrt{n}$, bo bez tego kroku liczysz standaryzację pojedynczej obserwacji, a nie średniej.

Prompt „p-wartość" podaje $z$ i pyta o pole ogona, w procentach, raz jednostronnie i raz dwustronnie; obie wersje czytasz z reguły trzech sigm. Trzeci prompt podaje dodatkowo wartość krytyczną $z^{*}$ i pyta o werdykt: odpowiedzią jest symbol hipotezy, która zostaje — H₀ albo H₁. Możesz wpisać H0 i H1.

Drugi zestaw jest autorski i pyta o to, czego generator nie liczy: o związek $\alpha$ z błędem I rodzaju, mocy z błędem II rodzaju, o odczyt werdyktu wprost z p-wartości i z przedziału ufności oraz o arytmetykę wielokrotnego testowania. Tam, gdzie odpowiedzią jest hipoteza, wpisz H₀ albo H₁.

Nazwanie błędu I i II rodzaju w konkretnej sytuacji nie ma liczby za odpowiedź i zostaje treścią — tabela wyżej rozstrzyga wszystkie cztery przypadki.

Częste błędy

• Czytanie p jako prawdopodobieństwa hipotezy zerowej — $p = P(\text{dane} \mid H_0)$, nie odwrotnie; zamiana warunkowania miejscami to ten sam błąd co pomylenie $P(A|B)$ z $P(B|A)$.
• Konkluzja „udowodniliśmy, że efektu nie ma" — test może $H_0$ tylko odrzucić albo nie odrzucić; brak dowodu nie jest dowodem braku.
• Mylenie istotności z ważnością — przy dużej próbie istotna staje się każda różnica, także zupełnie nieistotna praktycznie.
• Ustalanie $\alpha$ albo kierunku testu po obejrzeniu danych — jedno i drugie unieważnia deklarowany poziom istotności; przejście na test jednostronny po fakcie podwaja go.
• Pominięcie $\sqrt{n}$ w mianowniku statystyki — bez tego liczysz standaryzację pojedynczej obserwacji, a test dotyczy średniej z próby.
• Powtarzanie testu aż do sukcesu — dwadzieścia testów przy $\alpha = 0{,}05$ daje średnio jeden wynik istotny nawet wtedy, gdy nie ma czego wykrywać.
• Zaostrzanie $\alpha$ bez patrzenia na moc — mniejsze $\alpha$ zawsze podnosi $\beta$; oba maleją naraz tylko przy większej próbie.