Estymacja punktowa i przedziałowa

Poprzednia lekcja skończyła się na centralnym twierdzeniu granicznym i wzorze, w którego mianowniku stało $\sigma/\sqrt{n}$. Ta lekcja jest o tym, do czego ten mianownik służy: do wnioskowania o całej populacji na podstawie próby.

Pytanie jest praktyczne. Zbadano tysiąc osób, a wniosek ma dotyczyć trzydziestu milionów. Co dokładnie wolno powiedzieć — i z jaką dokładnością?

Próba, populacja, estymator

Rozróżnienie populacji i próby wprowadziła lekcja o wariancji; tutaj jest ono narzędziem, a nie tematem. Warto tylko utrwalić notację, bo od tego miejsca konsekwentnie rozdzielamy dwa światy:

Litery greckie są parametrami — stałymi liczbami, których nie znamy. Litery łacińskie są statystykami — liczbami policzonymi z próby, a więc losowymi: druga próba da inne.

Estymator to przepis na oszacowanie parametru ze statystyki. Naturalnym estymatorem średniej w populacji jest średnia z próby:

Daszek nad literą oznacza „oszacowanie". To jest estymacja punktowa: jedna liczba. I jest z nią zasadniczy kłopot — przy zmiennej ciągłej prawdopodobieństwo, że trafiliśmy dokładnie, wynosi zero. Sama liczba nie mówi więc nic o tym, jak bardzo się mylimy.

Nieobciążoność, czyli po co jest dzielnik n − 1

Estymator jest nieobciążony, jeżeli jego wartość oczekiwana równa się szacowanemu parametrowi:

Nie znaczy to, że trafia — znaczy, że myli się w obie strony po równo, więc uśredniony po wielu próbach trafia. Estymator obciążony myli się systematycznie w jedną stronę i żadna liczba powtórzeń tego nie naprawi.

Średnia z próby jest nieobciążona, bo $E(\bar{x}) = \mu$. Ciekawszy przypadek to wariancja — i tu wraca dzielnik, który lekcja o wariancji podała bez pełnego uzasadnienia:

Powód jest taki. Odchylenia liczymy od $\bar{x}$, a nie od nieznanego $\mu$. Ale $\bar{x}$ jest średnią akurat tych punktów, więc leży do nich bliżej niż prawdziwe $\mu$ — suma kwadratów odchyleń od średniej z próby jest najmniejsza z możliwych. Dzieląc przez $n$, dostalibyśmy więc liczbę systematycznie za małą. Poprawka $n-1$ jest dobrana dokładnie tak, żeby

Nazywa się to liczbą stopni swobody: mając $\bar{x}$, ostatnie odchylenie da się wyliczyć z pozostałych, bo odchylenia sumują się do zera. Niezależnych informacji o rozrzucie jest zatem $n-1$, a nie $n$.

Błąd standardowy średniej

Skoro $\bar{x}$ jest liczbą losową, ma własny rozkład — i to jest rozkład próbkowy średniej. Centralne twierdzenie graniczne z poprzedniej lekcji mówi o nim wszystko, czego potrzebujemy: jest w przybliżeniu normalny, ma tę samą średnią $\mu$ i odchylenie standardowe

Ta wielkość nazywa się błędem standardowym średniej i trzeba ją odróżniać od odchylenia standardowego:

• $\sigma$ mierzy rozrzut danych i nie zależy od tego, ile ich zebrano;
• $\mathrm{SE}$ mierzy rozrzut średniej i maleje wraz z liczebnością próby.

Zdanie „ludzie mają wzrost $175 \pm 7$ cm" mówi o odchyleniu. Zdanie „średni wzrost wynosi $175 \pm 0,7$ cm" mówi o błędzie standardowym. To dwa zupełnie różne twierdzenia i pomylenie ich jest najczęstszym błędem całego wnioskowania statystycznego.

Przedział ufności dla średniej

Skoro $\bar{x}$ ma rozkład w przybliżeniu normalny o odchyleniu $\mathrm{SE}$, to z reguły trzech sigm wiemy, jak daleko od $\mu$ zwykle pada. Odwracając to zdanie, dostajemy przedział ufności:

Współczynnik $z$ dobiera się do żądanego poziomu ufności:

Wartość $1,96$ warto rozpoznać: to dokładna wersja „dwóch sigm" z reguły 68–95–99,7. Połowę szerokości przedziału nazywa się marginesem błędu:

Co dokładnie znaczy „95 procent"

To jest miejsce, w którym najłatwiej powiedzieć rzecz nieprawdziwą, więc warto je rozstrzygnąć rysunkiem.

Rysunek pokazuje to, czego zdanie nie potrafi: losowy jest przedział, a nie parametr. Prawdziwa średnia $\mu$ jest stałą liczbą i albo leży w danym przedziale, albo nie leży — nie ma tu żadnego prawdopodobieństwa. Losowa jest próba, a więc i przedział, który z niej zbudowaliśmy.

Poprawne zdanie brzmi: procedura, która wyprodukowała ten przedział, trafia w 95 przypadkach na 100. Do zdania nieprawdziwego wracamy w sekcji o nadużyciach, bo jest to najczęstsze przekłamanie w całej statystyce stosowanej.

Ile obserwacji potrzeba

Wzór na margines błędu czyta się też od tyłu. Jeżeli z góry wiemy, jak wąski przedział nam wystarczy, to

Kluczowy jest kwadrat: dokładność wchodzi do liczebności w drugiej potędze. Przedział dwa razy węższy kosztuje próbę cztery razy większą, dziesięć razy węższy — sto razy większą.

To jest też odpowiedź na pytanie, dlaczego sondaże robi się na próbach rzędu tysiąca osób. Pierwsze trzy punkty procentowe dokładności są tanie; każdy następny kosztuje czterokrotnie więcej niż poprzedni.

Gdzie ta matematyka bywa nadużywana

Cztery nadużycia, każde z nazwą, bo nazwane łatwiej rozpoznać.

1. „Z prawdopodobieństwem 95 procent parametr leży w przedziale"

Najczęstsze przekłamanie w całej statystyce stosowanej i zdanie, które pada nawet w podręcznikach. Jest nieprawdziwe w języku, w którym pracujemy: $\mu$ nie jest zmienną losową, więc zdanie „$\mu \in (31\%;\ 37\%)$" nie ma prawdopodobieństwa — jest po prostu prawdziwe albo fałszywe.

Sprostowanie: procent odnosi się do procedury, nie do konkretnego przedziału. Poprawnie: „gdyby badanie powtórzyć wielokrotnie, około 95 procent tak zbudowanych przedziałów pokryłoby $\mu$". Interpretacja, w której parametr jest losowy, jest osobnym podejściem — bayesowskim — i wtedy nazywa się to przedziałem wiarygodnym, a nie ufności, i liczy zupełnie inaczej.

2. Margines błędu bez poziomu ufności

„Margines błędu wynosi 3 punkty" nie jest kompletną informacją: przy tej samej próbie margines na poziomie $99\%$ jest o połowę większy niż na $90\%$. Podanie samej liczby pozwala wybrać poziom ufności po obejrzeniu wyniku.

Sprostowanie: margines błędu podaje się zawsze razem z poziomem ufności, a poziom ustala się przed zebraniem danych.

3. Przedział ufności mylony z zakresem obserwacji

„Przedział ufności dla średniej wzrostu to $(174,3;\ 175,7)$ cm" nie znaczy, że 95 procent ludzi ma wzrost z tego przedziału. Mówi wyłącznie o średniej, a nie o pojedynczej osobie — i dlatego jest tak wąski. Zakres, w którym mieści się 95 procent obserwacji, to zupełnie inna rzecz, liczona z $\sigma$, a nie z $\sigma/\sqrt{n}$, i przy $n = 400$ jest dwadzieścia razy szerszy.

Sprostowanie: przedział ufności dotyczy parametru, przedział predykcyjny — przyszłej obserwacji. Mylenie ich to dokładnie mylenie $\sigma$ z $\sigma/\sqrt{n}$.

4. Margines błędu jako gwarancja jakości próby

Ten jest najkosztowniejszy. Wzór $z\sigma/\sqrt{n}$ mierzy wyłącznie błąd losowania — zakłada, że próba jest losowa i że wszyscy wylosowani odpowiedzieli. Nie mierzy ani obciążenia doboru, ani odmów odpowiedzi, ani źle zadanego pytania. Ankieta internetowa z pięćdziesięcioma tysiącami wypełnień ma znikomy margines błędu i może być bezwartościowa, bo wypełniali ją ci, którzy chcieli.

Sprostowanie: margines błędu jest granicą dolną niepewności, a nie górną. Zebranie większej próby zawęża go i nie usuwa ani jednego błędu systematycznego.

Zadania

Pierwszy zestaw idzie w kolejności, w jakiej liczy się takie zadanie. Prompt s/√n podaje odchylenie i liczebność, a prosi o błąd standardowy — czyli o ten jeden krok, który odróżnia rozrzut danych od rozrzutu średniej. Prompt „przedział ufności" podaje $\bar{x}$, $\sigma$, $n$ oraz $z$, a odpowiedzią jest para liczb w nawiasie, od lewego końca: przedział jest uporządkowany, więc wpisany na odwrót nie przechodzi.

Trzeci prompt czyta tę samą zależność w obie strony: raz pyta o margines błędu przy danym $n$, raz o wymaganą liczebność próby przy danym marginesie. Liczebność wychodzi w tych zadaniach całkowita, bo dane są dobrane wstecz od odpowiedzi.

Drugi zestaw jest autorski i pyta nie o rachunek, tylko o zachowanie przedziału: jak reaguje na zmianę liczebności próby, ile przedziałów chybia przy danym poziomie ufności, ile wynosi obciążenie estymatora nieobciążonego. Generator tego nie losuje, bo to są własności procedury, a nie wyniki pojedynczego zadania.

Rozstrzygnięcie „czy tak zbudowany przedział w ogóle wolno tu policzyć" nie ma liczby za odpowiedź i zostaje treścią — cztery sytuacje, w których odpowiedź brzmi „nie", masz w sekcji o nadużyciach.

Częste błędy

• Mylenie $\sigma$ z $\sigma/\sqrt{n}$ — pierwsze mierzy rozrzut danych, drugie rozrzut średniej; pomyłka zawyża przedział $\sqrt{n}$-krotnie i jest błędem numer jeden tej lekcji.
• „Z prawdopodobieństwem 95 procent średnia leży w tym przedziale" — losowy jest przedział, nie parametr; procent opisuje procedurę powtarzaną wielokrotnie.
• Mnożenie przez $z$ przed podzieleniem przez $\sqrt{n}$ — kolejność nie zmienia wyniku, ale pominięcie dzielenia zmienia; sprawdź, czy w mianowniku naprawdę stoi pierwiastek.
• Zaokrąglanie wymaganej liczebności w dół — $61,5$ obserwacji znaczy $62$; zaokrąglenie w dół daje margines większy niż żądany.
• Traktowanie przedziału ufności jak zakresu obserwacji — ten pierwszy dotyczy średniej i przy dużym $n$ jest bardzo wąski; zakres, w którym leży 95 procent jednostek, liczy się z $\sigma$.
• Uznawanie małego marginesu błędu za dowód rzetelności badania — margines mierzy tylko błąd losowania i nie widzi ani obciążenia doboru, ani odmów odpowiedzi.
• Używanie $z$ przy małej próbie i nieznanym $\sigma$ — poniżej mniej więcej trzydziestu obserwacji właściwy jest rozkład t-Studenta o $n-1$ stopniach swobody, którego wartości krytyczne są większe.