Rozkład normalny i reguła trzech sigm

Poprzednia lekcja skończyła się na zmiennej ciągłej i wzmiance o gęstości. Jest jedna gęstość ważniejsza od wszystkich innych razem wziętych — a powodem, dla którego jest ważna, zajmiemy się w połowie lekcji.

Krzywa Gaussa

Zmienna losowa ma rozkład normalny o parametrach $\mu$ i $\sigma$, jeżeli jej gęstość dana jest wzorem

Zapisujemy to krótko $X \sim N(\mu, \sigma)$. Wzoru nie trzeba pamiętać — wystarczy rozumieć, co robią jego dwie liczby.

• $\mu$ przesuwa krzywą. Jest jednocześnie średnią, medianą i dominantą, bo dzwon jest symetryczny.
• $\sigma$ rozszerza krzywą. Jest odległością od szczytu do punktu przegięcia — miejsca, w którym zbocze przestaje się stromić, a zaczyna wypłaszczać.

Pole pod całą krzywą zawsze wynosi $1$, więc krzywa szersza musi być niższa. Prawdopodobieństwo przedziału jest polem pod krzywą nad tym przedziałem, czyli całką oznaczoną:

Ta całka nie ma postaci elementarnej — i to jest jedyny powód, dla którego rozkład normalny odczytuje się z tablic albo z reguły podanej za chwilę, zamiast liczyć.

Standaryzacja

Rozkładów normalnych jest nieskończenie wiele, po jednym dla każdej pary $(\mu, \sigma)$. Nie trzeba jednak tablicować ich wszystkich, bo każdy sprowadza się do jednego podstawieniem

Zmienna $Z$ ma wtedy rozkład standardowy $N(0, 1)$: średnią zero i odchylenie jeden. Sama liczba $z$ ma przy tym własne, bardzo użyteczne znaczenie: mówi, o ile odchyleń standardowych obserwacja leży od średniej.

Reguła trzech sigm

Trzy liczby warto znać na pamięć, bo zastępują tablice w większości sytuacji:

Reguła działa też czytana od tyłu, i tak najczęściej pyta o nią praktyka: skoro $95$ procent wyników mieści się w $\mu \pm 2\sigma$, to przedział, w którym mieści się $95$ procent paczek, sięga $\pm 4$ gramów od średniej.

Skąd bierze się ta krzywa

Dlaczego tak wiele różnych wielkości ma dokładnie ten sam kształt? Odpowiadają na to dwa twierdzenia graniczne.

Prawo wielkich liczb mówi, dokąd zmierza średnia z próby: przy rosnącej liczbie obserwacji zbliża się do wartości oczekiwanej. To ono uzasadnia, że częstość z lekcji o prawdopodobieństwie klasycznym w ogóle ma prawo przybliżać prawdopodobieństwo.

Centralne twierdzenie graniczne mówi, jak się zbliża:

Suma albo średnia wielu niezależnych wielkości o skończonej wariancji ma w przybliżeniu rozkład normalny — niezależnie od tego, jaki rozkład ma każda z nich z osobna. To jest właściwa odpowiedź na pytanie „dlaczego wszystko jest normalne": wzrost człowieka, błąd pomiaru czy czas dojazdu są wypadkową setek drobnych, niezależnych przyczyn, a wypadkowa takich składników jest normalna niemal zawsze.

Warto zauważyć w tym wzorze mianownik $\sigma/\sqrt{n}$: rozrzut średniej maleje jak pierwiastek z liczby obserwacji. Żeby zmniejszyć błąd dwukrotnie, trzeba zebrać cztery razy więcej danych.

Kiedy krzywa dzwonowa nie obowiązuje

Twierdzenie ma założenia i one bywają złamane. Trzy sytuacje warto rozpoznawać:

• Rozkłady grubopogonowe. Majątki, wielkości miast, dzienne zmiany kursów giełdowych, liczba odsłon artykułów — tam pojedyncza obserwacja potrafi przewyższyć średnią stukrotnie. Przy rozkładzie normalnym byłoby to praktycznie niemożliwe: odchylenie o $6\sigma$ ma prawdopodobieństwo rzędu jednej miliardowej, a na giełdzie takie dni zdarzają się co kilka lat.
• Składniki zależne. Twierdzenie wymaga niezależności. Gdy obserwacje wpływają na siebie nawzajem — jak paniczna wyprzedaż albo epidemia — sumy nie mają prawa być normalne.
• Jeden składnik dominujący. Jeśli wypadkowa jest w istocie jedną przyczyną plus szumem, kształt bierze się od tej przyczyny, a nie z twierdzenia granicznego.

Praktyczny wniosek jest taki, że założenie normalności trzeba uzasadnić, a nie przyjąć domyślnie. Model normalny zastosowany do rozkładu grubopogonowego systematycznie zaniża ryzyko zdarzeń skrajnych — i to jest najkosztowniejszy błąd całego tego działu.

Przybliżenie rozkładu dwumianowego

Centralne twierdzenie graniczne działa też na rozkładzie z poprzedniej lekcji. Liczba sukcesów jest sumą $n$ niezależnych prób, więc dla dużego $n$

Praktyczne kryterium brzmi $np(1-p) \geq 10$. Dla $n = 50$ i $p = \tfrac{1}{2}$ wychodzi $12{,}5$, więc przybliżenie jest dopuszczalne — i widać to na rysunku. Gdy natomiast $p$ jest bardzo małe, iloczyn ten pozostaje mały nawet przy ogromnym $n$ i wtedy właściwym przybliżeniem jest rozkład Poissona, a nie normalny.

Zadania

Zestaw ćwiczy trzy umiejętności. Prompt $z$ podaje $x$, $\mu$ i $\sigma$, a prosi o standaryzację, czyli o liczbę odchyleń standardowych między obserwacją a średnią. Prompt z przedziałem zakończony strzałką i znakiem procentu podaje $\mu$, $\sigma$ oraz krańce i pyta, jaki procent populacji tam leży — odpowiedź czytasz z reguły 68–95–99,7, sumując pasma.

Trzeci prompt czyta tę samą regułę od tyłu: podaje procent oraz $\sigma$ i pyta o $a$, czyli o zasięg przedziału $\mu \pm a$. To jest wersja, o którą pyta praktyka — „w jakim przedziale mieści się 95 procent wyników" — i dlatego stoi tu osobno.

We wszystkich trzech przypadkach odpowiedzią jest liczba, nie ułamek.

Generator nie pyta o ocenę „czy tu wolno przyjąć rozkład normalny" — to werdykt, a nie liczba. Trzy sytuacje, w których odpowiedź brzmi „nie", masz wypisane w sekcji o grubych ogonach.

Częste błędy

• Przyjmowanie normalności bez uzasadnienia — rozkłady grubopogonowe wyglądają w małej próbie zupełnie zwyczajnie, a model normalny zaniża wtedy ryzyko zdarzeń skrajnych o rzędy wielkości.
• Mylenie $\sigma$ z szerokością całego rozkładu — sigma to odległość do punktu przegięcia; realny zasięg danych to raczej $6\sigma$.
• Dzielenie przez wariancję zamiast przez odchylenie — w standaryzacji w mianowniku stoi $\sigma$, a nie $\sigma^2$; pomyłka zmienia wynik o czynnik $\sigma$.
• Stosowanie reguły trzech sigm do przedziału niesymetrycznego bez rozbicia na pasma — przedział od $-\sigma$ do $2\sigma$ to $34\% + 34\% + 13{,}5\%$, czyli $81{,}5\%$, a nie średnia z 68 i 95.
• Przybliżanie dwumianowego normalnym przy małym $np(1-p)$ — dla rzadkich zdarzeń właściwym modelem jest rozkład Poissona; krzywa normalna daje wtedy nawet ujemne oszacowania.
• Mylenie prawa wielkich liczb z „prawem serii" — średnia zbliża się do $\mu$ dlatego, że kolejne wyniki rozcieńczają odchylenia, a nie dlatego, że natura je wyrównuje. Moneta nadal nie pamięta poprzednich rzutów.