Człowiek średni nie istnieje

Zdanie „przeciętny Polak zarabia X" jest wygodne, chwytliwe i — przy odrobinie pecha — nie opisuje żadnego realnego człowieka. Nie dlatego, że ktoś się pomylił w dodawaniu. Cała statystyka opisowa opiera się na jednej transakcji: oddajesz informację o strukturze zbioru, dostajesz w zamian jedną liczbę, którą da się wydrukować w nagłówku. Transakcja bywa świetnym interesem, ale nigdy nie jest darmowa. Ten tekst jest warstwą narracyjną nad naszym działem o statystyce i prawdopodobieństwie — o tym, co dokładnie w tej transakcji ginie, kto pierwszy to zauważył i w których miejscach intuicja przestaje działać.

Siedem liczb, trzy odpowiedzi

Najkrótszy możliwy dowód, że „wartość typowa" nie jest jedną rzeczą, mieści się w siedmiu liczbach. Weźmy zbiór X = {2, 2, 2, 5, 7, 10, 77}.

Trzy poprawnie policzone miary, trzy zupełnie różne liczby, jeden zbiór. Co więcej, sześć z siedmiu obserwacji leży poniżej średniej — liczba 15 nie jest ani typowa, ani środkowa, ani nawet bliska czemukolwiek, co w tym zbiorze faktycznie występuje. Jest natomiast punktem, w którym zbiór by się zrównoważył, gdyby ustawić go na desce.

To nie jest patologia wymyślonego przykładu. Rozkład zarobków, cen mieszkań czy czasów oczekiwania jest prawostronnie skośny: mniejszość osiąga wartości wielokrotnie wyższe od reszty i to ona przeciąga średnią. Dlatego GUS podaje przy wynagrodzeniach obie liczby — mediana bywa niższa od średniej o kilkanaście procent, a poniżej średniej mieści się około dwóch trzecich zatrudnionych. Mediana ma tu jedną własność, której średnia nie ma nigdy: dzieli populację dokładnie na pół. Mechanikę obu miar, razem z dominantą i tym, kiedy którą wybrać, rozpisujemy w lekcji o średniej, medianie i dominancie.

Zanim ktokolwiek to policzył

Statystyka nie zaczęła się od wzorów, tylko od list zgonów. W 1662 roku londyński kupiec John Graunt opublikował Natural and Political Observations Made upon the Bills of Mortality — analizę cotygodniowych zestawień pogrzebów, prowadzonych w Londynie na potrzeby ostrzegania przed zarazą. Graunt zrobił rzecz, która dziś wydaje się oczywista, a wtedy była nowa: potraktował chaotyczny zbiór pojedynczych losów jak obiekt o własnej, stabilnej strukturze. Zauważył, że proporcja narodzin chłopców do dziewcząt trzyma się rok po roku (podawał ją jako mniej więcej 14 do 13), i zbudował zestawienie, ile z setki urodzonych dożywa kolejnych dekad.

Warto tu być ostrożnym z superlatywami, bo popularne wersje tej historii lubią je mnożyć. Tablica Graunta powstała w dużej mierze na założeniach, a nie na rzeczywistych danych o wieku zmarłych — tych po prostu nie zbierano; za pierwszą tablicę wymieralności opartą na realnych zapisach wieku uchodzi zwykle wrocławska tablica Edmonda Halleya z 1693 roku. Sporny jest też udział Williama Petty'ego, przyjaciela Graunta i autora terminu „arytmetyka polityczna". Bezsporne zostaje to, co naprawdę było przełomem: pomysł, że o populacji można powiedzieć coś pewnego, nie wiedząc nic pewnego o żadnej pojedynczej osobie.

Człowiek średni i jego cień

Dwa wieki później belgijski astronom Adolphe Quetelet postawił krok dalej — i przy okazji zafundował statystyce jej najtrwalszy błąd interpretacyjny. W pracy z 1835 roku wprowadził pojęcie l'homme moyen, „człowieka średniego": bytu, którego wzrost, obwód klatki piersiowej, a nawet skłonność do przestępstwa są wartościami przeciętnymi populacji. Przy okazji zaproponował iloraz masy ciała do kwadratu wzrostu — wskaźnik Queteleta, przechrzczony w 1972 roku przez Ancela Keysa na BMI.

Zarzut, który postawiono l'homme moyen, nazywa się reifikacją: nadaniem abstraktowi statusu rzeczy. Człowiek średni nie istnieje, bo nikt nie ma jednocześnie wszystkich cech dokładnie na poziomie średniej — a im więcej cech uwzględnimy, tym pewniejsze, że zbiór takich ludzi jest pusty. Drugi zarzut jest poważniejszy: Quetelet miejscami traktował przeciętność jak wzorzec, od którego odchylenie jest defektem. Ten sam błąd popełnia dziś każdy, kto czyta BMI jako diagnozę pojedynczego pacjenta — wskaźnik był projektowany do opisu populacji, i to populacji dziewiętnastowiecznej Europy. Sam iloraz wymaga zresztą sprowadzenia masy i wzrostu do jednego układu jednostek; kilogramy i funty przelicza konwerter masy.

Z tej samej epoki pochodzi krzywa dzwonowa. Rozkład normalny wyrósł nie z demografii, lecz z błędów pomiarowych w astronomii i geodezji: jeśli na wynik wpływa wiele drobnych, niezależnych zakłóceń, ich suma układa się w charakterystyczny dzwon. Nazwisko przylgnęło do Gaussa (1809), choć krzywą opisał pierwszy Abraham de Moivre w 1733 roku jako przybliżenie rozkładu dwumianowego, a niezależnie rozwijał ją Laplace — podręcznikowy przykład prawa Stiglera, wedle którego odkrycie rzadko nosi nazwisko odkrywcy. Zmaganie z niespójnymi pomiarami południka, które opisujemy w historii metra, było jednym z poligonów, na których ta teoria dojrzewała.

Ile naprawdę mówi odchylenie standardowe

Dwa zbiory mogą mieć identyczną średnią i nie mieć ze sobą nic wspólnego. Do opisania różnicy służy rozproszenie, a jego standardowa miara powstaje w trzech krokach: liczymy odchylenia od średniej, podnosimy je do kwadratu, uśredniamy — i wyciągamy pierwiastek.

Kwadrat nie jest tu ozdobnikiem. Bez niego rachunek się zawala, bo z samej definicji średniej suma zwykłych odchyleń wynosi zero — dodatnie i ujemne znoszą się co do grosza. Kwadrat załatwia znaki, ale robi też coś drugiego: karze duże odchylenia nieproporcjonalnie mocno. Obserwacja oddalona o 10 waży sto razy więcej niż oddalona o 1.

I tu wchodzi zdanie, które w popularnych objaśnieniach powtarza się najczęściej i jest fałszywe: że odchylenie standardowe to „przeciętna odległość obserwacji od średniej". Nie jest. Przeciętna odległość to zupełnie inna miara — średnie odchylenie bezwzględne. Dla naszych siedmiu liczb wynosi ona 17,71, podczas gdy odchylenie standardowe populacji to 25,47. Różnica nie jest przypadkiem ani błędem zaokrąglenia: pierwiastek ze średniej kwadratów jest zawsze co najmniej tak duży jak średnia wartości bezwzględnych, a im bardziej zbiór jest „poszarpany", tym bardziej się rozjeżdżają.

Skoro wartość bezwzględna też załatwiłaby znaki — dlaczego wygrał kwadrat? Z powodów, które są matematyczne, ale nie są koniecznością: kwadrat jest różniczkowalny wszędzie (wartość bezwzględna nie jest w zerze), a wariancje niezależnych wielkości po prostu się dodają, czego o średnich odchyleniach bezwzględnych powiedzieć nie można. To wybór narzędzia o dobrych własnościach, a nie prawo natury.

Osobnej uczciwości wymaga słynny dzielnik n − 1. Dla naszego zbioru dzielenie sumy kwadratów 4540 przez 7 daje wariancję populacyjną 648,57, a przez 6 — wariancję próbkową 756,67. Powód nie jest kosmetyczny: punkty próby są z definicji bliżej własnej średniej niż nieznanej średniej populacji, bo to właśnie średnia z próby minimalizuje sumę kwadratów odchyleń. Dzielnik n dawałby więc estymator systematycznie zaniżony; wyznaczenie średniej zużywa jeden stopień swobody, zostaje ich n − 1. Ale — i to jest część, którą podręczniki gubią — poprawka Bessela daje nieobciążoną wariancję, a nie nieobciążone odchylenie standardowe. Pierwiastek jest funkcją wklęsłą, więc s mimo wszystko zaniża σ. Poza tym nieobciążoność to jedno kryterium z kilku: gdyby zależało nam na minimalizacji błędu średniokwadratowego, lepszy bywa dzielnik n + 1. Dlaczego kwadraty, skąd pierwiastek i co dokładnie robi n − 1, rozkładamy na czynniki w lekcji o wariancji i odchyleniu standardowym.

Rok 1654 i to, co było przed nim

Za moment narodzin rachunku prawdopodobieństwa uchodzi letnia korespondencja Blaise'a Pascala z Pierre'em de Fermat z 1654 roku. Punktem wyjścia był problem podziału stawki: jak sprawiedliwie podzielić pulę gry przerwanej, zanim ktokolwiek wygrał? Odpowiedź, którą wypracowali — dzielić według szans na dokończenie gry, a nie według dotychczasowych punktów — jest w istocie pojęciem wartości oczekiwanej.

Data jest jednak umową porządkującą, nie przełomem z niczego. Problem podziału stawki krążył po traktatach włoskich od co najmniej Luki Pacioliego (1494), mierzyli się z nim Tartaglia i Cardano. Ten ostatni napisał Liber de ludo aleae około 1564 roku — ale rzecz wydrukowano dopiero w 1663, czyli po Pascalu i Fermacie, więc na ich pracę nie mogła wpłynąć. Domknięcie przyszło trzy wieki później: w 1933 roku Andriej Kołmogorow w Grundbegriffe der Wahrscheinlichkeitsrechnung osadził prawdopodobieństwo na teorii miary, zamieniając intuicyjne definicje na trzy aksjomaty. Dopiero od tego momentu zdanie „prawdopodobieństwo należy do przedziału [0, 1]" jest twierdzeniem, a nie obserwacją.

Liczenie, zanim się podzieli

Klasyczna definicja Laplace'a jest prosta aż do złudzenia: P(A) = |A| / |Ω|, liczba zdarzeń sprzyjających przez liczbę wszystkich. Cały ciężar spoczywa na dwóch rzeczach, które łatwo przeoczyć. Po pierwsze, na założeniu ekwiprawdopodobieństwa — wszystkie zdarzenia elementarne muszą być jednakowo prawdopodobne. Rzetelna kostka i przetasowana talia spełniają je z definicji; pogoda, ceny i choroby nie spełniają go prawie nigdy. Po drugie, na umiejętności policzenia obu liczności, a to już jest kombinatoryka.

Cała tabela sprowadza się do dwóch pytań zadanych po kolei: czy zamiana miejscami daje inny wynik, i czy element wolno wziąć dwa razy. Lotto jest kombinacją, bo kolejność losowania kul nie ma znaczenia: C(49, 6) = 13 983 816. Jeden zakład daje więc prawdopodobieństwo 1 / 13 983 816 ≈ 7,15 × 10⁻⁸ — mniej więcej jedna czternastomilionowa. Wszystkie cztery struktury z przykładami rozpisujemy w kombinatoryce, a samą definicję Laplace'a wraz z jej granicami — w lekcji o prawdopodobieństwie klasycznym.

Trzy razy, gdy intuicja się myli

Paradoks dnia urodzin. Ilu osób trzeba, by szansa na dwoje ludzi z tą samą datą urodzin przekroczyła połowę? Odpowiedź brzmi 23 i brzmi absurdalnie, dopóki nie zmieni się pytania. Liczymy zdarzenie przeciwne — wszyscy mają różne daty — i dla n = 23 wychodzi 0,4927, czyli szukane prawdopodobieństwo to 0,5073. Klucz leży w tym, że instynktownie pytamy „czy ktoś ma urodziny w mój dzień", a naprawdę pytamy o dowolną parę. W grupie 23 osób par jest C(23, 2) = 253. Przy 50 osobach prawdopodobieństwo dobija do 97%.

Problem Monty'ego Halla. Trzy bramki, za jedną nagroda. Wybierasz jedną, prowadzący otwiera jedną z pozostałych i pokazuje pustą, po czym proponuje zmianę. Zmiana podnosi szansę z 1/3 na 2/3, co przez lata doprowadzało do furii ludzi z doktoratami. Cała rzecz w tym, że prowadzący nie losuje — wie, gdzie jest nagroda, i jest zmuszony otworzyć pustą bramkę. Jeśli pierwszy strzał był chybiony (a jest chybiony w dwóch przypadkach na trzy), to po eliminacji zostaje dokładnie nagroda. Zmieniasz — wygrywasz zawsze wtedy, gdy na starcie się pomyliłeś.

Paradoks Simpsona. Ten jest z całej trójki najgroźniejszy, bo nie dotyczy gier, tylko realnych decyzji. Polega na tym, że zależność widoczna w podgrupach odwraca się po ich zsumowaniu. Kanoniczny przykład opisali w 1975 roku w „Science" Peter Bickel, Eugene Hammel i J. William O'Connell, badając rekrutację na studia podyplomowe w Berkeley w 1973 roku. Zbiorczo przyjęto około 44% mężczyzn i 35% kobiet spośród ponad 12 tysięcy kandydatów — liczba, która wygląda na twardy dowód dyskryminacji.

Na sześciu największych wydziałach kobiety mają wyższy odsetek przyjęć w czterech, a mimo to w wierszu zbiorczym przegrywają czternastoma punktami procentowymi. Nie ma tu żadnej sprzeczności ani błędu rachunkowego — jest zmienna zakłócająca. Kobiety częściej aplikowały na wydziały o niskim wskaźniku przyjęć dla wszystkich (patrz C, E, F), mężczyźni na te łatwiejsze (A, B). Zbiorcza średnia miesza „szansę kandydata" z „trudnością wydziału" i zwraca liczbę, która nie opisuje ani jednego, ani drugiego.

Dwa zastrzeżenia, bo ta historia bywa opowiadana zbyt gładko. Wydziały w oryginalnej publikacji są anonimowe — popularne „kobiety wybierały humanistykę, mężczyźni nauki ścisłe" to późniejsza glosa, nie ustalenie autorów. I sami autorzy nie napisali, że dyskryminacji nie było: napisali, że po poprawnym uwzględnieniu wydziału niewielkie odchylenie wychodzi na korzyść kobiet, a prawdziwe pytanie przenosi się o poziom wyżej — dlaczego kierunki, na które aplikują kobiety, są chronicznie niedofinansowane. Efekt nosi zresztą nazwisko Edwarda Simpsona (1951), choć opisali go wcześniej Pearson (1899) i Yule (1903).

Samoloty, których nikt nie zobaczył

Podczas drugiej wojny światowej analitycy badali rozmieszczenie przestrzelin na bombowcach wracających z misji, żeby wzmocnić pancerz tam, gdzie dziur było najwięcej. Abraham Wald ze Statistical Research Group zwrócił uwagę na rzecz, której w danych nie było: próba składała się wyłącznie z maszyn, które wróciły. Obszary bez dziur na ocalałych samolotach to nie miejsca, w które nie trafiano — to miejsca, po trafieniu w które samolot nie wracał. Pancerz należało dokładać tam, gdzie na danych panowała cisza.

Historia jest prawdziwa, choć w obiegu krąży w wersji podrasowanej. Wald w swoich memorandach z 1943 roku nie pisał „opancerzcie silniki" ani nie rysował słynnej sylwetki bombowca w kropki — budował metodę szacowania podatności na zestrzelenie na podstawie uszkodzeń ocalałych. Rysunek i puenta o silnikach to dorobek późniejszych popularyzatorów. Mechanizm został jednak nazwany trafnie: błąd przetrwania to wnioskowanie z próby, z której selekcja usunęła najbardziej informatywne przypadki. Ten sam błąd stoi za każdą listą nawyków miliarderów i każdym „ta metoda działa, spytaj tych, którym zadziałała".

Katalog pułapek

Dwa z nich zasługują na rozwinięcie, bo kosztują najwięcej. Błąd hazardzisty ma nawet swoją datę: 18 sierpnia 1913 roku w kasynie w Monte Carlo kulka ruletki miała podobno paść na czarne 26 razy z rzędu, a gracze stracili fortuny, obstawiając czerwone „bo już musi". Prawdopodobieństwo takiej serii na pojedynczym zerze to (18/37)²⁶, czyli mniej więcej jeden przypadek na 137 milionów — a mimo to szansa na czerwone w rzucie dwudziestym siódmym pozostaje dokładnie taka jak w pierwszym. Kulka nie ma pamięci; ma ją tylko gracz.

Błąd prokuratora to mylenie prawdopodobieństwa warunkowego z odwrotnym. Załóżmy, że profil DNA występuje u jednej osoby na milion i że znaleziono zgodność. Prawdopodobieństwo takiej zgodności u osoby niewinnej wynosi 0,000001, co brzmi jak wyrok. Ale pytanie sądu jest odwrotne: jakie jest prawdopodobieństwo, że osoba ze zgodnym profilem jest winna? Jeśli krąg potencjalnych podejrzanych liczy milion osób, to poza sprawcą profil nosi średnio jeszcze jedna — i sam ślad daje z grubsza 50%, a nie 99,9999%. Ta sama liczba, dwa różne pytania, dwa nieporównywalne wnioski.

Warto dodać, że ostrzeżeniem przed czytaniem samych zestawień jest też kwartet Anscombe'a: cztery zbiory o niemal identycznych średnich, wariancjach i korelacji, a przy tym całkowicie różne na rysunku. Rozbieramy go w tekście o tym, dlaczego wykres funkcji nie może zawrócić.

Co jest ścisłe, a co umowne

Największa część nieporozumień wokół statystyki bierze się z pomylenia dwóch warstw: twierdzeń, które wynikają z aksjomatów, i konwencji, które przyjęto dla wygody.

Pierwsza kolumna nie podlega negocjacji. Druga podlega — i właśnie dlatego wymaga podania. Raport, który mówi „średnia", nie mówiąc, dlaczego nie mediana, ukrywa decyzję, a nie fakt.

Jedna liczba to początek pytania

Redukcja tłumu do jednej liczby jest jednym z najlepszych wynalazków w historii nauki: bez niej nie da się porównać dwóch krajów, dwóch terapii ani dwóch kwartałów. Ale każda taka liczba jest streszczeniem, a streszczenie zawsze ma autora i zawsze coś pomija. Graunt wyciągnął prawidłowość z listy pogrzebów, Quetelet zamienił ją w człowieka, którego nie ma, Wald policzył samoloty, których nikt nie widział, a Bickel pokazał, że ta sama rekrutacja daje dwie przeciwne odpowiedzi zależnie od tego, czy patrzy się na wydziały, czy na sumę.

Wniosek nie brzmi „nie ufaj statystykom". Brzmi: przy każdej pojedynczej liczbie warto zadać trzy pytania — jak bardzo dane są rozrzucone, co odpadło z próby, zanim ją policzono, i czy podgrupy mówią to samo co całość. Dopiero wtedy jedna liczba przestaje być wnioskiem, a staje się początkiem pytania.

Dalsza lektura

• John Graunt, Natural and Political Observations Made upon the Bills of Mortality (1662) — tekst źródłowy, dostępny w domenie publicznej.
• P. J. Bickel, E. A. Hammel, J. W. O'Connell, Sex Bias in Graduate Admissions: Data from Berkeley, „Science" 187 (1975), s. 398–404 — oryginał, na którym opiera się przykład paradoksu Simpsona.
• A. N. Kołmogorow, Grundbegriffe der Wahrscheinlichkeitsrechnung (1933) — trzydzieści stron, które zamknęły trzy wieki sporów.
• Abraham Wald, A Method of Estimating Plane Vulnerability Based on Damage of Survivors (memoranda z 1943, wydane w 1980) — błąd przetrwania w wersji autorskiej, bez późniejszych ozdobników.
• Amos Tversky, Daniel Kahneman, Belief in the Law of Small Numbers, „Psychological Bulletin" 76 (1971) — skąd się biorą wnioski z trzech obserwacji.
• Darrell Huff, How to Lie with Statistics (1954) — stare, złośliwe i wciąż aktualne.
• Stephen M. Stigler, The History of Statistics: The Measurement of Uncertainty before 1900 (1986) — standardowa historia dyscypliny, z prawem Stiglera włącznie.