Korelacja i regresja liniowa

Cała reszta tego działu mówiła o jednej wielkości: jej średniej, rozrzucie, rozkładzie. Ta lekcja mówi o dwóch mierzonych na tych samych obiektach — metrażu i cenie mieszkania, prędkości i zużyciu paliwa, temperaturze i sprzedaży lodów.

Pytania są dwa. Czy te wielkości idą w parze — na to odpowiada współczynnik korelacji. Jak — na to odpowiada prosta regresji.

Wykres rozrzutu

Zaczyna się, jak zwykle w tym dziale, od rysunku. Każdy obiekt daje jeden punkt $(x_i, y_i)$:

Wykres rozrzutu jest pierwszym krokiem, a nie ozdobą. Wszystkie liczby poniżej dadzą się policzyć bez patrzenia na rysunek i wszystkie potrafią wtedy skłamać — do czego wracamy w sekcji o nadużyciach.

Współczynnik korelacji Pearsona

Punkt wyjścia to suma iloczynów odchyleń od obu średnich:

Iloczyn jest dodatni, gdy obie współrzędne odchylają się w tę samą stronę (oba ponad średnią albo oba poniżej), a ujemny, gdy w przeciwne. Suma mówi więc, czy zgodność przeważa nad niezgodnością — ale zależy od jednostek, więc trzeba ją znormalizować:

Tak zbudowany współczynnik ma trzy własności, które warto zapamiętać: leży zawsze w przedziale $\langle -1; 1 \rangle$, nie ma jednostki i nie zmienia się przy przeskalowaniu danych (przeliczenie ceny z złotych na euro nie zmienia $r$ ani o jotę).

Prosta regresji

Korelacja mówi „mocno", ale nie mówi „o ile". Na to odpowiada prosta regresji — jedna wybrana prosta $\hat{y} = ax + b$, dobrana tak, żeby suma kwadratów pionowych odległości punktów od niej była najmniejsza. Stąd nazwa: metoda najmniejszych kwadratów.

Drugi wzór mówi coś więcej niż tylko „jak policzyć $b$": po przekształceniu daje $\bar{y} = a\bar{x} + b$, czyli prosta regresji zawsze przechodzi przez punkt $(\bar{x}, \bar{y})$. To jest wygodna kontrola rachunku.

Uwaga na interpretację nachylenia. „Wzrost $x$ o jednostkę odpowiada wzrostowi $y$ średnio o $a$" jest zdaniem poprawnym. „Wzrost $x$ o jednostkę powoduje wzrost $y$ o $a$" jest zdaniem o przyczynowości i regresja go nie uzasadnia — do czego dojdziemy.

Reszty

Punkty nie leżą na prostej i nie mają leżeć. Różnicę między obserwacją a przewidywaniem nazywamy resztą:

Suma reszt jest zawsze zerem — to wynika wprost z wzoru na $b$ — więc nie o nią chodzi. Chodzi o ich układ: reszty rozrzucone bez wzoru mówią, że model liniowy pasuje; reszty układające się w łuk mówią, że zależność jest krzywoliniowa; wachlarz rozszerzający się w prawo mówi, że rozrzut rośnie z $x$. To są wady, których żadna pojedyncza liczba nie pokaże.

Współczynnik determinacji

Kwadrat współczynnika korelacji ma własną, bardzo praktyczną interpretację:

Dla naszych danych $r = 0{,}9$, więc $r^2 = 0{,}81$: metraż, prędkość czy cokolwiek jest naszym $x$, tłumaczy 81 procent zmienności $y$, a $19$ procent zostaje w resztach.

Warto zobaczyć, jak szybko to spada:

Korelacja $0{,}7$ brzmi solidnie, a wyjaśnia mniej niż połowę zmienności. Korelacja $0{,}3$, którą tabela wyżej nazywa „umiarkowaną", wyjaśnia dziewięć procent — czyli praktycznie nic.

Predykcja i granice ekstrapolacji

Prostą regresji można podstawić dowolne $x$ i dostać liczbę. Nie każda taka liczba coś znaczy.

• Interpolacja — przewidywanie dla $x$ wewnątrz zakresu danych. Model ma tam oparcie w obserwacjach i jest wiarygodny.
• Ekstrapolacja — przewidywanie poza zakresem. Prosta biegnie tam dalej wyłącznie dlatego, że prosta zawsze biegnie dalej, a nie dlatego, że zależność pozostaje liniowa.

Czy korelacja jest istotna

Współczynnik policzony z próby jest — jak każda statystyka tego działu — liczbą losową. Pytanie „czy w populacji korelacja w ogóle jest" to test hipotezy z poprzedniej lekcji, przy $H_0: \rho = 0$:

Statystyka ma rozkład t-Studenta o $n - 2$ stopniach swobody. Praktycznie wygodniej jest odczytać graniczną wartość $|r|$ przy $\alpha = 0{,}05$:

Tabela mówi dwie rzeczy naraz i obie są ważne. Wysoka korelacja z kilku punktów nie znaczy prawie nic — nasze $r = 0{,}9$ przy $n = 5$ ledwie przekracza granicę $0{,}88$. I odwrotnie: niska korelacja z tysiąca punktów bywa istotna i zupełnie nieważna — istotność mówi „to nie jest szum", a $r^2 = 0{,}04$ mówi, że model wyjaśnia cztery procent.

Gdzie ta matematyka bywa nadużywana

To jest lekcja, po której najwięcej osób wyciąga błędny wniosek, więc nadużyć jest pięć.

1. Korelacja czytana jako przyczynowość

Najsłynniejsze zdanie całej statystyki i wciąż najczęściej łamane. Tę samą korelację między $X$ a $Y$ tłumaczą cztery różne rzeczy:

• $X$ wpływa na $Y$ — to, co zwykle zakładamy;
• $Y$ wpływa na $X$ — przyczynowość odwrotna („szpitale są niebezpieczne, bo umiera w nich więcej ludzi");
• obie zależą od trzeciej zmiennej;
• zbieżność jest przypadkowa, zwłaszcza gdy porównano wiele par naraz.

Sprostowanie: rachunek nie rozróżnia tych czterech możliwości, bo widzi wyłącznie parę liczb dla każdego obiektu. Rozstrzygnąć może eksperyment z losowym przydziałem albo wiedza z dziedziny — nigdy sam współczynnik, choćby wynosił $0{,}99$.

2. Zmienna ukryta

Szczególny i najczęstszy przypadek powyższego. Sprzedaż lodów koreluje z liczbą utonięć, bo obie rosną w upały. Liczba strażaków na miejscu pożaru koreluje ze stratami, bo obie zależą od wielkości pożaru. Zmienna ukryta wytwarza korelację, której żadne z bezpośrednich powiązań nie tłumaczy.

Sprostowanie: zanim uwierzysz w zależność, wypisz kandydatów na trzecią zmienną. Formalnym narzędziem jest korelacja cząstkowa albo model z kontrolą tej zmiennej; nieformalnym — pytanie „co jeszcze zmienia się razem z obiema".

3. Ekstrapolacja poza zakres danych

Model dopasowany na przedziale od $70$ do $130$ nie wie nic o $200$. Klasyczne przykłady są dramatyczne: liniowa ekstrapolacja rekordów w biegu na 100 metrów przewiduje czas ujemny, a wzrostu dziecka — dwumetrowego pięciolatka.

Sprostowanie: zakres danych jest częścią modelu i podaje się go razem z równaniem prostej. Wysokie $r^2$ nie legitymizuje ekstrapolacji — mówi tylko o jakości dopasowania tam, gdzie były punkty.

4. Współczynnik czytany bez wykresu

$r$ mierzy wyłącznie zależność liniową. Punkty leżące dokładnie na paraboli mogą dać $r = 0$, a jedna wartość odstająca potrafi podnieść $r$ z zera do $0{,}8$ albo obniżyć z $0{,}9$ do zera.

Sprostowanie: wykres rozrzutu jest obowiązkowy, a nie opcjonalny. Cztery zbiory danych o identycznych $\bar{x}$, $\bar{y}$, $r$ i prostej regresji, a zupełnie różnych kształtach, to klasyczny kwartet Anscombe'a — zbudowany dokładnie po to, żeby to unaocznić.

5. Istotność mylona z siłą związku

Przy dużej próbie istotne staje się każde $r$ różne od zera: przy $n = 100$ granica to $0{,}20$, a przy $n = 10\,000$ — $0{,}02$. Nagłówek „naukowcy wykazali istotny związek" nie mówi więc nic o tym, jak silny ten związek jest.

Sprostowanie: czytaj $r^2$, a nie p-wartość. Istotna korelacja $0{,}05$ wyjaśnia jedną czterechsetną zmienności i nie nadaje się do przewidywania niczego.

Zadania

Pierwszy zestaw pracuje na pięciopunktowej tabelce, tak jak przykłady wyżej. Prompt r podaje pięć par i pyta o współczynnik korelacji — licz przez odchylenia od średnich, bo $\bar{x}$ zawsze wypada na środkowym punkcie. Prompt „prosta regresji" podaje te same dane i pyta o oba współczynniki naraz: wpisz je jako a = …, b = …; części są nazwane, więc kolejność nie ma znaczenia.

Drugi zestaw jest autorski, bo pyta o wielkości, których generator świadomie nie liczy: $r^2$ jest podniesieniem $r$ do kwadratu, a predykcja $\hat{y}$ przy znanych $a$ i $b$ jest podstawieniem do funkcji liniowej — jedno i drugie ma już swój generator w innych działach. Zostają tu jako pytania o interpretację, razem z resztami i z arytmetyką ekstrapolacji.

Ostatnie zadanie jest pułapką i tak jest pomyślane: rachunek daje $17{,}6$ i jest poprawny, a wynik jest bezwartościowy, bo $200$ leży poza zakresem dopasowania. Ocena „czy tu wolno ekstrapolować" nie ma liczby za odpowiedź i zostaje treścią — masz ją w trzecim punkcie sekcji o nadużyciach.

Częste błędy

• Wnioskowanie o przyczynie z samej korelacji — tę samą liczbę tłumaczą cztery różne układy przyczynowe, a rachunek ich nie rozróżnia.
• Zapominanie o zmiennej ukrytej — sprzedaż lodów i utonięcia korelują przez upał; szukaj trzeciej wielkości, zanim uwierzysz w związek.
• Czytanie $r$ bez wykresu rozrzutu — współczynnik mierzy tylko zależność liniową i jedna wartość odstająca potrafi go całkowicie odwrócić.
• Mylenie $r$ z $r^2$ — korelacja $0{,}7$ wyjaśnia $49$ procent zmienności, a nie $70$; to jest różnica między „silny związek" a „mniej niż połowa".
• Ekstrapolacja poza zakres danych — prosta biegnie dalej zawsze, dane kończą się tam, gdzie się kończą; wysokie $r^2$ tego nie zmienia.
• Mierzenie odległości prostopadle do prostej zamiast pionowo — metoda minimalizuje odchylenia $y$, bo to $y$ jest przewidywane; prostopadła daje inną prostą i odpowiada na inne pytanie.
• Uznawanie istotności za siłę związku — przy $n = 10\,000$ istotne jest $r = 0{,}02$, które wyjaśnia cztery dziesięciotysięczne zmienności.
• Zamiana ról $x$ i $y$ — prosta regresji $y$ względem $x$ i prosta $x$ względem $y$ to dwie różne proste; pokrywają się tylko przy $|r| = 1$.