Wariancja i odchylenie standardowe

Dwa zbiory mogą mieć identyczną średnią i nie mieć ze sobą nic wspólnego. Wyniki $9, 10, 11$ i wyniki $2, 10, 18$ mają tę samą średnią $10$, ale pierwszy zbiór jest przewidywalny, a drugi kompletnie rozstrzelony. Miary położenia z poprzedniej lekcji tej różnicy nie widzą — od tego są miary rozproszenia.

Rozstęp

Najprostsza z nich to rozstęp: odległość między największą a najmniejszą wartością.

$$R = x_{\max} - x_{\min}$$

Liczy się go w sekundę i tyle samo jest wart: bierze pod uwagę wyłącznie dwie skrajne obserwacje. Zbiór, w którym wszystkie dane siedzą przy średniej, a jedna ucieka daleko, ma taki sam rozstęp jak zbiór rozrzucony równomiernie. Do poważniejszego opisu potrzeba miary, która patrzy na każdą daną.

Odchylenie od średniej

Naturalny pomysł: dla każdej obserwacji policzmy, jak daleko leży od średniej.

$$d_i = x_i - \bar{x}$$

Tylko że tych odchyleń nie da się po prostu uśrednić. Dla każdego zbioru zachodzi bowiem:

$$d_1 + d_2 + \dots + d_n = 0$$

Odchylenia dodatnie i ujemne znoszą się co do joty — to zresztą inny sposób powiedzenia, czym jest średnia. Ich średnia zawsze wyniesie zero, więc jako miara rozproszenia jest bezużyteczna.

Ratunkiem jest kwadrat: usuwa znak, a przy okazji mocniej waży duże odchylenia niż małe.

Wariancja

Wariancja to średnia z kwadratów odchyleń:

$$\sigma^2 = \frac{(x_1 - \bar{x})^2 + (x_2 - \bar{x})^2 + \dots + (x_n - \bar{x})^2}{n}$$

Rachunek ma trzy kroki: policz średnią, policz odchylenia, uśrednij ich kwadraty.

Ten sam wynik daje wzór skrócony, w którym nie trzeba wypisywać odchyleń:

$$\sigma^2 = \frac{x_1^2 + x_2^2 + \dots + x_n^2}{n} - \bar{x}^2$$

Sprawdźmy go na tych samych danych: $\tfrac{49 + 81 + 121 + 169}{4} - 10^2 = \tfrac{420}{4} - 100 = 105 - 100 = 5$. Zgadza się. Ta wersja bywa znacznie szybsza, gdy średnia nie jest liczbą całkowitą.

Odchylenie standardowe

Wariancja ma jedną wadę: jest w jednostkach kwadratowych. Jeśli dane to złotówki, wariancja wychodzi w „złotówkach kwadratowych", czego nie da się z niczym porównać. Dlatego bierzemy pierwiastek:

$$\sigma = \sqrt{\sigma^2}$$

Odchylenie standardowe jest w tych samych jednostkach co dane i mówi wprost, jakiego rzędu są odchylenia od średniej. Uwaga na popularny skrót „σ to przeciętna odległość od średniej" — nie jest: przeciętna odległość to inna miara (średnie odchylenie bezwzględne), a σ jest pierwiastkiem ze średniej kwadratów, więc mocniej waży duże odchylenia i wychodzi zawsze co najmniej tyle samo.

Dla zbioru z przykładu powyżej $\sigma = \sqrt{5} \approx 2{,}24$. Znaczy to, że wyniki trzymają się średniej $10$ w odległości rzędu dwóch jednostek — mniej więcej między $8$ a $12$.

Pierwiastek prawie nigdy nie wychodzi „ładny" i to jest normalne: wariancja bywa całkowita, odchylenie standardowe zwykle nie. Dlatego $\sigma$ podaje się zaokrąglone, najczęściej do dwóch miejsc po przecinku.

Ta sama średnia, inny rozrzut

Zestawmy dwa zbiory po pięć pomiarów. Pierwszy:

$$8,\ 9,\ 10,\ 11,\ 12$$

Drugi ma tę samą średnią:

$$4,\ 7,\ 10,\ 13,\ 16$$

Policzmy obie miary rozproszenia:

$$\sigma_A^2 = \frac{4 + 1 + 0 + 1 + 4}{5} = 2, \qquad \sigma_A = \sqrt{2} \approx 1{,}41$$ $$\sigma_B^2 = \frac{36 + 9 + 0 + 9 + 36}{5} = 18, \qquad \sigma_B = \sqrt{18} \approx 4{,}24$$

Średnia obu zbiorów jest identyczna, a odchylenie standardowe trzykrotnie większe w drugim. Dokładnie to gubi się w opisie, który podaje samą średnią — i dokładnie dlatego $\bar{x}$ i $\sigma$ podaje się razem.

Populacja czy próbka

We wzorze na wariancję pojawia się czasem dzielnik $n-1$ zamiast $n$:

$$s^2 = \frac{(x_1 - \bar{x})^2 + \dots + (x_n - \bar{x})^2}{n-1}$$

Różnica nie jest kosmetyczna, tylko dotyczy tego, czym są nasze dane:

• wariancja populacji ($\sigma^2$, dzielnik $n$) — gdy dane to cała zbiorowość, o której mówimy: wszystkie oceny w klasie, wszystkie wykonane pomiary;
• wariancja próbki ($s^2$, dzielnik $n-1$) — gdy dane są próbką pobraną z większej całości, a wniosek ma dotyczyć tej całości.

Skąd $n-1$? Odchylenia liczymy od średniej z próbki, a ta zawsze leży bliżej danych niż nieznana średnia całej populacji. Suma kwadratów wychodzi więc trochę za mała i mniejszy dzielnik ją koryguje. Przy dużych zbiorach różnica jest znikoma, przy kilku danych — zauważalna.

Same symbole mówią, o którą wersję chodzi: $\sigma^2$ i $\sigma$ to miary populacji, $s^2$ i $s$ — próbki. W ćwiczeniach poniżej liczymy wariancję i odchylenie populacji, czyli dzielimy przez $n$.

Co robi przesunięcie i przeskalowanie danych

Dwie własności, które oszczędzają sporo rachunku:

• dodanie stałej do wszystkich danych nie zmienia ani rozstępu, ani wariancji, ani odchylenia — przesuwa się razem z nimi także średnia, więc każde $x_i - \bar{x}$ zostaje bez zmian;
• pomnożenie wszystkich danych przez $k$ mnoży odchylenie standardowe przez $|k|$, a wariancję przez $k^2$.

Stąd wniosek praktyczny: zmiana jednostek (centymetry na metry) zmienia $\sigma$, ale przesunięcie punktu odniesienia — już nie.

Ćwiczenia

Trzy typy pytań odpowiadają trzem miarom z tej lekcji. Prompt Rozstęp prosi o różnicę między największą a najmniejszą wartością zbioru. Prompt $\sigma^2$ prosi o wariancję, a prompt $\sigma$ o odchylenie standardowe — obie liczone dla populacji, czyli z dzielnikiem $n$. Odchylenie standardowe niemal nigdy nie jest liczbą wymierną, więc wpisz je z dokładnością do dwóch miejsc po przecinku, na przykład 3,16; odpowiedź dokładniejsza również zostanie przyjęta. Ta sama tolerancja obowiązuje w trudniejszych zadaniach o wariancję, w których i ona wychodzi ułamkowa.

Ćwiczenia

Rozwiąż zestaw zadań — trudność rośnie z każdym kolejnym. Na końcu zobaczysz wynik i listę pomyłek do powtórki.

Zadanie 1 z 8Punkty: 0

Rozstęp: 17, 3, 7, 2, 17WynikSprawdź

Częste błędy

• Uśrednianie odchyleń bez kwadratów — ich suma zawsze wynosi zero, więc wynikiem byłoby 0 dla każdego zbioru.
• Pomylenie wariancji z odchyleniem — pytanie o $\sigma$ wymaga pierwiastka, samo $\sigma^2$ to jeszcze nie odpowiedź.
• Zły dzielnik — w wariancji populacji dzielimy przez $n$, a nie przez $n-1$ ani przez $n$ różnych wartości.
• Zaokrąglanie w połowie rachunku — zaokrąglaj dopiero końcowe $\sigma$, inaczej błąd narasta.
• Odchylenia liczone od pierwszej danej albo od mediany — punktem odniesienia jest zawsze średnia.
• Ujemna wariancja — jeśli wyszła, gdzieś zgubiłeś kwadrat: średnia kwadratów nie może być ujemna.