AAAAAND… WE’RE BACK AGAIN!

Uszanowaneczko po raz drugi po przerwie weekendowej! Wszystkie zamrożone od babci gołąbki, pierogi i krokiety od mamełe zostały już pewnie zjedzone, a barszczu czar wyparował gdzieś (zaśpiewajmy to na którąś melodię Bajmu)… Także została tylko smutna zima bez śniegu, halucynacje z przejedzenia i ciężar egzystencji człowieka poczciwego. Niby nie jest najlepiej, ale hej! – na pewno stęskniliście się za naszymi opowieściami o statystyce! Oczywiście, nie dlatego że nasz blog wygrał ostatnio nagrodę Grammy za najlepszą płytę w kategorii Jazz dla Dzieci do 2 Roku Życia i jest szalenie popularny na Spotify, tylko dlatego, że organizowanie sobie pracy dyplomowej ostro się zagęszcza, wkrótce promotor zajrzy przez okno do spokojnego domu… co jako element baśniowy jest bardziej akceptowalne niż element kryminału albo horroru. Tak czy siak, trzeba się brać za robotę, albo chociaż udawać że się za nią bierze, przeglądając różne blogi.

Dzisiaj porozmawiamy ponownie o teście Chi-kwadrat, o którym już w sumie cośtam napomknęliśmy. A właściwie nieco szerzej – o tym jakie dane do tego testu „wrzucić”, żeby „było dobrze kierowniku”. Krótka przypominajka – jeśli masz do analizy zmienne o charakterze kategorii (np. płeć, wykształcenie, zamiłowanie do wędkarstwa, czyli zmienne nominalne o których pisaliśmy tutaj) to takim testem analizujesz sobie wyniki takie jak różnice w liczebności wskazań („czy większość naszych badanych pali?”, „kobiety czy mężczyźni częściej łowią ryby?”) o czym z kolei pisaliśmy w pierwszym poradniku o tym jaki test statystyczny wybrać, czyli tutaj a następnie tutaj. Oczywiście, tak szczerze mamy nadzieję, że poprzednie artykuły udało Ci się choćby przejrzeć, ale jeśli nie, to może i tak przyda Ci się rada lub mądrość ZEN od Starych Badaczy dla Młodych Badaczy odnośnie wszystkiego co związane z analizami Chi-kwadrat:

ZBYTNIA SZCZEGÓŁOWOŚĆ MOŻE BYĆ PRZYCZYNĄ POMYŁEK W CHI

Oj, ależ to orientalnie zabrzmiało… Trzymajcie moje Feng-Shui, lecę po więcej Mun i Shitake! Ale o co chodzi? Wiemy, że początkujący badacze często wpadają w pułapkę zbytniej skrupulatności w zbieraniu danych do swojej pracy i pozwalają swoim badanym na wybór lub zaznaczenie wielu różnych odpowiedzi na zadane pytanie. Na przykład – pytając o kolor oczu pozwalają nie tylko na wybór np. niebieskich, ale dzielą niebieskie na kilka różnych opcji do wyboru: jasnoniebieskie, ciemnoniebieskie, stalowe, szaroniebieskie, intensywno-niebieskie, cosmo-schwarz-niebieskie, indygo-niebieskie… i tak dalej. Podobny przykład dotyczy wykształcenia: nieukończone podstawowe, podstawowe, zawodowe, zawodowe techniczne, średnie, policealne, student, licencjat, wyższe niepełne, wyższe… Oczywiście w obu przykładach można by mnożyć pod-kategorie pewnie jeszcze długo. I o ile na poziomie zbierania danych to jest naprawdę spoko, możemy się o badanych dowiedzieć wielu ciekawych rzeczy (jeśli oczywiście będą mieli czas czytać te wszystkie kategorie i nie uciekną przed ankietą) – jak na przykład to, że wśród niebieskookich osób najwięcej określa ich kolor jako indygo, a stalowe zdarzają się rzadko. Albo że przebadaliśmy po prostu studentów, a nie ludzi z wyższym wykształceniem, co po prostu może być ważne dla naszych wniosków z badania. Ale na poziomie analiz zaczyna być trudno z opisem tego co wyszło. Wyobraźmy sobie takie badanie jak opisane powyżej. Pytamy 120 osób o szczegółowe cechy koloru oczu i wykształcenia, a zebrane wyniki spróbujmy zapisać w postaci tabeli liczności (czyli takich tabel w których podsumowujemy ile razy dana kategoria się pojawiła):

Bo ten, no, nie wiemy jak dla Ciebie, ale dla nas ta tabelka jest średnio czytelna. Oczywiście znajdą się różnej maści puryści i statystyczne lub socjologiczne świry które uznają, że to jest piękne, że zróżnicowanie, że tak powinny wyglądać wyniki badania… ale my do tej grupy nie należymy. Co tak naprawdę w tej tabeli widać? I jakie wnioski z niej płyną? Co to niesie treściowo dla czytelnika?

Czytelnik Twojej pracy badawczej, wbrew pozorom, nie uzna Cię za mądrzejszego jeśli wyprodukujesz najdłuższą tabelkę na uczelni. Za to na pewno uzna tę tabelę za nudną i po ogólnym przegarnięciu jej wzrokiem po prostu pominie. Ale nie chodzi o to co potencjalnie da się odczytać z takiej tabeli czy wykresu, bo tak naprawdę dyskusja o tym, czy taka tabela jest ładna albo wartościowa to temat na długą dyskusję, która nie zostanie zakończona żadnym zwycięstwem. Chodzi o to czy wnioski z analizy tak zebranych danych będą miały sens.

DLACZEGO CHI-KWADRAT NIE LUBI DUŻYCH TABEL

Testowanie hipotez opartych o Chi-kwadrat jest testowaniem głównie tego, czy kategorie których użyliśmy mają jednakową lub zbliżoną liczebność, czy nie – pozwala to na określenie, czy w wynikach jakiś wynik dominuje czy też może ilość osób o różnych kolorach oczu jest z grubsza taka sama albo losowa (tutaj uwaga: sorry za zbytnie uproszczenie tematu, bo pewnie paru bardziej zaawansowanych Rycerzy Statystyki opuściłoby ręce albo przyłbicę, ale a) nikt o zaawansowanej wiedzy statystycznej nie będzie czytał tego bloga; b) musimy jakoś wyjaśnić jak to działa, a nie zdobyliśmy za to jak piszemy Nike). W efekcie – jeśli kategorii jest za dużo, to test Chi będzie zawsze zdezorientowany i będzie podawał przypadkowy wynik. Pytamy Starego Pana Chi o to, „czy jakiś kolor oczu dominuje w naszych badaniach?”. Stary Pan Chi patrzy w ten bigos z rusztu w powyższej tabeli i myśli sobie „z czym to młode europejskie dziecię u diabła przylazło na moją Górę Dumania?!” i odpowiada nie przerywając żucia swojego suszonego wodorostu: „w badaniach tych dominują oczy stalowe, ale mogą też dominować oczy jasnoniebieskie i ciemnoniebieskie, ale nie dominują jakoś tak za bardzo, bo w sumie szaroniebieskich też jest więcej niż na przykład indygo-czarnych…”. Wiadomo – jak to w Legendach o Samurajach – przypowieść i przepowiednia może być przez Rabina… wróć, wojownika Chi-Majonezu różnie interpretowana. A to oznacza, że nie robimy nauki tylko wylądowaliśmy u Wróżki Zen-uszki. To nie ma sensu, bo jeśli każda interpretacja jest dobra, to żadna nie jest.

A co dopiero problem który pojawi się w naszym ambitnym zestawieniu wykształcenia z kolorem oczu. Uwaga – poniższa tabelka nie zmieści się na Twoim ekranie, chyba że jesteś agentem NSA:

I co teras? Co w tej tabeli widać? Jaki wniosek można z niej wyciągnąć? Zapytajmy Starego Mistrza Chi! Mistrz Chi odpowie nam wówczas: „ej, młody, weź może się sake napij czy coś, przespaceruj, idź na targowisko i zjedz dobrego szczupaka, ja tu nic nie widzę, odebrało mi wzrok chyba na starość, nie pomogę„. Bardziej statystycznie rzecz ujmując – większość pod-kategorii, czyli na przykład jasnoniebieskich osób z wykształceniem podstawowym jest za mała żeby w ogóle wyciągać jakieś wnioski, albo liczyć wynik testu. Takie tabele nie mają sensu – tak samo jak ich interpretacja, albo obliczony wynik Chi-kwadrat (wynik testu jest w zasadzie przypadkowy). Czasami nawet oprogramowanie do obliczeń (SPSS) zwróci Ci ostrzeżenie, że to co jest policzone nie bardzo wpisuje się w sensowne obliczenia; oto przykład komunikatu: „100,0% komórek ma liczebność oczekiwaną mniejszą niż 5„. Ale co w związku z tym zrobić? Dlaczego życie jest takie ciężkie? Spokojnie, możemy nad tym popracować. Po prostu

UŻYJ JAK NAJMNIEJSZEJ LICZBY KATEGORII W SWOICH ANALIZACH

Czyli – połącz małe kategorie ze sobą w większe. Jeśli widzisz, że jakieś, użyte przez Ciebie w badaniach kategorie mają bardzo małe liczebności, bo mało ludzi deklarowało daną odpowiedź, to je połącz w większe grupy. Co to znaczy „bardzo małe„? Otóż – jeśli mielibyśmy być precyzyjni, to nauka nie ma tu jednoznacznej odpowiedzi. Trochę głupio byłoby Cię wysyłać do dłuuugiej serii różnych publikacji – bo wcześniej pisaliśmy o tym, że samych wersji Chi-kwadrat jest bardzo wiele i miały one rozwiązywać m. in. problemy z małymi liczebnościami, krzywymi liczebnościami… W skrócie – jedni nałkofcy mufiom, że mała grupa to mniej niż 30 zbadanych osób i mniej niż 5 osób w jednej kategorii… a inni, że aby to określić to trzeba bardzo precyzyjnie rozpisać eksperyment badawczy i policzyć np. w G-Power ile musimy mieć osób w konkretnym przypadku, ale nawet tu nie ma pełnej zgody. Bez kozery – jest to sprawa między jednym rabinem a innym. A jeszcze inni chcą się zdawać na zdrowy rozsądek badacza.

Dobre sobie, co? Zdrowy rozsądek? Czyli co zrobić? Ile tych badanych mieć i w jakim zakresie? W swoich pierwszych badaniach początkujący badacz lub badaczka mogą przecież nie wyczuć ile grup to za dużo grup. Ale mamy kilka rad, które mogą być przez Ciebie wykorzystane. Ale jeśli i tak zrobisz po swojemu i przyjedzie do Ciebie Statystyczna Policja, to pamiętaj – nikt Ci nic nie udowodni, a proces będzie się ciągnąć latami. Także tego, oto co proponujemy my, w oparciu o nasze doświadczenie.

• Zadbaj o czytelność wyników. Poważnie – odpowiedz sobie na pytanie, czy jeden rzut oka na Twoje wyniki wystarczy żeby zrozumieć co w nich wyszło. Jeśli nie – Twoje dane i Twoje wyniki nie są czytelne i lepiej je jakoś uprościć. Od takiej prostej oceny zacznij. Możesz też zapytać jakąś postronną osobę czy coś jej zdaniem jest proste… ale możesz się spotkać z różnymi reakcjami, zwłaszcza jeśli zrobisz to w przypadkowym mieście na przypadkowej ulicy. 😉
• Spróbuj znaleźć naturalnie łączące się w Twojej głowie większe kategorie do zebranych danych. W analizowanym tu przykładzie różne wersje niebieskiego koloru oczu mogą przecież zostać zebrane w postaci po prostu koloru niebieskiego. To powinno wystarczyć, żeby zebrane dane były czytelne i żeby Mistrz Chi podał Ci prawidłową odpowiedź. Popatrz na tabelkę poniżej, czy nie wygląda to lepiej?

• Spróbuj arbitralnie połączyć kategorie tak, żeby zrobić finalnie max 3-4. Lepiej połączyć ze sobą małe kategorie tak jak Ci się wydaje i jakoś to uzasadnić, niż zostawić tych kategorii więcej; serio – to lepsza droga. I pozwalająca odczytać wyniki. I zazwyczaj ma to jakoś ręce i nogi. Zobacz na taki przykład, wiemy, że wykształcenie z powyższego przykładu można podzielić na wiele sposobów, ale my je podzieliliśmy tak i co nam zrobisz?

• Użyj kategorii „inne”. I wrzuć tam wszystkie „śmieci” które Ci zostały bo nie wiesz do czego ich przykleić. Przykładowo – interesuje Cię ulubiony produkt śniadaniowy badanych i większość wybierała jakieś warzywo, albo owoce… ale zdarzyło się paru delikwentów bądź śmieszków którzy wybrali kolejno: „kamienie„, „energia kosmosu„, a także „monsterek„. Nie pasuje to ani do owoców, ani do warzyw, ani do siebie nawzajem… OK, leci kategoria inne, jak złoto.
• Postaraj się tak opracować ilość kategorii, żeby nie analizować tabel krzyżowych większych niż 4×4. Tabela krzyżowa to tabela która zestawia dwie zmienne, np. wspomniane wykształcenie i kolor oczu. Odpowiada hipotezom dla testu niezależności, ale o tych wszystkich rzeczach pisaliśmy już tutaj. Ta tabelka sporo powyżej, która miała piruńsko mnogo kategorii sensu raczej nie miała, ale jeśli wykonamy ją na połączonych kategoriach, to zaczyna wyglądać czytelnie i łatwiej z niej coś zrozumieć. A co najważniejsze – wynik testu Chi-kwadrat liczony dla takiej tabeli będzie nadawał się do interpretacji. Popatrz:

Lepiej, c’nie? Prościej, wiadomix o co kamonix.

MOŻESZ TEŻ OD RAZU PRZEMYŚLEĆ CZY NIE ZMNIEJSZYĆ ILOŚCI KATEGORII PRZY ZBIERANIU DANYCH

Sprawa jest oczywiście nieco śliska, bo w badaniach naukowych liczy się precyzja… pod warunkiem że ma ona znaczenie dla Twoich pytań badawczych i/lub hipotez. Też już o tym pisaliśmy. Generalnie zastanów się – czy zbieranie bardzo precyzyjnych informacji o kolorze oczu Twoich badanych ma dla Ciebie jakieś znaczenie? Proponujemy nawet eksperyment myślowy – pomyśl że nie zbierasz takich danych: czy Twoja praca badawcza nadal będzie czytelna?

Jesteśmy na stanowisku, że im większy mamy zamęt w danych które zebraliśmy, tym większy bigos mamy na końcu, czyli w tym jak próbujemy je przekazać dalej, wyjaśnić, opowiedzieć. Zawsze zachęcamy do zmniejszenia ilości porównywanych kategorii, lub podgrup, jeśli to oczywiście możliwe. Niestety, znalezienie złotego środka między ilością danych a precyzją często wymaga po prostu ćwiczeń, bo pierwszy lepszy blog z internetów nie pokaże Ci wszystkich możliwych problemów i niuansów. I jeśli masz jakieś wątpliwości – pamiętaj, że z dużej ilości kategorii można zrobić małą, ale nigdy odwrotnie. Jeśli badany zaznaczył kolor oczu „niebieskie”, to już nie dowiesz się czy były „jasnoniebieskie” czy „indygo”. Więc… jeśli naprawdę masz wątpliwości czy to Ci się do czegoś nie przyda w przyszłości, zadaj temu badanemu ogrom pytań, niech się pomęczy. Ty potem po prostu sobie przeorganizujesz dane zgodnie z powyższymi założeniami.

TO TYLE NA DZISIAJ

Oczywiście – jeśli coś było dla Ciebie niejasne, albo masz inne zdanie – daj znać, chętnie wyjaśnimy, poprawimy, ustosunkujemy się. Chcieliśmy w tym wpisie uprościć co się da i wyjaśnić dlaczego mniej znaczy więcej. Czy to jedyna droga? Pewnie Stary Mistrz Chi powiedziałby coś w stylu „Istnieje różnica między znajomością drogi a podążaniem nią„… A nie, czekaj, to powiedział Morfeusz z Matrixa. Anyway – zrobisz jak zechcesz, my Ci życia nie ustawimy.

Jeśli chodzi o test Chi-kwadrat i jego pochodne, wiesz już większość rzeczy które są Ci potrzebne do ogarnięcia swojego poletka w pracy. Mało tego – jest szansa, że masz ogarnięte dlaczego mniej kategorii/grup to więcej… więcej zdrowia dla całej rodziny, dla Ciebie i więcej radości z mniejszej ilości pracy w przyszłości. Jeśli o czymś zapomnieliśmy – pisz, spróbujemy wyjaśnić dalej.