KWESTIONARIUSZOWE, NIE STATYSTYCZNE

Zacznijmy od pewnego wyjaśnienia – są wyniki testu statystycznego i są wyniki testu kwestionariuszowego. Na poziomie potocznym oba sformułowania są dość powszechnie mylone, głównie dlatego, że mało kto jest zainteresowany zarówno jednymi jak i drugimi. Jeśli tu jednak trafiasz, to należysz do wąskiego grona wybrańców – i pewnie duma którą z tego czujesz przypomina dumę z bycia wybranym przez swoje plemię do wrzucenia do wulkanu: rodzice będą się chwalić sąsiadom, ale czy to aby nie jest szkodliwe?

No to wyjaśnijmy sobie o czym nie pogadamy tym razem. Wyniki testów statystycznych są potocznie rozumianym obliczeniem czy raczej wynikiem zastosowania jakiegoś wzoru matematycznego (statystycznego) w celu (zazwyczaj) przetestowania jakiejś hipotezy badawczej. Na przykład – chcesz dowiedzieć się, czy inni studenci wolą uczyć się, czy zwiedzać akademiki, wówczas używasz np. poradnika który mówi Ci, że do sprawdzenia powyższego służy test Chi-kwadrat i jeśli go obliczysz dla zebranych danych uzyskasz wynik testu który wraz innym wynikiem obliczeń (zwanym istotnością) powie Ci czy studenty to śmieszki czy kujony. Tak naprawdę to cały szereg kolejnych działań w których wynik testu statystycznego jest kluczowy dla odpowiedzi jak jest wśród studentów, podobnie jak akademik jest kluczowy dla opowieści z imprezy w akademiku. Ale w skrócie – powinno Ci się już mniej więcej kojarzyć co to jest ten potoczny wynik testu statystycznego. I to nie o nim rozmawiamy.

My, tutaj, porozmawiamy o wynikach testu kwestionariuszowego. I żeby to zrobić i rozjaśnić w głowach naszym kochanym czytelnikom to i owo, musimy się nieco cofnąć. Przyznajcie – każda dobra historia w amerykańskiej komedii zaczyna się od jakiejś retrospekcji, albo ma w środku jakąś retrospekcję. Także tego. Pogadajmy o zmiennych ciągłych/ilościowych [nuuuda].

Wiemy już że zmienne dzielą się z grubsza na takie które mają kategorie (płeć: kobieta vs mężczyzna; kolor oczu: niebieski vs inny) i takie które mają jakieś wartości numeryczne (wiek, wzrost, waga, poziom ekstrawersji, ilość zjedzonych pączków w ciągu roku). Te pierwsze zmienne to z grubsza jakościowe (literki) a te drugie to ilościowe (cyferki). W obrębie tych z numerkami w środku możemy wyróżnić takie które obserwujemy bezpośrednio i możemy je zmierzyć (przyrządem, prostym pytaniem), a oto kilka przykładów (które już wcześniej wymieniliśmy bo jesteśmy leniwi):

• wiek, wzrost, waga – da się zmierzyć, można o nie zapytać… albo nie wypada o nie pytać, ale technicznie można zapytać, konsekwencje zostawiamy już badaczowi
• ilość zjedzonych pączków w ciągu roku – można notować, zapytać badanego o to ile pączków deklaruje że zjadł
• wyprost ramienia przed i po terapii, długość włosów po miesięcznym stosowaniu odżywki, rozciągnięcie swetra po 15tym praniu, ilość nieprzeczytanych książek na półce „przeczytam w 2015 roku”, tętno po wejściu na 8 piętro, poziom hemoglobiny i takiej sytuacji.

Jak widać – wszystko co nam przyjdzie do głowy i co możemy zmierzyć określając jakąś wartością numeryczną. Czy to wszystkie możliwe opcje? Czy cała Galia została podbita przez Rzymian? Otóż nie, jest jeszcze jedna kategoria – zmienne które nie są mierzone bezpośrednio, albo których nie obserwujemy „ot tak”.

To w ogóle (jak zawsze) trochę dłuższa sprawa, bo kwestia tego co jest a co nie jest obserwowalne, na ile i jak dokładnie od dawna jest przedmiotem zainteresowania nauki (np. psychometrii), ale nie o tym mamy rozmawiać. Mówimy tu o „zjawiskach mierzonych jakimś kwestionariuszem”. Do użycia takich kwestionariuszy zachęca wiele nauk i wielu studentom my także zalecamy badanie interesujących ich zjawisk standaryzowanymi kwestionariuszami. Taki kwestionariusz może mierzyć na przykład ekstrawersję, poziom dobrostanu lub jakości życia, czy natężenie lęku, i wiele innych zmiennych psychologicznych fafa-rafa. Niektóre kwestionariusze standaryzują też pomiar jakiegoś zjawiska obserwowalnego – na przykład serią pytań o uprawiane dyscypliny sportu i intensywność różnych treningów starają się określić poziom usportowienia osoby badanej. Podsumowując o czym tu właściwie rozmawiamy – interesuje Cię jak te wyniki obliczać. Czyli – jesteś tu, bo ktoś Ci kazał (lub tylko zasugerował) użycie takiego kwestionariusza i zastanawiasz się jak obliczyć jego wynik. Nie będziemy dłużej trzymać w niepewności, bo odpowiedź jest jednocześnie łatwa i trudna:

UŻYJ KLUCZA

Odpowiedź jest jednocześnie prosta, jak i złożona. W sensie – jest spora szansa, że już to wiesz, że słowo-klucz klucz obiło Ci się o uszy… Klucz kwestionariusza to pełna i gotowa instrukcja tego jak obliczyć jego wynik. Przykładowo – użyty kwestionariusz ma badać poziom ekstrawersji i robi to z grubsza zadając badanej osobie różne pytania, na przykład „czy chętnie chadzasz do innych akademików żeby opowiedzieć przypadkowym osobom o Twoich zainteresowaniach”. Pomijając kwestię tego czy to pytanie mierzy ekstrawersję – klucz kwestionariusza powinien mieć gotową instrukcję typu: „jeśli badany zaznaczył odpowiedź „tak” to dolicz mu punkt do poziomu ekstrawersji, jeśli zaznaczył „nie”, to nie doliczaj mu punktu”. Więcej informacji znajdziesz tutaj.

Mogło Ci niestety umknąć, że kwestionariusz ma sens, jeśli ma się do niego jakiś klucz i powiedzmy że udało Ci się taki kwestionariusz zdobyć, ale bez klucza. To trochę jak znaleźć w akademiku puszkę pysznej konserwy, ale bez tego-takiego otwarcia ręcznego, jeśli nie znajdziesz gdzieś otwieracza, to nie podjesz. Z różnych powodów o których już pisaliśmy studenci nie martwią się tym na początku i potem okazuje się, że obliczenie takiego wyniku to droga do własnego akademika. W innym mieście. Zimą. Bez grosza na taksę. Da się, ale nie jest miło.

Możliwe też, że umknął Ci poprzedni poradnik tłumaczący dlaczego nie należy używać/wymyślać własnych kwestionariuszy – jeśli musisz samodzielnie zbudować klucz do własnego kwestionariusza, to masz nie lada problem i zamiast czytać ten poradnik musisz odbyć jakiś kurs psychometrii (nie, to nie jest terapia) na którym dowiesz się jak długa droga jest do określenia własnego poprawnego klucza.

Czyli – żeby obliczyć wynik jakiegoś testu kwestionariuszowego musisz mieć jego klucz. W tym kluczu musisz mieć zawarte precyzyjne wytyczne do obliczeń i tu zaczyna się Twoja droga. Nie możemy Ci powiedzieć nic więcej poza tym co już napisaliśmy tutaj – klucz musisz sobie zdobyć i kropka. A dalej?

NA CO ZWRÓCIĆ UWAGĘ W KLUCZU: ODWRACANIE I PUNKTACJA

Po pierwsze, czy klucz w ogóle pasuje do Twojego kwestionariusza, ale o tym już pisaliśmy. Następnie, sprawdź dokładnie jakie wartości numeryczne przysługują odpowiedzi na każde z pytań z osobna. Niektóre kwestionariusze pozwalają badanemu zaznaczyć w każdym pytaniu zupełnie różne odpowiedzi, sprawdź czy możesz dla każdej odpowiedzi przyporządkować jakąś wartość numeryczną według klucza. Następnie sprawdź czy kwestionariusz ma jakieś „odwracane” pytania. Czasami kwestionariusz podaje wartości numeryczne dla wszystkich odpowiedzi takie same (na przykład tak = 1, nie = 0), a na samym końcu albo gdzieś w kluczowych dla klucza informacjach podaje, że pytanie należy punktować odwrotnie (wówczas dla takiego pytania tak = 0, nie = 1). Ostatecznie sprawdź czy wyniki pośrednie albo końcowe nie są jeszcze jakoś inaczej przetwarzane (np. „uzyskany wynik podziel przez ilość pytań„). W ten sposób możesz sobie rozpisać wzór służący do obliczania wyniku.

NIE LICZ TEGO „RĘCZNIE”

Jeśli masz zebrane dwie-trzy ankiety, to możesz spróbować policzyć to samodzielnie, po prostu na karcie kwestionariusza zaznaczyć sobie punkty a potem je podsumować. Część papierowych kwestionariuszy ma nawet takie gotowe szablony do obliczania wyników ręcznie. Ale co zrobić, jeśli masz takich kwestionariuszy 100, 200? Obliczanie ich wyników jest nie tylko mozolne, ale też szansa na pomyłkę jest duża. Lepiej zostawić to jakiemuś komputerowemu ustrojstwu. W dzisiejszych czasach wyniki i tak musisz mieć jakoś zdigitalizowane (zebrane w formie arkusza typu Excel, albo jakieś innej cyfrowej formie) i jeśli je masz już gdzieś zebrane to konkretne oprogramowanie Ci to jakoś policzy. Oczywiście – nie tak prosto, nie samo, musisz mu „wytłumaczyć” co i jak, ale wszystko jedno czy wybierzesz Google Sheets/Arkusze, Excela, SPSS, Statistica, czy co tam wolisz, metoda jest zawsze taka sama – musisz wytłumaczyć oprogramowaniu jak ma policzyć ten wynik.

Metod zapisywania wyników i ich importu do jakichś programów statystycznych jest praktycznie nieskończona ilość (może lepiej powiedzieć – za duża by ogarnąć je w jednym poradniku). Nie jesteśmy w stanie odpowiedzieć Ci na każde pytanie typu: „mam wyniki zebrane w programie X, chcę je mieć w programie Y, co robić?”. Raczej będziemy Cię odsyłać do konkretnych poradników, lub książek. Jeśli np. chcesz to liczyć w SPSS – sięgnij po książkę Statystyczny Drogowskaz Bedyńskiej; jeśli pracujesz w Statistica to skorzystaj z Przystępnego Kursu Statstyki Stanisza i tak dalej. Tam krok po kroku masz opisane jak te wyniki zebrać i wprowadzić do odpowiedniego oprogramowania. Możesz też wpisać w Google „kodowanie zmiennych w X”, „jak przygotować dane do X”, gdzie pod X podstawiasz interesujące Cię oprogramowanie.

Jeśli masz pod kontrolą nasze poprzednie poradniki pokazujące jak zrobić fajny kwestionariusz on-line, to wiesz, że można już na poziomie zbierania danych zmusić Formularze Google żeby nadawały wartości numeryczne poszczególnym odpowiedziom badanych. Jeśli nie – możesz zarówno używając Arkuszy Google, jak i Excela, OpenOffice Calc, czy iWork Numbers po prostu… zastąpić dla danego pytania lub grupy pytań na przykład frazę „zdecydowanie tak” na sugerowaną w kluczu kwestionariusza wartość „5”. W ten oto sposób będziesz mieć gotowe wartości numeryczne do obliczeń i nawet na poziomie Excela (czy któregoś z wymienionych odpowiedników) obliczyć sobie wyniki tego kwestionariusza. Protip: rób to na jakiejś kopii zebranych danych (nie na oryginale!), bo jak się okaże, że gdzieś zdarzyło Ci się zrobić jakieś błędy, albo że nie pamiętasz co zostało gdzieś pozamieniane – zawsze możesz… zacząć do nowa na następnej kopii. Dasz radę!

WYNIKI SUROWE A STANDARYZACJA

Ok, jeszcze jedna kwestia na którą chcemy zwrócić uwagę. To co oblicza zwykle jakaś suma lub średnia dla poszczególnych pytań nazywa się wynikiem surowym. Niemniej część kluczy kwestionariuszy zawiera także różnego rodzaju standaryzację (na przykład stenową) która obliczony wynik surowy przekształca do wyniku wystandaryzowanego względem populacji – dzięki temu można powiedzieć że na przykład ilość 100 zjedzonych pączków w roku w grupie mężczyzn po pięćdziesiątce to dużo, że to wynik wysoki na tle populacji. I o ile ma to sens w diagnozie indywidualnej (np. przychodzi facet do poradni i chce się dowiedzieć czy je za dużo pączków), to w badaniach ilościowych, czyli takich w których masz wiele osób badanych używanie takich wyników robi więcej złego niż dobrego.

To kolejny temat rzeka co do którego pewnie ilu naukowców (rabinów) tyle zdań – ale my będziemy twardo stać na stanowisku, że wyniki standaryzowane (na przykład steny) są w badaniach ilościowych „spłaszczeniem” zróżnicowania badanych. Co nam po informacji że większość badanych jadła „dużo pączków” jeśli chcemy dowiedzieć się o ile zjedzonych pączków pracownicy biur przeganiają studentów? Albo gdy mamy tezę, że wraz z każdym zjedzonym pączkiem zwiększa się ilość dobrych dni w roku? Im mniejszy mamy zakres wyników (a standaryzacja to właśnie robi – zmniejsza ilość możliwych wyników tak aby można było po prostu ocenić czy są wysokie czy nie) tym mniejsza jest szansa na to że uchwycimy coś ulotnego, jak na przykład zależności dotyczące jednego pączka więcej. Bardziej statystycznie rzecz ujmując – m. in. testy różnic międzygrupowych czy korelacji bardzo źle znoszą takie „uproszczenie zmiennej”, i łatwiej o przeoczenie istotnych efektów. A dodać trzeba, że liczenie na przykład wyników stenowych dla podgrup wiekowo-płciowych zbadanych 200 osób to często katorga. Także – jeśli chcesz je liczyć – to nikt Cię nie powstrzyma, ale lepiej upewnij się, że jest Ci to do czegoś potrzebne, a w miarę możliwości, po prostu tego nie licz. Licz wynik surowy, stenom mów nie.

Tyle na dzisiaj. Było trochę przydatnych informacji?