A WIĘC – CHCESZ ZROBIĆ SOBIE WŁASNE NARZĘDZIE BADAWCZE?

– Mamo, mamo, mam własny kwestionariusz!
– Naprawdę? Taki samodzielnie zrobiony?
– Taaaak!
– …na pewno jest świetny, powieszę go na lodówce, tam… będziemy o nim pamiętać…

Oczywiście, nie wątpimy że jesteś tym jednym z niewielu genialnych studentów, których nigdy nie zawodzi intuicja i jak coś wymyślą, to od razu jest z tego publikacja (sprawdzone & potwierdzone info). Ale… Ale… A gdyby… Gdyby jednak było jakieś ryzyko? Na przykład takie, że wymyślony kwestionariusz badawczy nie jest taki super?

WYOBRAŹ SOBIE, ŻE TO TROCHĘ TAK JAK Z PRZEPISAMI Z KSIĄŻKI KUCHARSKIEJ

Stara książka “Kuchnia Polska” to taki zestaw przepisów przepracowanych już wiele razy przez innych gotujących – przez prawie 50 lat ludzie dzielili się ze sobą doświadczeniami na przykład na temat szarlotki. Tam nie ma już wątpliwości – biorę przepis i w kilku ruchach jest po sprawie: mamy pyszne ciasto (swoją drogą uwielbiamy stare wydanie Kuchni Polskiej). Tak samo jest np. u Jadłonomii – obojętnie czy jesz wege czy nie, to bierzesz przepis i masz łopatologicznie wytłumaczone wszystko i to po prostu nie może się nie udać. Także – są gotowe i sprawdzone propozycje. A Ty akurat wpadasz na pomysł, że tak zupełnie znikąd stworzysz od nowa własne ciasto. Zupełnie bez niczyjej pomocy, przecież nikt Ci nie będzie mówił jak masz żyć! Cóż, może się skończyć tak że przyjdzie Gordon Ramsay i na Ciebie nakrzyczy.

Kwestionariusz autorski to bardziej nowinka, która jeszcze nie została dobrze sprawdzona. Podejrzewamy, że musi być tam proszek do pieczenia, ale ile go w ogóle wsypać? Trzeba sprawdzić parę razy, zanim ciasto wyjdzie. W gotowych kwestionariuszach znamy metodę. W autorskich trzeba poeksperymentować, żeby znaleźć sensowny wynik.

ISTNIEJE (BARDZO, BARDZO NIETRAFIONE) PRZEŚWIADCZENIE, ZARÓWNO WŚRÓD PROMOTORÓW JAK I STUDENTÓW, ŻE SERIA “PYTAŃ Z GŁOWY” ZMIERZY JAKĄŚ RZECZ, BO TAK I JUŻ

Nic bardziej mylnego! Narzędzia badawcze zazwyczaj tworzy się długo i cierpliwie i jest do tego specjalna, złożona procedura walidacyjna wymagająca dużych prób (5-10 osób na pojedyncze pytanie). Jasne że każdy może sobie zrobić swoje narzędzie, tak samo jak każdy może sobie zrobić coś nowatorskiego w kuchni. Pytanie brzmi – czy to będzie miało sens? Można sobie przypomnieć, że na przykład babcia Krzyśka smażyła pączki na oleju po śledziach – ale z jakiegoś powodu ta metoda nie zdobyła specjalnej popularności w regionie. Można tez zastanowić się dlaczego niektórzy cukiernicy poświęcili pół życia żeby dopracować sprawdzony przepis na zawsze pysznego pączka (daleko jeszcze do tłustego czwartku?).

Jeszcze Cię nie przekonaliśmy do skorzystania z gotowych narzędzi? Wykorzystanie czegoś nowego i autorskiego z gruntu wymaga poświęcenia większego czasu. To dokładnie taka sama zależność: jeśli w sklepie chce się otrzymać gotowy produkt, np. sukienkę, albo pasek, to od razu można podać cenę i równie szybko można ten gotowy produkt odebrać, bo jest to rzecz całkowicie standardowa. Jeśli zaś przychodzi się do sklepu z własnym projektem sukienki, to przygotowanie takiej jest zdecydowanie bardziej skomplikowane – trzeba ją szyć od podstaw i sprawdzać po drodze czy coś się nie rozjeżdża…

Dla przykładu: taki kwestionariusz do pomiaru cech osobowości NEO-FFI (tak to się pisze?) składa się aż z 60 pytań, ale został zaprojektowany przez kogoś bardzo dawno temu, wiele razy był poprawiany i sprawdzany czy zawsze działa. Są do niego gotowe wytyczne, opisane skale, przygotowane klucze, a jego wyjściowa forma ma zaledwie 5 zmiennych. Jeśli jako stolarz wykonywałbym krzesła NEO-FFI, to kiedy klient zamawia takie „krzesło” od ja razu znam ilość materiałów, mam dokładny plan jak to złożyć i właściwie od lat wszyscy wiedzą jak to ma wyglądać na końcu. Wykonało to „krzesło” NEO-FFI setki ludzi przede mną i każdy stolarz dobrze je zna… Normalnie kwestionariuszowa IKEA! Tymczasem kwestionariusz autorski, który ma ledwie 15 pytań może nastręczać więcej problemów niż 60 pytań w NeoFFI (kto tak pisze?). Nie ma tu gotowego planu jak używać tego narzędzia (nie ma klucza, bądź nie został on sprawdzony). To bardziej rysunek tego jak ogólnie ma wyglądać sukienka, niż techniczny plan jakich materiałów użyć, gdzie zszyć, gdzie uciąć. Więc trzeba się nad tym głowić, sprawdzać, docinać.

Przy okazji – o starym kwestionariuszu NEOFFI (a może tak to się pisze?) napisano już setki prac i nie trzeba opisywać co to takiego ta Ekstrawersja, a jeśli już to robi się to skrótowo. Jeśli kwestionariusz autorski mierzy np. „postawy Ślązaków wobec Łemków” to trzeba dokładnie opisać skąd się to wzięło, jak zostało zgrupowane, co znaczą skale i tak dalej, a poza tym – ponieważ to nowy kwestionariusz, to zwykle trzeba podać wiele więcej szczegółów technicznych. I na końcu – stary kwestionariusz sprawdzili już wszyscy, tak jak każdy miał ten najtańszy stolik z IKEA. Jeśli nie był wygodny, to nie był wygodny i tyle, nie ma nad czym się rozprawiać. Jeśli zaś mamy tylko szkic (kwestionariusz autorski) a nie plan techniczny, to zawsze, ale to zawsze jest wątpliwość, że z tego szkicu nie wyjdzie krzesło i mimo wielu prób i rozwiązań. NEOFFI zostało wypróbowane tyle razy, że wszyscy są pewni, że nie będzie lepsze. A kwestionariusz autorski trzeba przetestować na wiele sposobów.

Reasumując – zazwyczaj stworzenie a potem opracowanie wyników kwestionariusza autorskiego jest dużo trudniejsze, bardziej czasochłonne niż praca na znanych już kwestionariuszach; nie można przewidzieć co wyjdzie – a może nie wyjść bardzo. Możesz mieć różne cele w pracy, różne zaufanie do własnej intuicji – ale jeśli nie chcesz żeby tworzenie narzędzia było Twoją główną osią pracy badawczej, to serio, weź coś gotowego. Przecież nie budujesz własnej drukarni, żeby wydrukować pracę, tylko kupujesz drukarkę.

…Ech, dalej tu jesteś? Smucisz się bardzo, ale tak wyszło w życiu, że z jakichś przyczyn musisz, ale to totalnie musisz, wykonać swój własny kwestionariusz? Co Cię zapędziło w tak odległe zakamarki badawcze? Załóżmy, że nie możesz znaleźć własnego kwestionariusza “postaw Ślązaków wobec Łemków” i to Cię zachęca? Jeśli tak, to oczywiście zachęcamy do tego, aby znaleźć podobny kwestionariusz “postaw wobec” i lekko go zmodyfikować (np. za “Roboty” podstawić “Łemkowie”)… Dalej nie to? Piszesz pracę o takiej strukturze, że głównym jej celem stworzenie narzędzia badawczego? Wówczas ten poradnik ewidentnie nie jest dla Ciebie. Tworzenie narzędzia jako cel pracy sam w sobie to już grubsza sprawa. Może napisz nam parę zdań o tym – a my napiszemy coś na naszego bloga w temacie?

Anyway – tworzenie narzędzia można podzielić z grubsza na kilka etapów. Na początku generujesz treści – wymyślasz “pytania”. Skracając treść wszystkich książek, które możesz przeczytać (patrz: bibliografia) staraj się stworzyć takie pytania, żeby miały takie same odpowiedzi do wyboru; najlepiej proste tak/nie albo skale Likerta typu zgadzam się-nie zgadzam się. Pomieszane typy pytań i różne odpowiedzi prowadzą zwykle do katastrofy. Pytania nie powinny być całkiem wymyślone z głowy, powinny odnosić się do jakichś obszarów i pojęć teoretycznych na których opieramy swoją pracę; jeśli mamy wątpliwości czy dobrze trafiają w kontekst pracy i są zrozumiałe należy posłużyć się metodą sędziów kompetentnych (wyszukaj w Google). Następnie po pilotażu albo już samym zebraniu odpowiedzi należy z użyciem analizy czynnikowej odrzucić nietrafne pytania (podpowiedź: miara indywidualna KMO opisana w książce Fielda w treści o macierzy przeciwobrazów), określić ile czynników może mierzyć nasz kwestionariusz i określić rzetelność tych czynników. Potem jeśli to możliwe trafność zewnętrzną i rzetelność test-retest. A jeśli na którymś etapie zaobserwujemy słabe właściwości pomiarowe skali, to zabawę często trzeba zacząć od początku. Plus – najtrudniejsza sprawa – stworzenie akurat takiego zestawu pytań, które mierzą jeden spójny wymiar, a nie 15 zupełnie nieznanych. To wszystko razem zwykle nazywa się Psychometrią, całą dziedziną nauki o tym jak się tworzy narzędzia badawcze i zazwyczaj ogarnięcie podstaw (na poziomie studenckim) to często wiele godzin nauki i jeszcze więcej godzin czytania i eksperymentów w SPSS. I co? Nadal wydaje Ci się, że to taki świetny pomysł: “słuuuchaj, weź tam sobie wymyśl jakieś pytania i będzie git”.

Tyle w temacie. Jeśli macie jakieś uwagi i pytania, albo prośbę o rozszerzenie któregoś pojęcia – piszcie. 🙂

Przekonaliśmy Cię? Zamiast tworzyć własne narzędzie skorzystasz z gotowego? Great succes – wróć do naszego poradnika wyboru gotowego narzędzia! 🙂

Bibliografia:

Bedyńska, S., & Brzezicka, A. (2007). Statystyczny drogowskaz. Praktyczny poradnik analizy danych w naukach społecznych na przykładach z psychologii. Wydawnictwo SWPS Academica, Warszawa. – konkretnie rozdział 6 “zaawansowane sposoby tworzenia wskaźników”
Field, A. (2013). Discovering statistics using IBM SPSS statistics. Sage. – konkretnie rozdział 17 “Exploratory factor analysis”
Hornowska, E. (2018). Testy psychologiczne: teoria i praktyka. Wydawnictwo Naukowe” Scholar”.

Patrz też:
https://pl.wikipedia.org/wiki/Fa%C5%82szywe_za%C5%82o%C5%BCenie_znawstwa
https://pl.wikipedia.org/wiki/Pytanie_sugeruj%C4%85ce