Czasy Covid-19 mocno pozmieniały częstość wychodzenia z domu – i dotyczy to przecież także badaczy (tak profesjonalnych jak i młodych, piszących właśnie swoje pierwsze prace i dopiero stawiających pierwsze kroki w badaniach). Z musu, bo show must go on, badania robić trzeba, granty muszą być rozliczone, korporacje same się nie napędzą. Więc badania będą robione, choćby do ostatniego żyjącego człowieka nauki. Z musu też duża część badaczy przenosi się do pracy on-line, tam rekrutuje ludzi do swoich badań i z użyciem różnych narzędzi zbiera informacje ze swoich sondaży czy eksperymentów. Mimo entuzjazmu ludzi techniki, którzy przekonują że i górnik może on-line pracować, pojawiają się zarzuty o tzw. reprezentatywność badania – na język polski tłumaczone jako: “czy to badanie i wnioski z niego to w ogóle mają sens?”. Dzisiaj się temu przyjrzymy i wyjaśnimy co z czym. Oraz powiemy – jest “dobrze” czy “źle”.

CZYM JEST REPREZENTATYWNOŚĆ?

No tak, trzeba zacząć od grzebania w pojęciach żeby wiedzieć co z czym. Spokojnie, załatwimy to krótko i prosto. Ideą badań zazwyczaj jest przenoszenie wniosków na populację. Oto przykład. Wyobraź sobie, że robimy sobie badania i z użyciem różnych metod sprawdzamy czy badani którym podaliśmy cztery kawy pracują szybciej niż tacy, którym kawy nie podaliśmy – i jeśli badani po kawie biegają po biurze a ci po kawie nie, to formułujemy wniosek: kawa pobudza. W domyśle z wniosków badania zakładamy, że jeśli podamy kawę komukolwiek na ziemi, to raczej będzie biegał po biurze niż nie biegał. Ale, ale, nie tak prędko. Skąd wiemy, że osoby które zbadaliśmy nie różnią się od reszty populacji – w sensie czy możemy ekstrapolować wyniki swojego badania na wszystkich ludzi na ziemi? Czy nasi badani: zatrudnieni na stażu w polskiej bieda-firmie Janusza biznesu pracownicy biurowi tak samo będą reagować na kawę jak pracownicy barów kawowych we Włoszech? (O tym jeszcze pogadamy później).

Naukowcy od dawna mają świadomość tego problemu i radzą sobie z nim gorzej albo lepiej. Po to między innymi wprowadzili pojęcie reprezentatywności. Wiemy że mądre książki opisują to takim językiem że wypadają oczy, ale my to uprościmy. Generalnie wykorzystanie reprezentatywności opiera się na tym ile wiemy o społeczeństwie na które chcemy przenosić potem wyniki. Jeśli w populacji polskiej mamy po połowie kobiet i mężczyzn, to nasze badanie powinno też być wykonane w taki sposób, żebyśmy mieli po połowie kobiet i mężczyzn. Jeśli pod koniec dnia mamy 90% kobiet naszym w badaniu, to jego reprezentatywność spada; musimy wówczas na przykład dobadać więcej mężczyzn. No ale przecież płeć to nie wszystko co wiemy o populacji – przecież mamy też miejsce zamieszkania. I wykształcenie. I wiek… No to skoro dzięki informacjom o społeczeństwie wiemy, ile w społeczeństwie jest kobiet z wyższym wykształceniem z dużych miast w wieku 20-30 lat, to tyle powinniśmy mieć w swoim badaniu, żeby próba była bardziej reprezentatywna. Bardziej?

Lekcja numer jeden – reprezentatywność próby to nie opcja tak vs nie, czyli albo badanie jest reprezentatywne albo nie. To koncepcja skali lub poziomu, gdzie coś jest bardziej albo mniej reprezentatywne; przy czym na każdym poziomie i w każdym miejscu naukowcy będą się kłócić czy to już dobrze, czy jeszcze nie. I teraz najlepsze – to się nigdy nie kończy. Zawsze będzie można wygrzebać kolejną cechę i powiedzieć: “ej, czy w tych badaniach byli badani reprezentanci morsowania wyczynowego? bo przecież to bardzo ważna zmienna demograficzna i jeśli nie uwzględniliśmy takiej informacji, to badanie nie jest aż tak reprezentatywne jak mogłoby być…”. Koszmar.

Ale, wbrew pozorom ma to sens – wykonując jakiś sondaż chcemy się dowiedzieć nie tyle jak zachowują się nasi badani, co jak zachowują się np. Polacy. Nie możemy zbadać wszystkich – byłoby to bardzo kosztowne, żeby zajrzeć do każdych drzwi na terenie kraju; więc badamy kogo możemy… Ale im więcej cech o charakterze demograficznym i społecznym uwzględnimy tym bardziej wynik który my uzyskamy będzie zbieżny z tym co uzyskamy w realnym świecie. Najprostszy przykład to sondaż wyborczy – w stanach jakiś czas temu popełniono błąd pytając głównie osoby z dużych miast na kogo będą głosowały (pomijając te z małych miast, nie uwzględniając ich wykształcenia) i wyniki sondażu różniły się srogo od tego jak ludzie realni zagłosowali i potem dziennikarze masowali skronie i czoła i kombinowali co jest. Także reprezentatywność to… No fajna koncepcja teoretyczna. Czy w ogóle możliwa do zrealizowania?

KOGO STAĆ NA REPREZENTATYWNE PRÓBY?

Nie Ciebie. Po pierwsze próby które są reprezentatywne na tyle, że nie przyczepi się prawie nikt – to badania robione często na tysiącach osób. Do tego – muszą zostać uwzględnione wszystkie cechy populacyjne, a więc w wyniku skomplikowanych ustaleń statystyczno-społecznych trzeba wiedzieć ile ma być osób z małych miast w wieku powyżej 80 lat z wykształceniem wyższym, słuchających tylko glam-rocka i lubiących tupać nogą w tramwaju. Spróbuj zaplanować a potem zrekrutować osoby badane w takiej ilości i o takiej ilości cech demograficznych. No, dajesz, jedziesz.

Pozwolić sobie na to mogą tak naprawdę instytucje rządowe jak GUS, OBOP które mają w ogóle dostęp do takich danych o obywatelach, oraz budżety żeby zadzwonić do Pcimia i żeby pojechać osobiście do Płońska do akurat tej jednej osoby co nie ma telefonu, a jest potrzebna do reprezentatywnej próby. Bawią się też w takie rzeczy duże firmy badawcze które zatrudniają setki ankieterów i mają zbudowaną wcześniej bazę osób chętnych do badań o konkretnych cechach demograficznych w zależności od tego co jest badane. Na koniec zwykle używają jeszcze dość złożonych mechanizmów ważenia obserwacji, czyli poprawiania reprezentatywności… Możesz nam wierzyć, że nawet jak dostaniesz kilkaset tysięcy na grant badawczy z uczelni, to uzyskanie reprezentatywnej próby badawczej nadal może pozostać w sferze marzeń. I co najważniejsze – może się okazać, że zwiększenie reprezentatywności próby wcale nie podnosi jakości badania.

CZY REPREZENTATYWNOŚĆ W OGÓLE JEST CI POTRZEBNA?

Umówmy się, że spora część badań w ogóle nie wymaga, żeby próba badawcza najlepiej jak to możliwe odzwierciedlała całą populację. Jeśli badasz spożycie czekolady u kobiety w ciąży, to na starcie Twoje badanie skupia się na jakiejś konkretnej podgrupie i włączanie do niego mężczyzn raczej jest bez sensu. Kiedy badasz wpływ tik-toka na zdrowie psychiczne, to mało Cię będzie interesować czy trafisz do wszystkich grup wiekowych, bo, hej, czy Twoi dziadkowie mają tik-toka? W takim wypadku zamiast biegać po całym kraju i sprawdzać czy przypadkowe osoby na ulicy mają tik-toka czy nie – lepiej jest badać użytkowników tik-toka, złapać ich na jakiejś grupie czy coś.

Tak samo jeśli badasz na przykład osoby ze stwardnieniem rozsianym – najłatwiej znajdować te osoby w miejscach gdzie bywają niż dzwonić pod przypadkowe numery z zapytaniem czy się łapią na Twoje badanie. I tu oczywiście kwestia do poruszenia – dlaczego pójście do ośrodka w którym bywają osoby ze stwardnieniem i próba rekrutacji osób na badanie jest dla badania lepsze niż np. zadzwonienie tam, albo wysłanie maila? Albo w ogóle, może zajrzeć na forum dla osób ze stwardnieniem? Co by miało być w tym złego, albo gorszego niż wysyłanie do nich listów?

Anyway – pytanie brzmi po prostu na początek, czy badasz jakąś konkretną grupę i chcesz wyniki odnosić do całej populacji (Polski? Europy? Świata?), czy wystarczy Ci odpowiedź, że w grupie osób 15-17 które posiadają tik-toka nie jada się czekolady? Postaw poprawnie tezę i zastanów się, czy chcesz żeby badanie było “reprezentatywne”, czy żeby było skonkretyzowane do jakiejś konkretnej pod-grupy.

…a następnie zastanów się czy ta podgrupa ma jakieś cechy żeby wiedzieć czy Twoi badani są względem takiej grupy reprezentatywni. Otóż – nawet jeśli badasz użytkowników tik-toka to musisz zastanowić się, czy osoby które udało Ci się zbadać są rzeczywiście takie jak podaje np. szef tik-toka. Wysyłasz do swoich znajomych studentów ankietę o tik-toku? Spoko, ale oni mają powyżej 19 lat, a główni użytkownicy tik-toka są poniżej 15 roku życia… Może lepiej trafić do jakiejś przypadkowej grupy ludzi w internecie którzy deklarują się jako użytkownicy tik-toka? Im więcej cech grupy którą badasz będziesz znać i rozkminiać, tym lepiej dla Twoich badań. Także tego – trochę reprezentatywności zawsze dobrze mieć pod ręką. Tylko jak bardzo spiąć się i jak bardzo szukać? Jak bardzo się zagłębić w kwestię tego, czy moja grupa badanych jest już “spoko”?

CO JEST REPREZENTATYWNE?

Powiedzmy sobie szczerze – niewiele. Zakładamy się o paczkę dużych draży Korsarzy, że na 100 badań klasycznych w naukach społecznych może kilka będzie takich, że nie będzie się do czego przyczepić. Nie na darmo o na przykład psychologii krąży żarcik, że jest nauką tylko o amerykańskich studentkach – mądre głowy które napisały mnóstwo dobrych książek rekrutowały głównie wśród własnych studentów… a właściwie studentek, bo tych na amerykańskich uczelniach z których pochodzą praktycznie wszystkie nagłówki w gazetach o tym jaki jest człowiek studiowały głównie panie i to one chętniej brały udział w badaniach. Zarzut braku reprezentatywności dotyczy tak samo słynnego Eksperymentu Więziennego jak i Twoich badań studenckich! Przy czym Sławny Eksperyment jest już tak długo na rynku (i tak dobrze się sprzedaje), że pytania o to czy aby na pewno zostały do niego dobrane osoby w sposób oczekiwany przez np. statystykę są chowane pod dywan.

Przejrzyj sobie jakieś przypadkowe publikacje polskojęzyczne – mamy na myśli artykuły które ukazują się sumptem na przykład wydawnictw uczelnianych. Jeśli znajdziesz tam jakieś informacje o próbie pozwalające na określenie, czy próba była reprezentatywna (czyli kim dokładnie byli badani i skąd się wzięli), to się rozczarujesz. Jeśli w ogóle coś znajdziesz. A jak sobie popatrzysz na opisy grup badawczych w książkach które są podręcznikami do tej całej psychologii to w ogóle złapiesz się za głowę. Jak myślisz – dlaczego Chartrand i Bargh mieli takie problemy z wytłumaczeniem dlaczego ich eksperymenty się nie replikują (tzn. dlaczego efekty które uzyskali z niewiadomych przyczyn się nie powtarzają), a są przecież w Ważnych Książkach Przedmiotu? Dlaczego eksperymenty replikacyjne są w ogóle tak kłopotliwe i badacze muszą się ostro nagłowić, dlaczego nie uzyskali ponownie takiego samego wyniku, a przecież te wyniki takie ładne były amerykańskie, i w gazetach pisali o Zderzaku Łągiewki przecież? Dlaczego w naukach społecznych rozwijają się metody metaanaliz (czyli takie krytyczne podsumowania wielu badań na ten sam temat) i dopiero po kilkudziesięciu porównanych wynikach badań z całego świata formułuje się jakiś ostrożny wniosek? I tak dalej i tak dalej… Pomyśl, że skoro najlepsi z najlepszych nie unikną tego zarzutu, to może Ty też nie musisz się aż tak spinać?

ALE CZY BADANIA PRZEZ INTERNET SĄ REPREZENTATYWNE?

A czemu miałyby nie być? Czy rekrutacja przypadkowych osób przechodzących przed Twoim uniwersytetem, albo co piątej osoby na ulicy różni się tak bardzo od rekrutacji co piątej osoby komentującej Twojego posta na przypadkowym forum? A jeśli tak, to czym? Kto się kręci obok uniwersytetu? Kto wchodzi na forum? Kto jest bardziej anonimowy – przechodzący ulicą człowiek, czy ktoś kto na LinkedIn ma swój pełny Profil Poważnej Osoby? Czy w dobie pandemii bardziej reprezentatywni są/byli ludzie w domach czy ludzie na ulicy? W tym sensie – większość zarzutów które kieruje się w stronę tych badań internetowych mogłaby dotykać w tym samym stopniu badań papier-ołówek. Oczywiście byłoby super gdyby wyeliminować jakieś problemy na poziomie badania, ale badanie nie jest gorsze (mniej reprezentatywne) bo użyto Internetu, tylko może być co najwyżej gorsze, bo badacz nie przestrzegał jakichś praw zbierania danych. To nie kwestia metody zbierania badania, a raczej (i najczęściej) lenistwa lub niewiedzy badacza.

Jest ważniejsza sprawa na tapecie – klasyczne formy badań i rekrutowania są skazane na małą ilość badanych. A statystyka jest bezlitosna dla kwestii wielkości próby. Dłuuugą dyskusję statystyków ze sobą (oni mówią takim językiem “titiititititit”) można podsumować mniej więcej tak: im większa próba badanych tym większa reprezentatywność i lepiej wziąć 200-300 osób z jakiegoś forum w necie niż 30 osób z ulicy. Oczywiście fajnie by było pójść w teren i z całej polski z ulic i domów zebrać 300 osób, ale kurczę, coś nam się wydaje, że na budżet studencki to może być słaba opcja. I stawiamy 10 paczek draży Korsarzy, że w próbach po 300 osób wyniki zebrane via sieć kontra zebrane na ulicach nie będą się różnić wcale (chyba że na korzyść tych internetowych).

Możesz wierzyć lub nie, ale w naprawdę większości prac, a właściwie teorii naukowych, wyniki będą praktycznie takie same jeśli zbadamy ludzi przez internet co przy użyciu klasycznego papieru i ołówka. Dlaczego? Dziś dostęp do internetu ma prawie każdy (dowód) – zarzut o wykluczenie z badania jakiejś niewielkiej grupy górali lub mieszkańców podlasia po 80tce wydaje się tu niezbyt trafiony. Po pierwsze – czy taka osoba zrozumiałaby i wypełniłaby lepiej kwestionariusz papierowy niż elektroniczny? Po drugie – zastanówmy się szerzej: jak bardzo taka osoba jest reprezentatywna dla populacji, żeby jej włączenie/wyłączenie było kluczowe dla badań? Brzmi to pewnie nieładnie i może nawet nieco wykluczająco pewne osoby z badań, ale jeśli chodzi o rzetelność czy jakość badania – takie są fakty. I czy tego chcemy czy nie, coraz mniej osób będzie poza zasięgiem badań internetowych. I coraz mniej „rzetelnych badań” będzie te osoby ujmować.

Masz tu trudną do przełknięcia pigułkę: to nie kwestia reprezentatywności badań się liczy, ale to czy czytelnik doczytał kogo badają. Kluczowe dla badań w ogóle jest rozumienie całego kontekstu badawczego. Media kochają głośne nagłówki: “rzut do kosza za 3 punkty jest bardzo prosty” – wynika z badania sondażowego przeprowadzonego na zawodowych koszykarzach. Łapiesz na czym polega problem? Nie na metodzie zbierania danych – ale na tym jak czytelnik wyniki badania rozumie i sobie interpretuje, czy zajrzy w ten naukowy bigos i sprawdzi: “no tak, badacz zaczepiał losowe osoby w swoim pokoju w akademiku”, “ojej, nie wiemy nic o płci i wieku badanych”, “przebadał 300 osób, ale kim one były?”, “zaraz, tylko 10 osób zbadał? to tak można?”. No pewnie, fajnie by było gdyby świat badań naukowy był pełny tylko i wyłącznie idealnych prób i badań, a czytelnik nie był leniwy i podatny na biasy poznawcze… ale kurczę, pracujemy na tym co mamy.

Wydaje nam się po prostu, że ważną częścią pracy jest jakiś akapit który opisuje kto, gdzie i w jakich warunkach był badany. Dzięki temu: a) czytelnik może sobie określić, teraz lub w przyszłości i w zależności ile z tego kuma, czy to co widzimy możemy przenosić na populację; b) inni naukowcy mogą w przyszłości zamiast krytykować sobie (bo to jest łatwe i przyjemne) poprawić jakość badania, albo sprawdzić czy gdzieś efekt wystąpi mocniej/słabiej, albo w ogóle robić całą serię ciekawych rzeczy, bo wiedzą skąd się wzięły wyniki; c) co najważniejsze – im bardziej szczegółowo w rozdziale „metoda” opiszesz „grupę badawczą” i „sposób zbierania danych”, „rekrutację” i w ogóle wszystko co Ci przyjdzie do głowy – tym bardziej tę pracę rozciągniesz (znamy mistrza, który nabił tak dodatkowe dwie strony w pracy!). Także – same plusy z tego opisywania.

NIE TAK PRĘDKO PANIE POTTER!

Oczywiście – w nauce zawsze znajdzie się parę wyjątków, które mogą stanowczo utrudnić potwierdzenie powyższych kwestii. Na przykład – eksperymenty. Klasyczne eksperymenty to praktycznie zawsze robienie jakichś dowcipów badanemu: podanie mu czegoś, zabranie czegoś, udawanie w pięć osób że badany jest jakimś świrem, hej, w ogóle mnóstwo zabawy, polecamy każdemu! No, ale Covid, trudno z domu wyjść i zrobić komuś psikusa, nawet w Halloween. Także zrobienie eksperymentów w sieci wymaga albo bardzo dużej pomysłowości (no bo jak przez internet zabrać temu dziecku ciastko?), albo ogranicza samą metodę badawczą… tylko – czy to jest kwestia reprezentatywności próby? Raczej ograniczenia samych badań przez internet w ogóle.

Kwestii tego, czy rzeczywiście chciało Ci się poszukać jakichś badanych w internecie jest grząska. To znaczy – możesz oczywiście wysłać swoją ankietę mamie, wujkowi, kolegom z roku… i na tym skończyć. Mała próba, jedna rodzina, no trochę słabo. Możesz też poszukać for tematycznych, grup badawczych, porozsyłać tę ankietę do różnych biur, zadbać o to żeby badani byli w różnym wieku, a nawet zadzwonić do kuzyna z Podlasia. Chciało Ci się bardziej, to wyniki będą lepsze – większa próba i bardziej zróżnicowana. Ale znów ten zarzut dotyczy nie tyle kwestii samego badania internetowego, co motywacji badacza do zebrania bardziej prawilnych wyników. Jak Ci się nie chce – to tak samo rozdasz pięciu koleżankom na roku papierową ankietę, zamiast biegać po mieście. Nie wińcie internetu za lenistwo, wińcie Kanadę!

Dodatkowo – kwestia która nam wydaje się bardzo ciekawa – różnice międzygrupowe w wynikach badania. Wróćmy do kwestii wpływu kawy na pracowników biura w polsce vs Włochów z barów kawowych. Nauka to tak naprawdę wieczne odkrywanie nowych rzeczy. Zagłębienie się w cudze wyniki (że kawa wpływa) i stwierdzenie, że kawa może działać różnie na różne grupy ludzi, wyprowadzenie w ten sposób nowej teorii którą chcemy testować – to coś podstawowego dla rozwoju każdej dziedziny. Że znajdzie się student(ka) który(a) zakwestionuje uniwersalny wpływ kawy na bieganie po biurze, który(a) powie, że różne grupy ludzi różnie reagują, odpowie sobie na pytanie co różni reprezentacje tych grup i je zbada i porówna wyniki… to tylko się cieszyć, tylko bić brawo, poważnie, jakby mieli dawać jakieś fajne nagrody ludziom to za właśnie takie kwestionowanie uniwersalności wyników badania. Nie zbadasz od razu wszystkiego, zresztą, to tak nie działa w nauce – wykonaj swoje badania najlepiej jak możesz, a jeśli ktoś będzie chciał je krytykować, niech zrobi swoje, lepsze. Reprezentatywność próby może być zaburzona, tak samo jak sam wybór w ogóle jakiejś próby, czy nawet początkowej tezy, ale jeśli ktoś ma potem pomysł na zrobienie tego inaczej, lepiej, w inny sposób, to tylko się cieszmy. Każda z tych cegiełek buduje naukowe gmachy!

Nad Twoją pracą powinien ktoś czuwać, ktoś kto ma ogar metodologii zbierania danych, rozumie statystykę i weryfikację Twoich hipotez. Powinno być też tak, że na kursach statystyki i metodologii samodzielnie załapiesz co jest 5 a co jest 1, ogarniesz sobie czym jest próba, które książki czytać. W ogóle na studiach to powinno Ci się życie poskładać, wątpliwości rozwiać, wszystko iść do przodu. Ale jeśli nie? Jeśli nikt Cię nie kontrolował, na kursach nie pojawiał się prowadzący? Tutaj akurat z pomocą przychodzi internet: bo biegając z kartką po mieście trudno się zwierzyć przypadkowym ludziom i uzyskać od nich jakąś radę w otoczeniu zdjęć śmiesznych kotów.

Także tego – nie panikuj, rób swoje, nie ma potrzeby się wkręcać za bardzo w dyskusję o tym, że internet to zepsuł badania, że wywołuje agresję wśród graczy komputerowych i jest powodem cierpienia słoni syberyjskich i że w ogóle krowy przestały dawać mleko analogowe, a dają cyfrowe.

Jedziesz z tymi badaniami!

P.S. Chcemy coś dodać na zakończenie. Jeśli to nie wybrzmiało, to powtórzymy – bardzo popieramy ideę reprezentatywności próby. My się w to naprawdę wkręcamy. Po prostu uważamy, że pobieżna krytyka badań internetowych („bo internetowe”) nie rozwiązuje problemu reprezentatywności. Oraz, że internet, jako narzędzie, użyte dobrze – przyniesie nam wszystkim więcej dobrego niż złego.