Projekt „Jestem graczem”, o którym pisałem wcześniej na blogu (tutaj i tutaj), pokazuje potrzebę mówienia o metodologii badań nad graczami gier komputerowych. Niektóre problemy z nią związane objaśnia dzisiejszy wpis gościnny. Mam nadzieję, że pomoże nam on dostrzec nie tylko słabości „Jestem graczem”, lecz także właściwe sposoby prowadzenia badań. W końcu jednym z celów krytyki jest to, aby w przyszłych projektach uniknięto zbliżonych błędów.
____________
Autorem poniższego tekstu jest Bartłomiej Schweiger, socjolog, doktorant uniwersytetu Jagiellońskiego. Końcowa postać wpisu powstała dzięki redakcji Joanny Płaszewskiej. Grafiki i podpisy pod nimi zostały dodane przez gospodarza bloga.
____________
Duże zainteresowanie zorganizowanym ostatnio badaniem „Jestem graczem” oraz często pojawiające się w jego kontekście kontrowersje skłoniły mnie do napisania notki omawiającej błędy popełnione przy jego projektowaniu oraz wyjaśniającej, dlaczego dyskwalifikują one ten projekt jako badanie ilościowe.
Na początku należy nadmienić, że socjologia wykorzystuje w badaniach zarówno techniki ilościowe, jak i jakościowe. Techniki ilościowe wiążą się zazwyczaj z mierzeniem rzeczywistości, natomiast techniki jakościowe z jej interpretacją. Techniki jakościowe lepiej nadają się do zgłębiania konkretnych części interesującej nas rzeczywistości społecznej, ich wyniki nie są więc estymatorami tego, w jaki sposób dane zjawisko miałoby wyglądać w danej populacji, za to opisują konkretne przeżycia i zachowania konkretnych jednostek, nie wybiegając poza nie. Techniki ilościowe dają nam możliwość (co ważne) matematycznego wnioskowania o wartościach określonych cech w populacji na podstawie odpowiednio zebranych wcześniej danych. Uzyskane w ten sposób wyniki są zazwyczaj dużo płytsze (ale przy tym pewniejsze) niż wyniki, które uzyskujemy przy pomocy badań jakościowych.
Gdy zabieramy się za projektowanie ilościowego badania społecznego, musimy najpierw zastanowić się, na jakiej populacji ma być ono przeprowadzone. Niezależnie od tego, jaką strategię doboru próby chcielibyśmy później przyjąć, musimy najpierw zastanowić się, kogo tak naprawdę chcemy zbadać i jak go będziemy definiować. Czyli w tym przypadku: co będzie dla nas oznaczać słowo „gracz”, czy oznaczać ma ono po prostu osobę grającą w gry w ogóle, czy może jedynie osobę grającą w gry komputerowe? Czy może pisząc „gracz”, mamy na myśli amerykańskie „gamer”, czyli osobę należącą do określonej cybersubkultury? Warto tu zauważyć, że o ile angielski posiada dwa słowa na określenie osoby grającej – tj. „player” i „gamer” – z których jedno ma szersze, a drugie węższe znaczenie, o tyle w języku polskim mamy do dyspozycji (przynajmniej na razie) jedynie wyraz „gracz”.
Typowe przedstawienie gracza-gamera
(źródło: Labandadelquincho)
Jakąkolwiek definicję wybierzemy, musimy sobie postawić warunki pozwalające zdecydować, czy jakaś osoba jest częścią populacji, którą chcemy zbadać. Tu możemy zauważyć pierwszy problem. Osoby odpowiedzialne za „Jestem graczem” mówią jedno, a chciałyby zrobić drugie. Badacze przedstawiają swoje badanie tak, jakby miało dotyczyć wszystkich osób grających w Polsce, ale badanych starano się pozyskiwać głównie przez propagowanie akcji w portalach dotyczących grania, powiązanych z określoną subkulturą grania.
Takie posunięcie mogłoby być dobre, gdyby celem projektu było zbadanie tej konkretnej subkultury gamingowej, ale tu pojawiają się dwa problemy. Po pierwsze, takie podejście wymagałoby uczciwego napisania na początku badania czegoś w tym rodzaju: „Jako gracza definiujemy osobę, która dużo czasu spędza na portalach związanych z publicystyką okołogamingową oraz często gra w gry cieszące się dużym kulturowym prestiżem w subkulturze, w której się obraca”. Po drugie, nawet gdyby takie było założenie tego badania, to nadal, jeśli chcielibyśmy trafnie zastosować na zebranych przez nas danych metody analityczne użyte w „Jestem graczem”, powinniśmy stworzyć taką próbę, która byłaby statystycznie reprezentatywna dla danej populacji. Obecnie zastosowana próba dogodnościowa taką nie jest: nie kontrolujemy doboru próby, to jest nie wiemy, jakie są prawdopodobieństwa tego, że dana osoba znajdzie się w próbie, ponieważ nasz dobór nie spełnia warunku prawa wielkich liczb (o którym będę pisał trochę niżej). Jeżeli nie interesuje nas statystyczna reprezentatywność, to lepiej skorzystać z metod jakościowych, gdyż po prostu pozwalają się one dużo głębiej wgryźć w temat.
Jeśli natomiast autorów – zgodnie z ich deklaracją – interesowało określenie szerokich cech demograficznych wszystkich osób grających w Polsce, to należałoby to zrobić zupełnie inaczej: przebadać próbkę reprezentatywną dla populacji wszystkich Polaków, zadając im pytanie filtrujące, czy grają, i następnie przeprowadzić resztę ankiety. Mielibyśmy wtedy informacje o tym, ile osób w Polsce gra i np. jakie są faktyczne proporcje płci wśród nich, albo w jakie tytuły najczęściej grywają osoby z interesującej nas populacji.
Przy obecnym kształcie doboru próby badanie ma charakter tautologiczny, to jest pobieramy próbkę z miejsca, w którym według powszechnej wiedzy spotykają się głównie mężczyźni (tę potoczną wiedzę łatwo zweryfikować na podstawie analizy treści), a następnie pytamy ich o to, czy są mężczyznami – co jest bez sensu. To samo tyczy się tytułów, w które grają nasi badani: zbieramy respondentów w miejscu, w którym bardzo mocno reklamowane i dyskutowane są na przykład e-sporty, a potem dziwimy się, że te właśnie gry są najczęściej wymieniane przez badanych…
Komentatorzy e-sportowi z mistrzostw świata w Starcrafcie 2 w 2014 roku (źródło: Kevin Chang, Team Liquid)
W kontekście niektórych pojawiających się w kontekście „Jestem Graczem” komentarzy należy pamiętać, że dobór próby do badań ilościowych nie jest tym samym, co targetowanie reklamy do klienta. Gdy targetujemy reklamę, zależy nam na tym, aby jak najwięcej osób posiadających określone przez nas cechy się z nią zapoznało. Natomiast w probabilistycznym doborze próby chodzi o to, żeby tylko konkretne, wyznaczone przy pomocy losowania osoby znalazły się w badaniu, bo to gwarantuje możliwość zastosowania określonych praw matematycznych do oszacowania odpowiednich wartości cech występujących w populacji przy pomocy dostępnej próby. To znaczy, że jeżeli wylosowałem konkretnego osobnika, to staram się za wszelką cenę doprowadzić do tego, żeby to on znalazł się w badaniu, a nie ktoś inny, ponieważ dolosowywanie i zastępowanie go kimś innym (mimo że w razie potrzeby jest wykonalne) powoduje niepotrzebne komplikacje i może doprowadzić do skrzywienia wyników badania. Zatem więcej nie znaczy lepiej!
Dobrze skonstruowana próba losowa gwarantuje nam możliwość oceny błędu standardowego i przedziału ufności dla uzyskanych wyników – na co próba dogodnościowa nam nie pozwala. Co ważne, próba losowa nie równa się próbie przypadkowej!
Wszystko tak naprawdę rozbija się tutaj o prawo wielkich liczb, które mówi: „jeśli pobieramy kolejno proste próby losowe o liczebności n z (nieskończonej) populacji o dowolnym rozkładzie ze średnią μ i odchyleniem standardowym σ, to wówczas ze wzrostem n rozkład będzie dążył do rozkładu normalnego o średniej μ i odchyleniu standardowym σ/√n”. (Czytelnik może sobie wygooglować dowód, bo autorowi nie chce się go tu przytaczać).
To właśnie dzięki prawu wielkich liczb możemy, nie znając średniej ani odchylenia standardowego w populacji, wnioskować o nich z próby. Jeżeli nie mamy doboru losowego, to takiego wnioskowania nie da się przeprowadzić (ot, po prostu matematyka). Dodatkowo dobór losowy pozwala nam na oszacowanie istotności statystycznej testu, to jest prawdopodobieństwa, z jakim w naszych badaniach dokonamy błędu I rodzaju, oraz mocy testu (prawdopodobieństwa niepopełnienia błędu II rodzaju). Mówiąc krótko: teraz możemy sobie gdybać, czy to badanie dobrze odzwierciedla populację, czy nie. Gdyby zostały zastosowane odpowiednie techniki doboru próby, nie musielibyśmy tego robić, bo wiedzielibyśmy dokładnie, jakie są szanse na to, że badanie się myli, oraz jak bardzo prawdopodobne jest, że dana cecha jest mniejsza lub większa o daną wartość od tej, którą uzyskaliśmy w badaniu.
Dodatkowo należy zaznaczyć, że duża próba nie zawsze oznacza dobrą próbę. Oczywiście większa próba losowa powoduje, że możemy przewidywać, stosując większy przedział ufności i z mniejszym błędem standardowym. Jednak jeśli chodzi o kwestię, że tak powiem, benchmarku, to dla nieskończonej (sic!) populacji, gdy chcemy uzyskać 95% przedział ufności oraz maksymalny błąd oszacowania na poziomie 3%, wystarczy nam 1067 osób. (Psst! Dlatego socjologowie zazwyczaj używają próby około 1100 osób). Wzór na wielkość próby, gdy mamy do czynienia z wyżej wymienionymi parametrami, to: n=(Zα)²/4e², gdzie Zα to granica przedziału ufności, a e to maksymalny błąd oszacowania. Jeśli populacja jest skończona, należy zastosować poprawkę na skończoną populację o wzorze: n'=(n*N)/(n+N-1), gdzie n to liczebność próby dla populacji nieskończonej przy określonych parametrach, a N to liczebność populacji.
Dlatego też lepiej byłoby, gdyby ludzie odpowiedzialni za to badanie skupili się na uzyskaniu mniejszej, a statystycznie reprezentatywnej próby.
Prosty przykład doboru losowego (źródło: Dan Kernler)
Kolejną sprawą jest to, jak skonstruowane są w badaniu pytania – a w wielu przypadkach są skonstruowane źle i do tego zostały użyte do analiz, do których używane być nie powinny. Po pierwsze, pytania sprowadzające się do:
„twoje najulubieńsze hobby wpływa na ciebie (wybierz punkt na kontinuum):
pozytywnie--------------- negatywnie”
nie mają sensu, gdyż prawie każdy, kto nie ma zaburzeń depresyjnych albo głęboko zaniżonej samooceny, odpowie, że albo wpływają nijak, albo pozytywnie. Aby dowiedzieć się, czy gry wpływają na życie danej osoby pozytywnie, czy negatywnie, należałoby skonstruować bardziej skomplikowane baterie pytań wskaźnikowych, które nie wprost określałyby stan badanego (jak to się standardowo czyni w psychologii). Równocześnie trzeba by zadać pytania, które kontrolowałyby inne zmienne, mogące wpływać na stan respondenta. Dopiero na takiej podstawie można byłoby skonstruować indeksy dobrego lub złego wpływu, a następnie sprawdzić, czy zachodzi między nimi a np. częstotliwością grania w gry jakaś korelacja, albo pobawić się w jakiś rodzaj analizy czynnikowej lub analizy korespondencji. (Znowu: żeby te analizy dało się odnosić do populacji, potrzebujemy losowego doboru próby).
Po drugie, badacze wyciągają nieuprawnione wnioski, np. liczą średnią na podstawie danych porządkowych. Dla uściślenia: w statystyce mamy pięć poziomów pomiaru, a co za tym idzie, pięć rodzajów zmiennych: nominalny, porządkowy, interwałowy, ilorazowy i absolutny. (W zasadzie nawet sześć rodzajów, bo zmienna dychotomiczna – mimo że technicznie stanowi zmienną nominalną – jest z tej kategorii wyróżniana, bo można dla niej obliczyć średnią).
W przypadku zmiennych nominalnych możemy co najwyżej określić, że ich wartości są różne. Dobrym przykładem jest narodowość: nie możemy powiedzieć, że Polak=2*Amerykanin, bo takie stwierdzenie po prostu nie miałoby sensu.
Zmienne porządkowe to zmienne, które możemy poukładać w jakiejś kolejności, ale nie możemy określić, jakie interwały je od siebie oddzielają (albo też interwały te nie są równe). Przykładem takiej zmiennej jest podział grup wiekowych na niemowlęta, dzieci i młodzież, młodych dorosłych, dorosłych i osoby stare. Jesteśmy w stanie stwierdzić, że osoba w kategorii „dorośli” jest starsza od osoby w kategorii „dzieci”, ale nie jesteśmy w stanie powiedzieć, o ile.
Dla zmiennych interwałowych jesteśmy w stanie podać dokładne interwały (odstępy), zachodzi tutaj relacja równości i wyprzedzania oraz stałej różnicy. Dopiero dla tego poziomu zmiennych ma sens obliczanie średniej arytmetycznej; dla wcześniejszych poziomów pomiaru nie ma ona matematycznego sensu. Przykładem tego typu zmiennej jest temperatura podana w stopniach Celsjusza.
Zmienne ilorazowe natomiast charakteryzują się tym, że zachodzi między nimi relacja równości i wyprzedzania, stałej różnicy oraz stałego ilorazu.
Ostatni poziom pomiaru, w socjologii prawie nie używany, to poziom absolutny, w którym poza wyżej wymienionymi relacjami może też zachodzić relacja tożsamości.
Podsumowując: osoby odpowiedzialne za badanie „Jestem Graczem” zaprojektowały je (mam nadzieję, że nieumyślnie) w sposób, który nie pozwala na wyciąganie takich wniosków, jakie stawiane są po jego realizacji. Po pierwsze, ponieważ użyta w badaniu próba nie pozwala na uzyskanie interesujących badaczy informacji; po drugie, ponieważ samo narzędzie, którym się posługiwano, zostało skonstruowane w wadliwy sposób. Mam nadzieję, że takie wytłumaczenie rozwieje Wasze wątpliwości związane z tym, czy to badanie nadaje się do kosza, czy nie.
Bartłomiej Schweiger
____________
Jeżeli blog Was zaciekawił, być może zainteresuje Was również powiązany z nim fanpage.
Brak komentarzy:
Prześlij komentarz