W internecie jest już dostępny raport z badania „Jestem graczem”. Ten głośny projekt, oparty na internetowej ankiecie wypełnionej przez około 80 tys. osób, miał za zadanie „stworzyć rzetelny, kompletny obraz polskiego gracza”. Niestety zawiódł, stając się przykrym przykładem nieudanych badań społecznych.
____________
Wpis porusza wiele zagadnień i z konieczności robi to skrótowo. Jeśli któraś kwestia okaże się niejasna, zachęcam do zgłaszania wątpliwości oraz pytań – postaram się odpowiedzieć szerzej w komentarzu.
Drugi tekst o projekcie „Jestem graczem” można znaleźć tutaj. W tym miejscu znajduje się zaś gościnna notka Bartłomieja Schweigera na ten sam temat.
____________
Partnerami „Jestem graczem” są m.in. CD-Action oraz portal Gry.interia.pl, a fanpage badań polubiło ponad trzy tysiące użytkowników Facebooka. Cały projekt od początku miał znamiona wydarzenia medialnego, a 15 grudnia o godzinie 17.00 w uroczystej oprawie (specjalne zapowiedzi, zegar odmierzający czas do finału, dyskusja ekspertów nad uzyskanymi rezultatami) ogłoszono wyniki. Popularność badań jest niewątpliwa; również końcowy raport z pewnością pobierze wiele osób.
W tej sytuacji trzeba głośno mówić o wadach projektu, tym bardziej że są one bardzo poważne. Oto zatem pierwsza z istotnych słabości badań „Jestem graczem”. Więcej wkrótce w kolejnym wpisie.
„Polscy gracze”, czyli kto?
Na stronie internetowej przedsięwzięcia można przeczytać, iż jest ono „największym w historii badaniem polskich graczy”. Również na samym początku raportu przeczytamy, że jego cel to „zbudowanie prawdziwego obrazu polskiego gracza”. Autorzy dokumentu podkreślają też ogromną liczbę respondentów (79 543 osoby). Wszystko to sugeruje, że przebadano próbę reprezentatywną dla całej populacji osób grających w Polsce w gry komputerowe (zbliżony przekaz niosą różne doniesienia medialne, np. tutaj, tutaj i tutaj).
Tak jednak nie jest. Duża liczba respondentów nie oznacza, że można w prosty sposób uogólniać otrzymane wyniki 1. Dlatego projekt „Jestem graczem” mówi jedynie o pewnej części osób grających w Polsce w gry komputerowe (czy też gry wideo). Co gorsza, autorzy raportu w ogóle nie poruszają tego tematu. Nie tylko tworzą błędne wrażenie pełnej reprezentatywności, ale też utrudniają określenie, do jakiej grupy rzeczywiście mogłyby się odnosić wyniki. Aby to sprawdzić, trzeba dotrzeć do samego końca raportu, gdzie podano informacje demograficzne. Dopiero wówczas zobaczymy na przykład, że 93% respondentów to mężczyźni. Reprezentatywność? Wolne żarty.
Szkoda, że zabrakło odniesień do innych raportów na temat graczy (m.in. tego i tego). One też mają swoje słabsze strony, ale zgodnie pokazują, że proporcje płci są znacznie bardziej wyrównane. Pamiętajmy zresztą, iż słowo "gracze" może również określać np. pół miliona osób lubiących polski fanpage The Sims; nie powinno się go odnosić jedynie do osób z męskiej kultury gamingowej.
Lee "Life" Seung Hyun, aktualny mistrz świata w Starcraft 2 (źródło)
W dodatku autorzy raportu „Jestem graczem” nazbyt chętnie porównują swoich respondentów ze wszystkimi Polakami i Polkami. Jaki jest bowiem sens pisania, że np. średnie zarobki graczy są wyższe niż w całej krajowej populacji, skoro respondenci nieproporcjonalnie często mieszkają w największych miastach (24% vs 12% osób żyjących w miastach powyżej 500 tys. mieszkańców)? Jeżeli już chcemy tak porównywać, to raczej z osobami, które nie grają, lecz poza tym mają jak najwięcej cech podobnych do przebadanej próby.
A w jaki sposób można by było uzyskać pełną reprezentatywność? Jednego z przykładów dostarczają niedawne badania wykonane we Francji, na podstawie których rzeczywiście można wyciągać wnioski na temat graczy (i graczek!) reprezentujących bardzo różne grupy społeczne. Wprawdzie tego rodzaju projekt dużo kosztuje, ale jeśli nie było możliwości przeprowadzenia zbliżonych badań w Polsce, to należało uczciwie przyznać: „realny zasięg wyników jest ograniczony” 2.
Mateusz "matr0x" Ozga i Szymon "STING" Ozga, polscy gracze w Quake, z nagrodami z Heyah Logitech Cybersport 2006 (źródło)
Powyższe zastrzeżenia nie pozwalają jeszcze uznać, że rezultaty „Jestem graczem” są bezwartościowe. Ktoś przecież mógłby stwierdzić: „w porządku, projekt dotyczy wyłącznie określonej grupy, ale na jej temat mówi coś ważnego”. Niestety jednak również takie stwierdzenie byłoby bardzo problematyczne – trzeba dwa razy się zastanowić, zanim odniesiemy wnioski z tych badań do jakiejkolwiek grupy graczy. Dlaczego? O tym opowiadam w następnym wpisie.
____________
[1] Na własnej skórze przekonali się o tym autorzy sondażu prezydenckiego przeprowadzonego w 1936 roku w Stanach Zjednoczonych. Chociaż próba badawcza liczyła aż 2,4 mln Amerykanów (!), wyniki ankiety okazały się diametralnie różne od faktycznego rezultatu wyborów. Jednym z powodów były metody docierania do respondentek i respondentów: korzystano z katalogów telefonicznych, list członkowskich rozmaitych klubów, wykazów osób prenumerujących czasopisma itd. W ten sposób trafiono głównie do bogatszych mieszkańców USA, zaniedbując wyborców bezrobotnych lub po prostu mniej zamożnych.
[2] W badaniach sondażowych kluczem do reprezentatywności jest losowy dobór próby, tzn. taki, w którym każda osoba z szerokiej populacji ma dokładnie określoną – zazwyczaj identyczną – szansę trafienia do grupy bezpośrednio badanej. Jeśli np. wyłonimy naszych ankietowanych, losowo wybierając tysiąc pozycji z ogólnopolskiej listy numerów PESEL, to uzyskamy próbę, w której liczba kobiet i mężczyzn (oraz mieszkańców większych i mniejszych miejscowości, studiujących i niestudiujących, osób w młodym, średnim i zaawansowanym wieku etc.) prawie na pewno będzie taka sama, jak w całej polskiej populacji (a ściślej: w populacji osób mających numer PESEL). Rozumowanie to ma mocne ugruntowanie w matematyce i statystyce, zostało również sprawdzone w niezliczonych badaniach empirycznych.
Tymczasem w projekcie „Jestem graczem” zastosowano dobór dogodnościowy, który zakłada rozpowszechnienie wiadomości o badaniu i uwzględnianie wszystkich – lub niemal wszystkich – otrzymanych odpowiedzi. Taka metoda jest tańsza i prostsza, ale jeśli chcemy jej użyć, trzeba bardzo poważnie zastanowić się nad ograniczeniami uzyskanych informacji (choćby sam fakt udziału ochotników sprawia, że uzyskujemy bardzo specyficzną próbę). Pominięcie tych problemów przy prezentacji wyników badania jest wprowadzaniem odbiorców w błąd, a tak właśnie postąpiono – oby bezwiednie – ogłaszając rezultaty projektu „Jestem graczem”. To trochę tak, jakby rozdawać ankiety przed kinem na najwyższych piętrach stołecznych centrów handlowych, a potem mówić, że przebadaliśmy „mieszkańców Warszawy”.
*
Uprzedzenia dotyczące graczy z pewnością istnieją (choć uważam, że są słabsze niż kiedyś, a to ze względu na wzrost znaczenia i widoczności samych gier). Rozumiem, a nawet popieram chęć walki z tymi negatywnymi stereotypami. Walkę taką należy jednak toczyć z rozwagą, aby lekarstwo nie okazało się równie szkodliwe jak choroba.
Obecna wersja wpisu (z 20 grudnia 2014 r.) jest nieznacznie zmieniona w porównaniu do pierwotnej.
____________
Jeżeli tekst Was zainteresował, zapraszam na fanpage powiązany z blogiem. Zachęcam także do przejrzenia działu „O blogu”.
Podczas przygotowywania wpisu skorzystałem ze wsparcia Bartłomieja Schweigera – bardzo dziękuję mu za pomoc.
Ten raport to chyba jakaś PR-owsko-marketingowa ściema...
OdpowiedzUsuńNiestety jest to równocześnie PRowa ściema namaszczona na poważne badanie naukowe m.in. przez udział reprezentantów PTBG w prezentacji wyników. :/
OdpowiedzUsuńTroszkę uściślając: podczas prezentacji jedna osoba została podpisana jako członkini PTBG (dr Dominika Urbańska-Galanciak).
OdpowiedzUsuńJak ktoś wytyka słabości "literaturze" krakowskiego Tolkiena to zabija fundoma od środka i jest niesmaczny. Jak Staszek zabija growych badaczów to jest supcio. Kali się cieszyć, bo jego duch w narodzie wciąż silny.
OdpowiedzUsuń@Tomakon
OdpowiedzUsuńCzytelniczkom i czytelnikom pozostawiam ocenę podobieństw i różnic między tymi dwoma przypadkami (oraz reakcjami na nie). Sam zwrócę tylko uwagę, że prawie wszyscy wiedzą, iż "Kryształy Czasu" to marne książki, natomiast zdecydowanie nie wszyscy wiedzą, jak słaby jest ten raport.
Poza tym nie wiem, czy to są "growi badacze", raport jest raczej komercyjno-biznesowy.
Przyznaję, że sam dałem się trochę ponieść temu hype'owi związanemu z badaniem. Teraz kiedy człowiek już trochę ochłonął to zaczyna się zastanawiać i powoli dochodzi do niego, że od samego początku zanosiło się na "PRową ściemę" jak napisał jeden z przedmówców.
OdpowiedzUsuńCzego my się spodziewaliśmy? Z perspektywy czasu sam już nie wiem.
Ja też nie byłem aż tak krytyczny przed ogłoszeniem wyników (choć sam ankiety ostatecznie nie wypełniłem). To badanie byłoby nieco lepsze (choć nadal marne), gdyby rzetelnie przedstawiono jego rezultaty. Nie można było wiedzieć na pewno, że tak się nie stanie (choć pewnie rzeczywiście należało podejrzewać...).
OdpowiedzUsuńMnie by zjedli na studiach za tak przeprowadzone badania :/ No i przede wszystkim ominęli ważny odsetek graczy - nie graczy: wszystkie osoby, które grają w pasjanse lub minesweepera ;) Tak, byłyby to osoby starsze, które nie siedzą cały czas w necie i nie interesuje je wypełnianie ankiet, ale nadal to są gracze :P
OdpowiedzUsuń"W badaniach sondażowych kluczem do reprezentatywności jest losowy dobór próby, tzn. taki, w którym każda osoba z szerokiej populacji ma dokładnie określoną – zazwyczaj identyczną – szansę trafienia do grupy bezpośrednio badanej."
OdpowiedzUsuń" to uzyskamy próbę, w której liczba kobiet i mężczyzn (oraz mieszkańców większych i mniejszych miejscowości, studiujących i niestudiujących, osób w młodym, średnim i zaawansowanym wieku etc.)"
No okej ale tutaj mówimy o grupie GRACZY a wśród nich pewnie więcej jest mężczyzn, ludzi młodych, studentów, mimo wszystko ludzi którzy skoro mają komputer(inne użądzenie na którym grają) mają dostęp do internetu. Więc skoro bierzemy próbę losową z GRACZY to co za tym idzie w grupie losowej będzie więcej mężczyzn, ludzi młodych itd.
Ktoś tu nie uważał na statystyce. :)
Poza tym np. to, że gracze zarabiają więcej może być dobrym wnioskiem i prawdą. Tylko raczej nie powinno nas to kierować do myślenia, że jak gram to zarabiam więcej, tylko raczej w drugą stronę jak zarabiam więcej to gram (bo mam więcej czasu, nie muszę zapierdalać na 3 zmianę, stać mnie na gry)
Dlatego nie zgodzę się z artykułem bo akurat rodzaj doboru grupy losowej GRACZY w formie ankiety internetowej nie jest złe jako że 99% graczy ma internet i korzysta z mediów społecznościowych.
A wyników dokładnie nie oglądałem bo jak zobaczyłem na pierwszym wykresie że 36% kobiet grających w gry logiczne to jest mniej niż 25% grający w symulatory to stwierdziłem, że nie ma co tego dalej oglądać. W związku z czym co do prezentacji wyników i wniosków się nie wypowiadam ale dobór grupy moim zdaniem spoko.
Pół miliona osób, które polubiły polski fanpage "The Sims", to również gracze. Czy są młodymi studiującymi mężczyznami? Trudno powiedzieć. Można natomiast śmiało założyć, że w badaniu nie trafiono do tej grupy, w związku z czym jest ona niedoreprezentowana (i nie tylko ona). O ile mi bowiem wiadomo, linki zamieszczano głównie na portalach gamingowych – a to przecież nie jest tak, że portale gamingowe czyta cały internet. ;)
OdpowiedzUsuńWięcej, Staszku, sporo graczy (także grających w gry komputerowe) nie korzysta z mediów społecznościowych (gracze po 30tce), lub korzysta z innych niż facebook i twitter (gracze poniżej 16tki). Ba, niektóre osoby grające i wydające pieniądze na gry komputerowe i mobilne - w ogóle nie uważa się za graczy (spora grupa kobiet) i pewnie nawet, gdyby trafiło na link do tego badania, nie uznałoby go za skierowanego do siebie.
OdpowiedzUsuńWrzucanie linku w losowe miejsca w internetach to nie jest losowy dobór próby, i przykro patrzeć jak twórcy badania zasłaniają się dużą liczbą respondentów, żeby udać, że nic się nie stało.
Bardzo fajnie napisane. Pozdrawiam serdecznie.
OdpowiedzUsuńDziękuję!
Usuń