„Jestem graczem”, czyli jak nie należy robić badań (część druga i ostatnia)

Coraz więcej mediów przedstawia rezultaty nieudanego badania „Jestem graczem”. W poprzednim wpisie pokazywałem, dlaczego nie może ono być źródłem informacji o wszystkich osobach grających w Polsce w gry komputerowe. Czas omówić pozostałe słabości tego niefortunnego projektu.

____________

Wpis porusza wiele zagadnień i z konieczności robi to skrótowo. Jeśli któraś kwestia okaże się niejasna, zachęcam do zgłaszania wątpliwości oraz pytań – postaram się odpowiedzieć szerzej w komentarzu.

Dodatkowa analiza słabości badania znajduje się w gościnnej notce Bartłomieja Schweigera.

____________

Po pierwsze, badaniu towarzyszyły nader optymistyczne zapowiedzi. Projekt miał „zweryfikować stereotypy”, a respondenci – pokazać „prawdziwą twarz gamingu”. Takie sformułowania mogły wpłynąć na nastawienie ankietowanych, zachęcając ich do udzielania odpowiedzi zgodnych z oczekiwaniami organizatorów (niekoniecznie w sposób świadomy).

Powyższą kwestię trzeba brać pod uwagę zwłaszcza przy pytaniach mglistych i silnie zależnych od subiektywnej samooceny, dotyczących np. „wpływu gier komputerowych na radzenie sobie w szkole” (strona 35 raportu końcowego) albo „oceny swoich relacji z najbliższą rodziną” (s. 51). Problematyczne jest zresztą samo zadawanie pytań o rolę hobby z wyraźnym podziałem na odpowiedzi pozytywne i negatywne. Doprawdy trudno się spodziewać, że wiele osób powie wprost: „moja ulubiona rozrywka wywiera zasadniczo zły wpływ na moje życie”.

W tych warunkach trzydziestoprocentowy odsetek odpowiedzi „mam mniej czasu na naukę” wśród uczących się graczy (s. 35) jest całkiem wysoki – lecz tego raport nie zaznacza. A bezrefleksyjne traktowanie opinii graczy jako wskaźników rzeczywistego znaczenia gier (to mniej w samym badaniu, bardziej w dalszych relacjach branżowych) woła już o pomstę do nieba.

Fragment rozgrywki e-sportowej – Niemcy, 2006 rok (źródło)

Po drugie, niejednoznaczność niektórych pytań ułatwia stronnicze intepretowanie wyników. Weźmy za przykład pytanie „Jaki sport uprawiasz?” (s. 27 raportu). Co właściwie mówi nam informacja, że 43% ankietowanych wskazało „jazdę na rowerze”? Ile z tych osób jest na siodełku prawie codziennie, a ile – raz na pół roku? Raport z badań zbiera takie nic niemówiące odpowiedzi i łączy je w jedną pięknie brzmiącą statystykę: „85% graczy uprawia sport”, ale my nadal nie wiemy, co to znaczy. Identyczne wątpliwości dotyczą „poznania graczy z innych krajów” definiowanego przez „kontakty towarzyskie (np. na Facebooku)” (s. 19), znajomości języków obcych (s. 34) i innych kwestii. Pojawia się tu wątpliwość, czy części pytań – być może bezwiednie – nie ułożono tak, aby potem łatwiej było przedstawiać odpowiedzi zgodnie z ideowymi założeniami projektu.

Sytuacji nie poprawiają zamieszczone w raporcie komentarze ekspertów. Z radosnego tonu wyłamuje się tylko wypowiedź Tomasza Kutery, słusznie zwracająca uwagę na to, iż uczestnictwo respondentów w kulturze (czytanie książek, chodzenie do kina…) wynika raczej z ich zamożności aniżeli stąd, że są graczami. Co więcej, obecnie na stronie badania można znaleźć slogan: „Poznałeś prawdę. Podziel się nią ze światem”. Rozumiem potrzebę promocji badania, ale… nie można było trochę skromniej?

Co gorsza, podobny język zagościł też w branżowych relacjach z badań. Ciężko powstrzymać się od gorzkiej refleksji, że w polskich serwisach poświęconych grom komputerowym jest zbyt mało rzetelnych dziennikarzy z odpowiednią znajomością statystyki. A i nie tylko w portalach branżowych, bo wyniki z entuzjazmem relacjonowało nawet Polskie Radio…

A Wy? Na jakich rowerach jeździcie? (źródło)

Po trzecie, autorzy końcowego raportu popełniają proste błędy. Przeczytamy w nim na przykład, że przeprowadzono „79 543 wywiady” (s. 4), podczas gdy samodzielnie wypełniana ankieta jest czymś zupełnie innym niż ustny wywiad. Zobaczymy również, że obliczano średni wskaźnik BMI na podstawie danych porządkowych (s. 28). Na przykład ktoś wskazał przedział wagowy „70–79 kg”, a traktowano go tak, jakby podał konkretną liczbę. Skąd wiedziano, czy waży 72 kilogramy, 74, czy może 78? Widząc te pomyłki, trudno nie podchodzić sceptycznie do całych badań.

Po czwarte, nie jest jasne, jak zbierano dane. Próżno szukać informacji o tym, gdzie dokładnie zamieszczono linki do ankiety, a byłoby to pomocne w określeniu, do kogo rzeczywiście mogą się odnosić wyniki. Autorzy badania mogliby sami podjąć ten temat, na przykład kontaktując się z redakcjami serwisów publikujących ogłoszenia i pytając ich o prawdopodobne cechy typowych użytkowników. Może wtedy okazałoby się, że zjawisko wskazane w zdaniu „Aż 71% graczy uczy się w szkole lub studiuje na wyższej uczelni” (s. 8) nie wynika z edukacyjnego pędu grających, tylko stąd, że ankietowanych przyciągały do projektu określone typy portali i mediów społecznościowych? Nie wiemy też, czy uniemożliwiono wielokrotne wysyłanie odpowiedzi z tego samego numeru IP (choć można przypuszczać, że takie próby podejmowało niewiele osób).

Jaki z tego wszystkiego wniosek? Badanie jest obciążone wieloma błędami, a rozmiaru niektórych z nich – nie mając stosownych informacji – nie możemy nawet oszacować. Autorzy dobrych badań ilościowych starają się wyeliminować czynniki o nieznanym wpływie na uzyskiwane rezultaty, a jeśli eliminacja jest niemożliwa – analizują ich możliwe znaczenie i łagodzą wypowiadane sądy. Tutaj zrobiono wprost przeciwnie, stawiając tezy bez pokrycia i zachęcając graczy do „dzielenia się prawdą ze światem”. Ocenę jakości otrzymanych informacji dodatkowo utrudnia to, że nie podano dosłownego brzmienia niektórych odpowiedzi na pytania zamknięte (choć wiele takich odpowiedzi wskazano, określono też treść samych pytań – to się autorom chwali).

Zaplecze mediów społecznościowych – Facebook Data Center w stanie Oregon (źródło)

Ponadto autorom badania chętnie podsunąłbym artykuł Magdaleny Tuły Dlaczego mężczyźni grają w „FIFA”, a kobiety w „The Sims”?. Gdyby go przeczytali przed ogłoszeniem wyników, może uznaliby, że zdanie „gracze to przede wszystkim młodzi mężczyźni” (s. 6) może łatwo utwierdzać stereotypy. Ale teraz mleko już się rozlało. Branżowy internet z pełną powagą powiela powyższą informację, odnosząc ją bez zahamowań do ogółu polskich grających. Mało kto w tekstach i komentarzach dostrzega absurd takiego stwierdzenia, który ujawnia się, gdy przejrzymy lepiej zrobione raporty biznesowe (np. ten – wprawdzie dotyczy on Stanów Zjednoczonych, ale nie sposób na poważnie utrzymywać, że proporcje płci i wieku w Polsce są tak drastycznie różne).

Skądinąd franczyza The Sims przyciąga nie tylko kobiety – w 2007 roku przedstawicielka Electronic Arts mówiła, że stanowią one 65% osób grających we wszystkie tytuły z tej serii. To wprawdzie większość, ale nie przytłaczająca. Również produkcje, które uważa się za atrakcyjne głównie dla mężczyzn, nie zawsze są tak jednoznaczne. Nawet w badaniu „Jestem graczem” 40% respondentek jako jedną z odpowiedzi na pytanie „W jakie gry grasz najczęściej?” wskazało strzelanki (s. 14 raportu).

Dlaczego tak rzadko o tym wszystkim myślimy? Dlatego, że wielu z nas – męskich graczy – zbyt głęboko zanurzyło się w kulturze gamingowej. Dzielimy gry na męskie (nasze) i żeńskie (obce), a popularności i znaczenia tych ostatnich nie zauważamy. W razie czego bronimy się przed niewygodnymi informacjami, mówiąc: „kobiety nie są prawdziwymi graczami”. Nie zauważamy jednak, że męska kultura gamingowa dawno przestała być najważniejszą częścią świata gier komputerowych (jeśli kiedykolwiek nią była). Przekonanie o ilościowej dominacji graczy nad graczkami trzeba w końcu zacząć weryfikować, a nie utrwalać je złym raportem i marnym badaniem. To samo dotyczy poglądu o prostym podziale płciowym poszczególnych gier oraz całych gatunków – owszem, istnieją preferencje płciowe, ale nie tak klarowne, jak zazwyczaj sądzimy.

Zapowiedź czwartej części cyklu The Sims na targach Gamescom w Kolonii, 2013 rok (źródło)

Na koniec należy podkreślić, że osiemdziesiąt tysięcy szczegółowo wypełnionych ankiet to ogromna ilość danych. Informacje te nie mają większej wartości naukowej, gdyż nie wiemy, kogo dokładnie opisują. Mogą mieć jednak wartość ekonomiczną – kimkolwiek byliby respondenci, nadal są bardzo liczną grupą potencjalnych klientów. W dodatku sponsorem badania jest duża firma¹, a jego obsługą medialną zajmuje się agencja PR-owa. Dobrze byłoby więc zadeklarować, że dane ankietowe nie zostaną użyte do celów komercyjnych, oraz jasno określić sposób wykorzystania otrzymanych informacji.

____________

[1] Jak słusznie zauważył mój współlokator, firma ta wytwarza karty graficzne, a więc można się spodziewać, że będzie zainteresowana informacjami o osobach grających na komputerach osobistych (a zwłaszcza o tych, które chętnie grają w nowe gry z zaawansowaną grafiką). Kwestia ta wzmaga niepokój o sposób wykorzystania danych, toteż tym bardziej pożądana byłaby jasna deklaracja na ten temat.

*

Tak jak pisałem poprzednio, rozumiem chęć walki z negatywnymi stereotypami na temat graczy (nawet jeśli nie są one tak silne jak kiedyś). Badanie „Jestem graczem” ma jednak zbyt wiele słabych punktów, aby było dobrym narzędziem takich zmagań.

Obecna wersja wpisu (z 20 grudnia 2014 r.) jest nieznacznie zmieniona w porównaniu do pierwotnej. Najważniejszą modyfikacją było usunięcie najostrzejszych sformułowań retorycznych, które po pewnym czasie uznałem za niestosowne.

____________

Jeżeli wpis Was zainteresował, zapraszam na fanpage powiązany z blogiem. Zachęcam także do przejrzenia działu „O blogu”.

Podobnie jak poprzednim razem, bardzo dziękuję Bartkowi Schweigerowi za pomoc w przygotowaniu wpisu. Przykłady dotyczące odsetka uczniów i studentów oraz średniego wskaźnika BMI zaczerpnąłem od Joanny Płaszewskiej.