Co dzieje się, kiedy niezależni naukowcy ponownie analizują dane pochodzące z przeprowadzonych wcześniej badań? Ich wnioski mogą być zupełnie inne – wynika z międzynarodowego badania z udziałem naukowców z kilku polskich ośrodków, opisanego w prestiżowym czasopiśmie „Nature”.
Badanie „Investigating the analytical robustness of the social and behavioral sciences” wskazuje, że wnioski naukowców mogą się diametralnie różnić w zależności od tego, kto przeprowadza analizy. Publikacja jest jednym z wyników szeroko zakrojonej międzynarodowej współpracy pod kierownictwem Węgrów dr. Balázsa Aczéla i dr. Barnabása Szásziego. Przeprowadzono ją w w ramach programu „Systematizing Confidence in Open Research and Evidence” (SCORE), finansowanego przez amerykańską agencję rządową Defense Advanced Research Projects Agency (DARPA). W przedsięwzięcie zaangażowani byli badacze z Uniwersytetu im. Adama Mickiewicza w Poznaniu, Uniwersytetu Jagiellońskiego, Uniwersytetu SWPS, Uniwersytetu Wrocławskiego i Instytutu Studiów Politycznych PAN.
Program SCORE, w którym uczestniczyło blisko 900 naukowców, dotyczył oceny wiarygodności badań. W trakcie jego realizacji zgromadzono ogromną bazę informacji na temat wyników z dziedziny nauk społecznych i behawioralnych. Dostarcza on nowych wniosków na temat odtwarzalności, solidności i powtarzalności badań.
Czy ponowna analiza da te same odpowiedzi?
W ramach badania „Investigating the analytical robustness of the social and behavioral sciences” zespół 457 niezależnych specjalistów z całego świata przeprowadził ponowne analizy danych pochodzących ze 100 wcześniej opublikowanych badań z dziedziny nauk społecznych i behawioralnych. Wszyscy analitycy otrzymali ten sam zbiór danych i to samo kluczowe pytanie badawcze, ale mieli swobodę w wyborze sposobu przeprowadzenia analizy.
W ciągu ostatniej dekady w naukach społecznych i behawioralnych zaszły gruntowne zmiany, których celem było zwiększenie przejrzystości, rygorystyczności i wiarygodności badań. Ograniczeniu występowania przypadkowych odkryć i wyników obciążonych błędami mają służyć m.in. badania replikacyjne czy kontrole odtwarzalności analitycznej. Wciąż jednak mało wiadomo na temat tego, w jakim stopniu wyniki badań zależą od konkretnego sposobu analizy danych.
Standardowo dane są zazwyczaj analizowane przez jednego badacza lub zespół badawczy, natomiast publikacja jest rezultatem jednej konkretnej ścieżki analitycznej. I chociaż recenzenci oceniają poprawność metodologiczną, rzadko kiedy podają w wątpliwość zastosowanie określonego sposobu analizy danych. Przeprowadzając badania, należy podjąć szereg decyzji na temat m.in. sposobu czyszczenia danych, definiowania zmiennych, wyboru modeli statystycznych czy interpretacji wyników. Wszystko to składa się na tzw. zmienność analityczną, która wpływa na ostateczne wnioski.
Takie same wnioski, ale tylko w 1/3 przypadków
Niezależne analizy tych samych efektów, przeprowadzone na tych samych danych w ramach 100 badań, wykazały znaczne rozbieżności w wynikach. Chociaż większość ponownych analiz zasadniczo potwierdzała główne tezy badań pierwotnych, siła efektu, szacunki statystyczne i poziomy niepewności często znacznie się różniły. Tylko w około jednej trzeciej przypadków wszyscy analitycy doszli do takich samych wniosków jak autorzy pierwotnych badań.
Co ważne, rozbieżności nie wynikały z braku wiedzy. Odmienne od pierwotnych wnioski wyciągali zarówno doświadczeni badacze, jak i naukowcy o mniejszym doświadczeniu. Dodatkowo, badania obserwacyjne okazały się mniej wiarygodne niż badania eksperymentalne, co wskazuje, że posługiwanie się danymi o bardziej złożonej strukturze może zwiększać elastyczność analityczną, a więc wpływać na poziom niepewności.
Jak argumentują autorzy, wyniki nie podważają wiarygodności wcześniejszych badań. Świadczy to raczej o tym, że wykorzystanie konkretnej analizy danych często nie odzwierciedla rzeczywistego stopnia niepewności empirycznej. Podkreślają też, że należałoby szerzej stosować podejście oparte na współpracy wielu analityków, zwłaszcza w przypadku kwestii o dużym znaczeniu naukowym lub społecznym.
Wyniki tego projektu wskazują, że rzetelna weryfikacja twierdzeń naukowych poprzez niezależne, wielokrotne analizy stanowi fundament wiarygodnej nauki. Tylko dzięki takiemu podejściu możemy budować trwałe zaufanie społeczne do odkryć w sprawach, które mają kluczowe znaczenie dla nas wszystkich – przekonuje dr hab. Jakub Traczyk z Instytutu Psychologii Uniwersytetu SWPS.
Wyniki analizy międzynarodowego zespołu z udziałem Polaków ukazały się w czasopiśmie „Nature”.
GaL, źródło: USWPS
Ogólnie rzecz ujmując: nauka w narodowym wydaniu jest Niepowtarzalna bo nasza najlepsza narodowa. Jest to nasz miś i my tym misiem otwieramy oczy niedowiarkom. Łubu dubu niech nam żyje prezes profesor naszego klubu
Wiemy o tym od 20 lat, a niektórzy od 50 lat
Przecież o tym wiemy od prawie 50 lat