Reanaliza danych – jaki wpływ na wyniki badań ma ich metodologia?
Dwoje naukowców z Uniwersytetu Wrocławskiego: dr Michał Misiak oraz dr Marta Kowal, wzięli udział w ogromnym przedsięwzięciu, którego celem była reanaliza danych pochodzących ze 100 badań. Analizy prawie 500 naukowców pokazały, jak duży wpływ na wyniki naukowe mają wybory metodologiczne.
Nowa publikacja w Nature, zatytułowana: „Investigating the analytical robustness of the social and behavioural sciences” była częścią szeroko zakrojonej międzynarodowej współpracy, pod kierownictwem Balázsa Aczéla i Barnabása Szásziego (Uniwersytet Eötvös Loránd i Uniwersytet Corvinus), przeprowadzonej w ramach programu Systematizing Confidence in Open Research and Evidence (SCORE) finansowanego przez DARPA.
Zespół 457 niezależnych analityków z instytucji z całego świata przeprowadził 504 ponowne analizy danych, pochodzących ze 100 wcześniej opublikowanych badań z zakresu nauk społecznych i behawioralnych. Wszyscy analitycy otrzymali ten sam zbiór danych i to samo kluczowe pytanie badawcze, ale mieli swobodę w wyborze sposobu przeprowadzenia analizy w oparciu o swoją wiedzę i doświadczenie.
W ciągu ostatniej dekady nauki społeczne i behawioralne przeszły gruntowne reformy, mające na celu zwiększenie przejrzystości, rygorystyczności i wiarygodności badań. Rejestracje, raporty rejestrowane, badania replikacyjne oraz weryfikacja odtwarzalności analiz mają na celu ograniczenie częstotliwości występowania wyników przypadkowych i tendencyjnych. Jedno ważne pytanie spotkało się jednak ze stosunkowo niewielkim zainteresowaniem: w jakim stopniu wyniki badań zależą od konkretnego sposobu analizy danych?
W standardowej praktyce naukowej zbiór danych jest zazwyczaj analizowany przez jednego badacza lub zespół badawczy, a wynikowa publikacja przedstawia rezultat jednej konkretnej ścieżki analitycznej. Chociaż recenzja naukowa ocenia akceptowalność metodologiczną, to rzadko ujawnia, jakie wyniki mogłyby wynikać z alternatywnych, ale równie uzasadnionych decyzji statystycznych.
Badania empiryczne wiążą się z wieloma kluczowymi decyzjami: sposobem czyszczenia danych, definiowaniem zmiennych, wyborem modeli statystycznych lub oprogramowania oraz interpretacją wyników. Wszystkie te wybory razem składają się na tzw. zmienność analityczną – elastyczność, która może zasadniczo wpłynąć na ostateczne wnioski.
Dr Marta Kowal z UWr, biorąca udział w projekcie, podsumowuje: – Cały projekt pokazuje kolejny poziom dojrzałości społeczności naukowej, która, starając się odkrywać naturę ludzką i odpowiedzi na nurtujące pytania badawcze, zwraca uwagę nie tylko na dojście do celu, ale również na sposób (a raczej sposoby) na dochodzenie do celu oraz autokorekcję badawczą. Nasze badanie pokazuje, jak ważnym etapem jest sama analiza danych.
Główne wnioski
W 100 badaniach zaobserwowano znaczne rozbieżności w wynikach niezależnych analiz tego samego zagadnienia, przeprowadzonych na podstawie tych samych danych. Chociaż większość ponownych analiz zasadniczo potwierdzała główne tezy badań pierwotnych, wielkości efektu, oszacowania statystyczne i poziomy niepewności często znacznie się różniły. W około jednej trzeciej przypadków analitycy doszli do takich samych wniosków jak autorzy oryginalnych badań.
Co istotne, rozbieżności te nie wynikały z braku wiedzy fachowej. Dochodzenie do rozbieżnych wyników zdarzało się równie często doświadczonym badaczom, posiadającym solidną wiedzę statystyczną, jak i pozostałym. Jednocześnie badania obserwacyjne okazały się mniej wiarygodne niż badania eksperymentalne, co sugeruje, że bardziej złożone struktury danych pozwalają na większą elastyczność analityczną – a tym samym powodują większą niepewność. – Z optymizmem patrzę w przyszłość nauki i jestem szczęśliwa, że mogłam brać udział w tak niesamowitym projekcie – dodaje dr Kowal.
Więcej o badaniach można przeczytać w artykule: Aczel, B., Szaszi, B., Clelland, H.T. et al. Investigating the analytical robustness of the social and behavioural sciences. Nature 652, 135–142 (2026).
Data publikacji: 15.04.2026 r.
Opublikowane przez: EJK
