von
Zu den untersuchten Sozial- und Verhaltenswissenschaften zählt eine Vielzahl von Disziplinen wie etwa Psychologie, Soziologie oder Ökonomie. Ihnen allen ist gemein, dass sie menschliches Verhalten erforschen und dabei oft empirische und statistische Methoden verwenden. In der Praxis wird ein Datensatz dabei meist von einem Forschungsteam auf eine bestimmte Art und Weise analysiert. Dabei bleibe unbeachtet, zu welchen Ergebnissen andere, ebenso vertretbare Vorgehensweisen zur Analyse der Daten geführt hätten.
Ein Beispiel für diese variierenden Wege sei der Umgang mit statistischen Ausreißern, wie der an der Studie beteiligte Ökonom Felix Holzmeister von der Uni Innsbruck gegenüber der APA erklärt: Es sei durchaus üblich, dass etwa Datensätze von Befragungen große Abweichungen beinhalten, deren Ursache unklar ist. Unplausible Antworten entstehen etwa dann, wenn Probanden sich zufällig durchklicken oder Fragen falsch verstehen. Ob man diese Ausreißer in der Analyse übernimmt oder herausstreicht, liegt im Ermessen der Forschenden.
"So eine einfache, binäre Entscheidung zeigt das Grundproblem gut, weil es per se keine richtige oder falsche Option gibt", so Holzmeister. In der Realität der statistischen Forschung sei das noch viel komplexer - mit einer Vielzahl möglicher Entscheidungen pro Studie und oft weit mehr als nur zwei Möglichkeiten pro Entscheidung.
Für die Untersuchung analysierten 457 internationale Wissenschafterinnen und Wissenschafter unter der Leitung von Balázs Aczél und Barnabás Szászi (von der Budapester Eötvös Loránd und Corvinus Universität) 100 schon veröffentlichte Studien aufs Neue - jede davon mindestens fünfmal von unabhängigen Forschenden. Das Ergebnis: Zwar kamen rund drei Viertel zur gleichen qualitativen Schlussfolgerung wie die originalen Studien, aber nur in einem Drittel der Fälle kam man zu demselben statistischen Resultat. Diese Abweichung zeigte sich unabhängig von der Berufserfahrung der Forschenden, die die abermalige Analyse durchführten.
Es gehe nicht darum, deswegen frühere Forschungsergebnisse auszurangieren. "Unsere Untersuchung legt nahe, dass einzelne Ergebnisse oft generalisiert werden und alternativen Interpretationen von Daten zu wenig Beachtung geschenkt wird - sowohl innerhalb der Forschung als auch in der Kommunikation nach außen", sagte Holzmeister. "Das gilt wiederum auch für unsere Untersuchung - deswegen darf man auch diese Ergebnisse nicht überinterpretieren."
Trotzdem lege die Studie nahe, dass diese sogenannte "analytische Variabilität" kein Einzelfall ist, sondern ein grundlegendes Merkmal von empirischer Forschung in den Sozial- und Verhaltenswissenschaften. Die unterschiedlichen Wege und Möglichkeiten, die zu unterschiedlichen Ergebnissen führen, will Holzmeister dabei als Einladung verstehen, genauer hinzusehen und zu reflektieren.
Denn generell könne man Objektivität in der Wissenschaft laut dem Ökonomen nur im "Darstellen von Unsicherheit" erreichen. In der empirischen Praxis sei es üblich, diese Unsicherheit nur auf die Variabilität von Stichproben zu beziehen. "Und dafür gibt es in der empirischen Forschung etablierte Werkzeuge. Wie man mit anderen Formen von Unsicherheit umgeht, etwa der durch Variabilität in Analysen oder auch Studiendesigns, ist weniger klar", so Holzmeister.
Eine Reflexion der gängigen Praxis, das Berücksichtigen von Unsicherheit aufgrund von alternativen Methoden und die systematische Untersuchung von Ursachen der variierenden Ergebnisse könne zu einem effizienteren, reichhaltigeren Verarbeiten von Wissen führen, so Holzmeister. Um das mitzutragen, brauche es aber auch institutionelle Änderungen.
Die Studie ist Teil des Forschungsprogramms "SCORE", das die Vertrauenswürdigkeit der Sozialwissenschaften prüfen und verbessern soll. In diesem Rahmen sind in "Nature" gleichzeitig auch zwei weitere Publikationen mit Beteiligung zahlreicher Forschender österreichischer Einrichtungen erschienen, die sich mit ähnlichen Fragestellungen beschäftigen. Eine davon hat sich etwa mit Reproduzierbarkeit beschäftigt - also ob man unter Verwendung der gleichen Methoden und Daten zu denselben Ergebnissen kommt - eine der "Grundannahmen quantitativer Wissenschaften", schreiben die Autorinnen und Autoren.
Das Ergebnis: Von 600 zufällig gewählten Studien in den Sozial- und Verhaltenswissenschaften wurden dem Team nur bei rund einem Viertel die für die Neuberechnung nötigen Daten überhaupt zur Verfügung gestellt. 54 Prozent der untersuchten Studien waren exakt und rund drei Viertel zumindest annähernd reproduzierbar. Um Vertrauenswürdigkeit zu stärken, brauche es Maßnahmen zur Überprüfung der Reproduzierbarkeit, heißt es in der Publikation.
(S E R V I C E - Link zu den Studien: https://doi.org/10.1038/s41586-025-09844-9 ; https://doi.org/10.1038/s41586-026-10203-5 ; https://doi.org/10.1038/s41586-025-10078-y)
ZU APA0143 VOM 28.12.2018 - Gesunde Luft sowie viele Einflüsse aus Deutschland und Italien - was die Universität Innsbruck (Bild) heute kennzeichnet, spielte bereits eine wichtige Rolle bei ihrer Gründung, die sich im Jahr 2019 zum 350. Mal jährt.
