aus nzz.ch, 27.8.2015, 20:00 Uhr
Psychologische Studien
Mehr als die Hälfte der Ergebnisse ist nicht reproduzierbar
Die Forschung muss ständig neue und überraschende Resultate liefern. Dieser Druck führt allerdings kaum zu soliden Erkenntnissen, wie eine gross angelegte Analyse zeigt.
von Angelika Jacobs
«Ihr solltet mit diesem Schlamassel aufräumen», schrieb der Nobelpreisträger und Psychologe Daniel Kahneman 2012 in einer offenen Mail an Forscherkollegen aus der Sozialpsychologie. Das Schlamassel? Eine Vielzahl von Studienergebnissen, die sich bei Wiederholung der Experimente durch andere Forscher nicht bestätigen liessen. Nicht nur die Sozialpsychologie, auch andere Bereiche der psychologischen Forschung kämpfen aus diesem Grund mit Zweifeln an ihrer Glaubwürdigkeit. Eine grossangelegte Analyse hat nun versucht, das Problem zu beziffern. Ihre Ergebnisse sind im Fachjournal «Science» erschienen: Von 100 Studien, die 2008 in drei Psychologie-Journalen erschienen waren, liessen sich nur 39 bestätigen. Vor allem wenn eine Studie besonders überraschende oder schwache Effekte zeigte, liessen sich diese schlecht reproduzieren. «Diese Bilanz verunsichert natürlich auch Studierende, wenn sie sich fragen müssen, wie viel am Basiswissen dran ist, das sie lernen», sagt der Psychologe Fred Mast von der Universität Bern.
Das Rauschen der Daten
Dass sich vor allem schwache Effekte nicht reproduzieren liessen, könne am Rauschen in den Daten liegen, erklärt Mast. Dieses beruht beispielsweise auf individuellen Unterschieden zwischen den Probanden, ihrer Tagesform oder kleinen Abweichungen im Versuchsaufbau. Solche Schwankungen könnten scheinbare Effekte erzeugen, oder kleine, echte Effekte könnten darin verschwinden.
Der Durchführung der Analyse und ihrem Ergebnis steht Klaus Fiedler von der Ruprecht-Karls-Universität in Heidelberg allerdings skeptisch gegenüber. Dabei gehörte er zu den Glücklichen, deren Studien der Prüfung standhielten. «Die Analyse hat die Illusion exakter Wiederholung verfolgt, dabei aber wichtige Kontrollen weggelassen», so Fiedler. Zwar sollten die Experimente unter gleichen Bedingungen wie in der Originalstudie ablaufen. «Aber die Rahmenbedingungen lassen sich sechs bis sieben Jahre später nicht exakt nachbilden.» Die Welt habe sich verändert, es gebe neue Sichtweisen und Alltagsgewohnheiten. Und computergestützte Experimente liessen sich nicht exakt gleich wiederholen, da sich Hard- und Software seit 2008 rasant weiterentwickelt hätten.
Schlechte Praktiken
Dass die psychologische Forschung ein Problem hat, steht für den Psychologen Martin Kleinmann von der Universität Zürich jedoch ausser Frage. Ein Grund sei, dass eine Bestätigung bekannter Ergebnisse nicht gewürdigt werde. Nur neue Erkenntnisse liessen sich veröffentlichen. «Das kann zu schlechten Praktiken führen, zum Beispiel dazu, ein Experiment so oft zu wiederholen, bis man einen überraschenden Effekt sieht», so Kleinmann. Oder unliebsame Ergebnisse wegzulassen und nur selektive Befunde mitzuteilen. Fachjournale reagieren teilweise bereits auf diese Probleme, indem sie alle Rohdaten verlangen oder Studien aufgrund ihrer Fragestellung vorab für die Publikation akzeptieren, bevor die Daten erhoben werden.
Auch «Psychological Science», eines der drei überprüften Psychologie-Journale, ergreift Massnahmen, wie der Chefredakteur Steve Lindsay auf Anfrage schreibt. Man werde mehr Beweise für die Reproduzierbarkeit von Daten verlangen und überraschende Effekte künftig mit grösserer Skepsis betrachten.
Ob diese Bemühungen das Schlamassel in der Psychologie beseitigen können, müssen weitere Wiederholungsstudien zeigen. Aber: «Zur Forschung gehören zwangsläufig auch Ergebnisse, die sich später als falsch erweisen», sagt Fiedler.
Nota. - "Aber die Rahmenbedingungen lassen sich sechs bis sieben Jahre später nicht exakt nachbilden. Die Welt habe sich verändert, es gebe neue Sichtweisen und Alltagsgewohnheiten" - Ja ist es denn nicht der Zweck des "Versuchs", der Laborsituation, Kontingenzen auszuschließen? Wenn die Versuchsanordnung so gewählt wurde, dass allerlei zeitbedingt Zufälligkeiten Einfluss auf die Resultate haben, dann ist es ja keine Wunder, wenn sich die Versuche nicht wiederholen lassen; denn dann waren sie wissenschaftlich schludrig, waren sie nicht?
Und schließlich liegt es an den Verlagen - sicher mehr als an den Redaktionen -, wenn nur sensationell Neues veröffentlicht wird, nicht aber die Bestätigung bekannter Resultate. Wissenschaft ist öffentliches Wissen, was ihre Öffentlichkeit beeinträchtigt, behindert die Wissenschaft. Im Prinzip, sollte man meinen, ist das Problem seit der Etablierung des Internet gelöst. Wenn Elsevier & Co. im Wege stehen, muss sich die wissenschaftliche Community eben was einfallen lassen.
JE
Keine Kommentare:
Kommentar veröffentlichen