Reproduzierbarkeitskrise:
Warum viele Irrtümer unentdeckt bleiben
Ein unausgewogenes Publikationswesen und einseitige Förderpolitik schaden der Wissenschaft
In den bisherigen Folgen von "Hier irrte die Wissenschaft" habe ich von den verschiedensten Arten der wissenschaftlichen Irrtümer berichtet. Und geirrt hat man sich oft, was aber eigentlich kein großes Problem ist. Menschen machen Fehler, und auch Wissenschafter sind nur Menschen. Fehler und Irrtümer sind ganz normale Bestandteile der wissenschaftlichen Methode (natürlich abgesehen von den Fällen, in denen Forscher absichtlich betrogen haben). Man versucht anhand der vorhandenen Informationen die bestmögliche Erklärung für ein Phänomen zu finden – und da kommt es eben auch einmal vor, dass neue Informationen zu einer Revidierung dieser Erklärung führen.
Die Wissenschaft macht Fehler. Die Wissenschaft ist aber immer auch aktiv darum bemüht, ihre Fehler zu finden und zu korrigieren. Zumindest theoretisch, denn in der Praxis sieht das leider oft anders aus. Haben Forscher eine Entdeckung gemacht, dann muss sie publiziert werden. Vor der Publikation steht immer der sogenannte Peer-Review-Prozess. Das bedeutet nichts anderes, als dass Experten die Arbeit prüfen und entscheiden, ob alles korrekt abgelaufen ist, ob noch Verbesserungen gemacht werden müssen oder die Publikation wegen mangelnder Qualität abgelehnt werden soll.
Das funktioniert im Großen und Ganzen auch recht gut. Aber natürlich sind auch die Gutachter selbst nur Menschen. Der Peer-Review wird nicht von speziell ausgebildeten "Über-Experten" erledigt, sondern von ganz normalen Wissenschaftern (und übrigens auch freiwillig und ohne Bezahlung). Jeder, der lange genug im Forschungsbetrieb arbeitet, wird früher oder später um ein Gutachten zu einer wissenschaftlichen Arbeit gebeten.
Übersehene Mängel
Und da kann es natürlich auch passieren, dass man als Gutachter einen Fehler macht, dass einem Mängel an einer Arbeit nicht auffallen oder man einfach noch nicht genug Informationen hat, um eine abschließende Bewertung abzugeben. Kurz gesagt: Wenn eine wissenschaftliche Publikation den Peer-Review-Prozess erfolgreich durchlaufen hat, können die dort beschriebenen Ergebnisse trotzdem falsch sein. Deswegen existiert in der Wissenschaft noch ein weiteres wichtiges Kriterium der Qualitätssicherung: die Replikation.
Es gibt viele Gründe, warum ein Ergebnis falsch sein kann. Simple Fehler bei der Datenauswertung, den Messgeräten oder der Darstellung der Daten. Es können auch schwieriger zu findende systematische Fehler sein; die Versuchspersonen bei medizinischen Studien können falsch ausgewählt worden sein, oder man hat zu wenig ausgewählt. Und so weiter – es kann jede Menge schiefgehen, und nicht immer bemerkt man das sofort. Deswegen sollte eigentlich jedes Ergebnis repliziert werden. Erst wenn ein Befund unabhängig bestätigt werden kann, sollte man die Sache ernst nehmen.
Seltene Replikationen
Nur passiert leider genau das nicht immer. Oder besser gesagt: Es passiert viel zu selten. Und das hat Folgen: Im Jahr 2015 veröffentlichte ein internationaler Zusammenschluss von Wissenschaftern die Ergebnisse eines großangelegten Projekts. Sie versuchten sich an der Replikation der Ergebnisse von 100 psychologische Studien, die im Jahr 2008 in Fachzeitschriften publiziert worden waren. Mit einem schockierenden Ergebnis: Nur in 39 Prozent der Fälle konnten sie die Befunde bestätigen; die deutliche Mehrheit der Forschungsergebnisse ließ sich also nicht reproduzieren.
Das muss nicht unbedingt heißen, dass all diese Arbeiten völlig falsch sind. Aber sie sind zumindest nur eingeschränkt aussagekräftig und sollten genauer untersucht werden. Wenn sich aber niemand an einer Replikation versucht, dann bemerkt auch niemand, wenn entsprechender Handlungsbedarf besteht. Die Lösung für diese "Reproduzierbarkeitskrise" liegt eigentlich auf der Hand: mehr Replikationsversuche!
Nur ist die Angelegenheit leider nicht so einfach, sondern das Resultat eines viel umfassenderen Problems in der Wissenschaft. Bei der Bewertung wissenschaftlicher Karrieren, bei der Einwerbung von Forschungsmitteln, bei der Bewerbung an Universitäten geht es immer noch hauptsächlich um die Publikationsliste. Wer die meisten Fachartikel in den (vorgeblich) besten Fachzeitschriften veröffentlicht hat, der hat die besten Chancen.
Und es ist eben wesentlich einfacher, irgendwelche spektakulären neuen Ergebnisse zu veröffentlichen, als einfach nur schon vorhandene Arbeiten zu reproduzieren. Schon 1990 ergab eine Umfrage unter 79 Herausgebern wissenschaftlicher Fachzeitschriften, dass 94 Prozent davon keine Replikationsstudien in ihren Medien veröffentlichen wollen.
Verschmähte negative Resultate
Das gleiche Problem haben Forscher, die bei ihrer Arbeit zu negativen Ergebnissen kommen. Eigentlich ist es aus rein wissenschaftlicher Sicht genauso wertvoll, darüber Bescheid zu wissen, was nicht funktioniert, wie zu wissen, was richtig ist. Jede Antwort ist relevant (natürlich nur sofern es die korrekte Antwort ist). Aber es ist fast unmöglich, solche negativen Ergebnisse in einer Fachzeitschrift zu veröffentlichen; dort zählen nur die spektakulären positiven und neuen Erkenntnisse.
Und für die wissenschaftliche Karriere zählen nur die Veröffentlichungen – also landen die negativen Ergebnisse unpubliziert in irgendeiner Schublade. Dort kann aber niemand etwas mit der Information anfangen; beispielsweise auch keine Gutachter, die diese Kenntnisse vielleicht brauchen könnten, um die Gültigkeit anderer Arbeiten einschätzen zu können.
Die Reproduzierbarkeitskrise ist ein Resultat des immer unausgewogeneren wissenschaftlichen Publikationswesens, und das wiederum ist ein Ergebnis der einseitig ausgerichteten Förderpolitik. Solange es immer noch nötig ist, möglichst schnell möglichst viele "spektakuläre" Publikationen anzusammeln, um in der Wissenschaft Karriere zu machen, wird sich daran wohl auch nichts ändern. Und viele Irrtümer in der Wissenschaft werden weiterhin unentdeckt bleiben.
Nota. - Publizität und Replikation sind der Kernbestand aller empirischen Wissenschaft. Anders ist Kritik als Dauerzustand nicht möglich. Wenn deren Widerspiel dauerhaft geschädigt würde, stünde der Bestand der Wissenschaft selbst in Frage. Das Internet kann allenfalls hinsichtlich der Publizität einen Ausweg bieten, und auch nur unter vielen erst noch zu schaffenden Bedingungen. Aber wer kommt für die Kosten der Kontrollversuche auf? Die werden schließlich immer höher.
JE
Keine Kommentare:
Kommentar veröffentlichen