Falguière, Objet trouvé à Pompéi
Problematischer Publikationsbias
Her mit der Insignifikanz!
Stanford-Forscher untersuchten das wechselseitige Problem des Dranges nach signifikanten Studienergebnissen
von David Rennert
Stanford/Wien – Die Tendenz, nur "positive" bzw. signifikante Forschungsergebnisse zu veröffentlichen, nicht aber "negative" oder insignifikante, ist ein ernsthaftes Problem in der Wissenschaft. Die dadurch entstehende statistische Verzerrung der Datenlage bildet den tatsächlichen Forschungsstand eines Faches nur unzureichend ab und kann im schlimmsten Fall zu erheblichen Folgefehlern führen.
"Schubladenproblem"
Die Methoden, einen Publikationsbias aufzudecken, greifen jedoch häufig zu kurz: Metaanalysen aller veröffentlichten wie unveröffentlichten Studien zu einem Thema scheitern häufig am sogenannten "Schubladenproblem", nämlich daran, dass Forscher unschlüssige Studienergebnisse gar nicht erst zur Publikation einreichen, sondern in der "Schublade verschwinden" lassen. Der Ansatz, sogenannte "graue Literatur" – in dem Fall etwa unveröffentlichte Dissertationen, Arbeits- und Konferenzpapers und dergleichen – als Vergleichsmaterial zu verwenden, birgt wiederum die Gefahr, Insignifikanz und mangelnde Qualität miteinander zu vermischen.
Forscher der Universität Stanford untersuchten das Ausmaß dieses Phänomens nun genauer: Wie sie in "Science" berichten, griffen sie auf Daten eines Förderprogrammes der US-amerikanischen National Science Foundation (NSF) für junge Sozialwissenschafter zurück, bei dem Studien zur Unterstützung eingereicht werden können.
Die Einsendungen durchlaufen dabei bereits vor der Auswahl einen gründlichen Begutachtungsprozess. So verfügten die Forscher über insgesamt 221 begutachtete Studien mit Förderungszusage, und zwar unabhängig von späteren Ergebnissen und davon, ob sie anschließend veröffentlicht wurden oder nicht. Und tatsächlich zeigten sich große Unterschiede: Nur jede fünfte Studie, die ein Nullresultat erzielte, wurde später auch veröffentlicht – im Gegensatz zu fast 60 Prozent der signifikanten Studien.
Problematische Orientierung
Vieles deutet dabei wiederum auf das "Schubladenproblem" hin: denn nur 35 Prozent der Nullresultate wurden überhaupt eingereicht. Dabei beißt sich die Katze jedoch in den Schwanz, denn als Ursachen dafür identifizierten die Forscher sowohl die strukturelle Logik im Publikationsbetrieb als auch die Eigenmotivation von Wissenschaftern.
Gutachter und Verleger bevorzugen demnach aus naheliegenden Gründen aussagekräftige Ergebnisse, Wissenschafter orientieren sich aber auch primär daran: So erklärten in Befragungen die meisten Studienautoren, die zu keinen signifikanten Resultaten kamen und ihre Ergebnisse auch nicht einreichten, sie hätten das Interesse an dem Projekt verloren. Der Hauptgrund: Die fehlende Aussicht auf Veröffentlichung.
Keine Kommentare:
Kommentar veröffentlichen