Mathematisches Modell zeigt: Wissenschaft lernt auch aus Fehlern
„Wissenschaftliche Studien sollten stets und unabhängig von ihrem Ergebnis publiziert werden“ – so eine Schlussfolgerung eines Forschungsprojekts des „Deutschen Zentrums zum Schutz von Versuchstieren“ am Bundesinstitut für Risikobewertung (BfR), dessen Resultate nun im Fachblatt PLOS ONE veröffentlicht wurden. Wissenschaftler um Matthias Steinfath und Gilbert Schönfelder haben anhand eines mathematischen Modells untersucht, welchen Einfluss einzelne Maßstäbe beim Erstellen von Studien auf die weitere Forschung haben.
– Foto © Gerhard Hofmann, Agentur Zukunft für Solarify
„Die Forschergemeinschaft sollte alles dafür tun, um das gesellschaftliche Vertrauen in die Wissenschaft aufrechtzuerhalten“, sagt BfR-Präsident Professor Andreas Hensel. „Dazu gehört, dass Ergebnisse nachvollziehbar und wiederholbar sein müssen, um falsche Schlussfolgerungen leicht widerlegen zu können. Unsere Untersuchung zeigt, dass wir bessere Resultate erzielen, wenn auch scheinbar ergebnislose Studien publiziert werden.“
Untersuchungen belegen, dass wissenschaftliche Studien eher publiziert werden, wenn sie ein erwünschtes „positives“ Ergebnis erzielen, also beispielsweise einen erwarteten Effekt messen, einen Stoff nachweisen oder eine These belegen. „Negative“ Ergebnisse, die keine entsprechenden Wirkungen nachweisen, haben geringere Chancen auf Veröffentlichung.
[note Abstract von Matthias Steinfath und Gilbert Schönfelder in PLOS ONE: „Wir haben ein neues wahrscheinlichkeitstheoretisches Modell entwickelt, um die Auswirkungen von Empfehlungen zur Behebung der Reproduzierbarkeitskrise (durch Veröffentlichung positiver und negativer Ergebnisse und Steigerung der statistischen Leistungsfähigkeit) auf konkurrierende Ziele wie die Entdeckung kausaler Zusammenhänge, die Vermeidung der Veröffentlichung falsch positiver Ergebnisse und die Reduzierung des Ressourcenverbrauchs zu bewerten. Im Gegensatz zu den bisherigen Veröffentlichungen quantifiziert unser Modell die Auswirkungen jedes einzelnen Vorschlags nicht nur für eine einzelne Studie, sondern insbesondere auch deren Zusammenhang und Folgen für den gesamten wissenschaftlichen Prozess. Wir können nachweisen, dass höherwertige Experimente Ressourcen im gesamten Forschungsprozess einsparen können, ohne übermäßige falsche Ergebnisse zu erzeugen. Je besser die Qualität der Vorstudieninformationen und deren Nutzung, desto wahrscheinlicher ist es, dass dieser positive Effekt eintritt. Darüber hinaus quantifizieren wir die negativen Auswirkungen der Vernachlässigung von Good Practices bei der Gestaltung und Durchführung von hypothesenbasierter Forschung und der Unterlassung der Veröffentlichung von ’negativen‘ Ergebnissen. Unser Beitrag ist ein Plädoyer für die Einhaltung oder Stärkung der guten wissenschaftlichen Praxis und die Veröffentlichung von ’negativen‘ Ergebnissen.]
Natürlich ist auch Wissenschaftlern selbst daran gelegen, aussagekräftige und veröffentlichungswürdige Resultate zu erhalten und so die Forschung voranzubringen. Die große Bedeutung des Publizierens in Fachzeitschriften für das Ansehen und eine künftige Förderung verstärkt dieses Interesse noch. Das kann jedoch zur Folge haben, dass Untersuchungen veröffentlicht werden, deren Resultate nicht wiederholbar (reproduzierbar) und daher nur dem Anschein nach „positiv“ sind.
Die scheinbar positiven Ergebnisse führen zunächst zu weiteren Studien, die auf dem vermeintlich nachgewiesenen Effekt aufbauen. Die Praxis, vor allem Studien mit positiven Ergebnissen zu publizieren, begünstigt also Untersuchungen, die einer Überprüfung nicht standhalten und unnötig weitere Studien nach sich ziehen.
Das in der Publikation vorgestellte mathematische Modell zeigt, wie der Mechanismus der „falsch positiven“ Ergebnisse durchbrochen werden kann. Würden grundsätzlich alle Studien – unabhängig von ihrem Ergebnis – nach Einhaltung der guten wissenschaftlichen Praxis publiziert, wäre ein falsches Ergebnis schneller widerlegt.