Ein umfangreicher Versuch, an dem 865 Forscherinnen und Forscher beteiligt waren, hat ergeben, inwieweit Menschen und Maschinen vorhersagen können, ob Forschungsergebnisse reproduzierbar sind. Im Rahmen dieses Forschungsprojekts, das unter dem Titel "Score" (Systematizing Confidence in Open Research and Evidence) bekannt ist, wurde eine riesige Datenbank mit Informationen zur Glaubwürdigkeit einer großen Stichprobe an Forschungsergebnissen zusammengestellt. Die Resultate wurden in der Fachzeitschrift „Nature“ in Form einer Sammlung aus drei wissenschaftlichen Beiträgen vorgestellt.

Den Zuverlässigkeitscode der Forschung knacken

In der ersten wissenschaftlichen Arbeit wurde die Reproduzierbarkeit bewertet, d. h., ob eine andere Forschungsgruppe, wenn sie die ursprünglichen Daten eines Experiments erneut analysiert, zu denselben Ergebnissen gelangt. Im zweiten Artikel wurde die Robustheit der Originalstudien untersucht. Dabei wird bewertet, inwieweit die ursprünglichen Daten einer Studie dieselben Ergebnisse liefern, wenn sie mittels alternativen Methoden analysiert werden, die denen des veröffentlichten Experiments entsprechen. In der drittenArbeit wurde die Replizierbarkeit betrachtet: Werden andere Forscherinnen und Forscher die Ergebnisse bestätigen, wenn sie das Experiment wiederholen?

Das Team von Score bewertete die Vertrauenswürdigkeit von Forschungsbehauptungen aus 3'900 wissenschaftlichen Arbeiten, die von 2009 bis 2018 in 62 verschiedenen Fachzeitschriften zu Themen von Politikwissenschaft und Bildung bis hin zu Finanzen und Gesundheit veröffentlicht wurden. Das Center for Open Science (Cos) koordinierte die Stichprobenziehung von Behauptungen, die Erhebung von Glaubwürdigkeitsmaßen sowie die Durchführung von Replikations- und Reproduktionsstudien.

„Das ist das bisher weltweit größte Forschungsprojekt, das die Zuverlässigkeit von gemeldeten wissenschaftlichen Ergebnissen untersucht, und ein Beispiel dafür, wie großangelegte Kooperationen Fragen angehen können, die keine einzelne Forschungsgruppe allein beantworten könnte“, erklärte Gustav Nilsonne, außerordentlicher Professor für Neurowissenschaften am Karolinska Institutet in Schweden und Mitautor aller drei Arbeiten, gegenüber
„Forbes“(öffnet in neuem Fenster). „Ich hoffe, dass wir in Zukunft in mehr Forschungsgebiete systematische Replikationsversuche erleben werden.“

Verborgene Schwächen der Wissenschaft aufdecken

Insgesamt ist nur etwa die Hälfte früher veröffentlichter Ergebnisse anhand neuer Studien reproduzierbar. Die Ergebnisse zeigten, dass Reproduzierbarkeit, Robustheit und Replizierbarkeit jeweils unterschiedliche Aspekte der Zuverlässigkeit von Forschung erfassen, wobei veröffentlichte Behauptungen in ihrer Fähigkeit, diesen verschiedenen Formen der Evaluierung standzuhalten, variieren.

„Die Hauptbotschaft von Score ist simpel: Forschung ist schwierig. Und in gewisser Weise beginnt die harte Arbeit erst, nachdem eine Entdeckung verkündet wurde“, kommentierte Tim Errington, leitender Forschungsdirektor des Cos und einer der Leiter des Projekts Score, in einer Pressemitteilung. „Es bedarf enormer Anstrengungen, um neue Erkenntnisse zu verifizieren und ihnen genügend Vertrauen entgegenzubringen, damit die Grundlagen für weitere Entdeckungen geschaffen werden können.“

„Es gibt viele offene Fragen zu den Faktoren, die die Glaubwürdigkeit und Wiederholbarkeit von Forschungsergebnissen fördern“, fügte Fiona Fidler, eine weitere Leiterin des Projekts Score und Professorin an der Universität Melbourne in Australien, hinzu. „Wie viele produktive Forschungsbemühungen hat auch die Arbeit von Score Erkenntnissen erbracht und noch mehr Fragen darüber aufgeworfen, wie Forschung in der Praxis zu bewerten ist.“

Sarah Rajtmajer, ebenso Score-Projektleiterin und außerordentliche Professorin an der Pennsylvania State University in den Vereinigten Staaten, erklärte: „Mit Beiträgen von fast 900 Forscherinnen und Forschern bietet das Score-Programm eine enorme Menge an Erkenntnissen, die zur Erkundung und Erarbeitung von Hypothesen für die nächste Forschungsrunde beitragen. Die Daten und Materialien werden öffentlich zugänglich sein, damit andere auf dieser Arbeit aufbauen können.“

Mit der Arbeit von Score sollte dazu beigetragen werden, die Interpretation und Vermittlung von Forschungsergebnissen zu verbessern, und somit Autorinnen und Autoren, Beteiligte aus den Bereichen Gutachten, Finanzierung und politische Entscheidungen sowie Leserinnen und Leser dabei zu unterstützen, wissenschaftliche Erkenntnisse besser zu verstehen und anzuwenden. Durch verbesserte Glaubwürdigkeitsevaluierungen werden Schwerpunkte und Ressourcen auf Bereiche mit hoher Wirkung gelenkt und auf diese Weise die Wissensgenerierung und Lösungsfindung beschleunigt.

Quelle: Cordis - Forschungsergebnisse der EU