The replication crisis has uncovered crucial issues in sciences based on statistical inference, such as the biomedical sciences, psychology, and other social or human sciences: key findings seem to be unreplicable, and as research has been conducted largely intransparently, it is unclear how to know what future research can build on. Open Science and reproducibility-related practices have been suggested as a potential solution to this problem by the reform movement as well as metascientific researchers generally. These practices include traditional “open” practices such as openly sharing research results (Open Access), data and/or code (Open Data), and materials (Open Materials); but they also include the pre-registration of studies, and even robust and transparent replication projects.
This dissertation presents two projects aimed at evaluating Open Science practices as working towards a solution to the replication crisis, particularly in psychology. The first project, which was led by the author of this dissertation, considers the effectiveness of the Open Data badge incentive at the journal Psychological Science through the computational reproducibility of a full issue of this journal. We found that there is much room for improvement: the majority of articles failed to share the relevant analysis code, and only 4/14 articles were at least essentially reproducible. We make several recommendations to improve the policy of this incentive and thus its influence on the replication crisis. The second study, a collaboration led by Tom Hardwicke, investigates citation patterns after strongly contradictory replication results in four psychology studies, and finds only weak correction effects by the relevant research communities.
Overall, the studies presented in this dissertation may seem to paint a pessimistic picture of possible solutions to the replication crisis, and thus the future of fields plagued by such crises. In the text accompanying the two publications, I try to be cautiously optimistic while pointing out important challenges that need to be addressed by metaresearchers and researchers involved in the reform movement. In particular, I want to highlight the need for further theoretical work refining the underlying concepts.
Die Replikationskrise hat in den auf statistischen Schlussfolgerungen basierenden Wissenschaften wie der Biomedizin, der Psychologie und anderen Sozial- und Humanwissenschaften entscheidende Probleme aufgedeckt: wichtige Ergebnisse scheinen nicht reproduzierbar zu sein, und da die Forschung weitgehend intransparent durchgeführt wurde, ist unklar, worauf zukünftige Forschung aufbauen kann. Sowohl die Reformbewegung als auch metawissenschaftliche ForscherInnen haben Open Science Praktiken und andere reproduzierbarkeitsbezogene Methoden als mögliche Lösung für dieses Problem vorgeschlagen. Zu diesen Praktiken gehören traditionelle "offene" Praktiken wie der offene Austausch von Forschungsergebnissen (Open Access), Daten und/oder Code (Open Data) und Materialien (Open Materials), aber auch die Präregistrierung von Studien sowie robuste Replikationsprojekte.
In dieser Dissertation werden zwei Projekte vorgestellt, die darauf abzielen, Open Science Praktiken als Beitrag zur Lösung der Replikationskrise zu evaluieren, insbesondere in der Psychologie. Das erste Projekt, das von der Autorin dieser Dissertation geleitet wurde, untersucht die Anreizmethode des Open Data Badge der Zeitschrift Psychological Science anhand der rechnerischen Reproduzierbarkeit einer vollständigen Ausgabe dieser Zeitschrift. Wir fanden heraus, dass es ein großes Verbesserungspotential gibt: Die Mehrheit der untersuchten Artikel hatte den relevanten Analysecode nicht geteilt, und nur 4/14 Artikel waren zumindest im Wesentlichen reproduzierbar. Die zweite Studie, eine Zusammenarbeit unter der Leitung von Tom Hardwicke, befasst sich mit den Zitationsmustern nach stark widersprüchlichen Replikationsergebnissen in vier Psychologiestudien und fand nur schwache Korrektureffekte durch die betreffenden Forschungsgemeinschaften.
Insgesamt scheinen die in dieser Dissertation vorgestellten Studien ein pessimistisches Bild von möglichen Lösungen für die Replikationskrise und damit für die Zukunft der von solchen Krisen geplagten Fachgebiete zu zeichnen. In diesem Manteltext versuche ich, vorsichtig optimistisch zu sein und gleichzeitig auf wichtige Herausforderungen hinzuweisen, die von MetawissenschaftlerInnen und ForscherInnen, die an der Reformbewegung beteiligt sind, angegangen werden müssen. Insbesondere möchte ich auf die Notwendigkeit weiterer theoretischer Arbeiten zum besseren Verständnis der zugrunde liegenden Konzepte hinweisen.
