„Studienordnungen der Psychologie sollten unbedingt Open Science-Praktiken enthalten“

Vor allem der wissenschaftliche Nachwuchs begeistert sich für
Offenheit und Transparenz

FRAGEN AN Christian Fiebach, Professor für Neurokognitive Psychologie an der Goethe-Universität Frankfurt. Fiebach, „treibendes Mitglied“ der Frankfurt Open Science Initiative und Schriftführer im Vorstand der Deutschen Gesellschaft für Psychologie (DGPs), beschäftigt sich schon seit längerem damit, wie Instrumente, Methoden und Praktiken von Open Science für die Psychologie angepasst werden können. Vor allem die Prä-Registrierung von Forschungsfragen hält er für sehr wichtig.

Sie haben gemeinsam mit anderen Psychologinnen und Psychologen der Goethe-Universität 2018 die Frankfurt Open Science Initiative gegründet. Warum?

Wir haben die Entwicklungen der letzten Jahre verfolgt und erkannt, dass Open-Science-Praktiken wie Präregistrierung und Data Sharing auch für uns wichtig sind, und wir die eigene Forschungsarbeit dahingehend verändern können und wollen. Deshalb haben wir in unserer aus Professorinnen, Nachwuchswissenschaftlern und Studierenden bestehenden Open Science Initiative begonnen, uns systematischer mit dem Thema auseinanderzusetzen. Gerade der wissenschaftliche Nachwuchs und die Studierenden nehmen die Entwicklungen in Richtung Open Science sehr ernst und erwarten, dass wir uns in der Psychologie verändern. Dies zeigt sich zum Beispiel auch in einem 2018 von der Konferenz der deutschen Psychologie-Fachschaften (PsyFaKo) veröffentlichten Statement, in dem sie fordert, dass Open Science stärker ins Studium integriert wird.

Welche Ziele verfolgt die Open Science Initiative Frankfurt?

Es sind drei: Wir monitoren und diskutieren, was sich im Bereich Open Science entwickelt und wie es für die Psychologie fruchtbar gemacht werden kann. Dann wollen wir das Thema weitertragen, also Know how weitergeben und informieren – beispielsweise warum die Präregistrierung von Forschungsvorhaben sinnvoll ist oder welche Tools es dafür gibt. In den letzten eineinhalb Jahren haben wir daher eine ganze Reihe von Workshops organisiert, etwa zu den Themen Präregistrierung, statistische Poweranalysen oder Forschungsdatenmanagement. Und weil unsere Studiengänge demnächst zur Re-Akkreditierung anstehen, bietet es sich an zu überlegen, wie man Praktiken reproduzierbarer und transparenter Forschung auch im Studium und im Institut verankern kann.

Finden Praktiken der offenen Wissenschaft schon in der Lehre Eingang?

Die ersten Ansatzpunkte für Open Science im Psychologiestudium sind sicherlich das Experimentalpraktikum, die Bachelorarbeit, die Masterarbeit und natürlich die Forschungsmodule. Im Experimentalpraktikum haben Studierende zum ersten Mal die Möglichkeit, eigene Forschungsprojekte umzusetzen und in diesem Kontext auch Forschungsfragen zu präregistrieren und erhobene Daten zu teilen. Auch in der Methodenlehre werden die Chancen und Möglichkeiten transparenter Forschungspraktiken reflektiert. In den Studienordnungen sind diese Inhalte noch nicht formal festgeschrieben, daher hängt ihre Thematisierung momentan vom jeweiligen Lehrenden ab. Mit unserer Initiative wollen wir auch Möglichkeiten aufzeigen, wie Open Science stärker in das Studium integriert werden kann.

Was bedeutet Open Science speziell für die Psychologie?

Sie spielen auf die Replikationskrise an. Ja, 2015 gab es im Fachmagazin „Science“ eine sehr einflussreiche Publikation der Open Science Collaboration, in der versucht wurde 100 Studien aus drei renommierten psychologischen Fachzeitschriften zu replizieren. Während 97% der Originalpublikationen ein statistisch signifikantes Ergebnis berichteten, war dies nur bei 36% der Replikationen der Fall. Die Autorinnen und Autoren werteten nur 39% der Replikationsversuche als erfolgreich. Allerdings sollte nicht der Eindruck entstehen, dass die Psychologie hier alleine dasteht – vergleichbare Probleme gibt es auch in anderen Sozialwissenschaften und in der biomedizinischen Forschung.

„Wir haben gelernt, dass wir uns an einigen Stellen Forschungspraktiken erlauben, die fragwürdig sind.“

In der Psychologie haben wir – unter anderem auch wegen des hohen Publikationsdrucks – vielleicht allzu sehr auf das signifikante Ergebnis geschielt und Fragestellungen nicht selten mit zu kleinen Stichproben, also zu geringer statistischer Power, bearbeitet und dadurch relativ hohe Falsch-Positiv-Raten in Kauf genommen. Wie wir jetzt mit dieser Erkenntnis umgehen, ist die entscheidende Frage. Wir müssen bessere Studien durchführen und uns mehr Gedanken zur Rechtfertigung von Stichprobengrößen machen. Und wir müssen uns erlauben, auch negative Ergebnisse zu publizieren, denn das ermöglicht anderen Forschergruppen, die tatsächliche Stärke von Effekten realistisch abzuschätzen. Ein negatives Ergebnis kann ich übrigens dann besser publizieren, wenn ich meine Hypothesen vorher veröffentlicht hatte und mich im Nachgang darauf beziehen kann. Dies verhindert auch, dass ich im Nachgang vielleicht versuche, neue Outcome-Variablen zu suchen, um eine Studie „noch zu retten“. Wir müssen auch lernen, sauberer zwischen hypothesentestender, d.h. konfirmatorischer, und explorativer Forschung zu trennen; die Präregistrierung ist dafür ein wichtiges und mittlerweile von vielen akzeptiertes Instrument. Und es ist wichtig, die Daten einer Studie mitsamt den dazugehörigen statistischen Analysecodes offen zu legen. Denn immerhin handelt es sich um steuerfinanzierte Daten, die der Öffentlichkeit auch zur Verfügung stehen sollten. Zumindest mittelfristig sollte das zum Standard werden.

Wie reagiert das Gros der psychologischen Forscher auf die Anforderungen, die Open Science im Wissenschaftsalltag mit sich bringt?

Die Reaktionen sind gemischt; es gibt viele junge Kolleginnen und Kollegen, die davon sehr begeistert sind und an der einen oder anderen Stelle vielleicht auch die älteren ein wenig vor sich hertreiben. Es findet ohne Frage ein Paradigmenwechsel statt, wenn auch in unterschiedlichen Geschwindigkeiten. Wie groß die Begeisterung für Open Science ist, zeigt die Konferenz der Society for Improvement of Pschological Science (SIPS) in Rotterdam Anfang Juli 2019: Sie war total ausgebucht und es gab lange Wartelisten. Der Run auf dieses Thema ist enorm, größer als erwartet.

„Es gibt noch viele ungeklärte Fragen, die eine schnelle Umsetzung von Open-Science-Praktiken an manchen Stellen behindern.“

In meiner Arbeitsgruppe haben wir zum Beispiel ein recht großes methodisches Repertoire von Verhaltensstudien bis Gehirnbildgebungsstudien, und wir haben die Frage, wie Datensätze aus Gehirnbildgebungsstudien veröffentlicht werden können, für uns noch nicht abschließend geklärt. Hier müssen wichtige datenschutzrechtliche Fragen geklärt werden. Wenn beispielsweise für eine Studie Patienten mit einer seltenen Krankheit untersucht wurden, und man weiß, wo und mit welchen Instrumenten und Geräten dies geschah, ist es theoretisch möglich, die Person dahinter zu rekonstruieren.

Es sind also datenschutzrechtliche Fragen zentral?

Ja, aber nicht nur. Open Science besteht nicht nur darin, Daten und Publikationen möglichst niedrigschwellig zugänglich zu machen. Es geht auch um einen möglichen Mehraufwand, der beim Teilen von Daten bislang leider nicht honoriert wird. Dafür müssen noch Konzepte entwickelt werden, denn wenn Nachwuchswissenschaftler auf befristeten Stellen sitzen, kann ein Mehraufwand – zum Beispiel für die Aufbereitung komplexer Datensätze – nicht immer geleistet werden. Und das obwohl diese Arbeiten für die Scientific Community nützlich sind und den Forschungsprozess reproduzierbar machen.

Wie hat Open Science Ihre Forschungsaktivitäten konkret verändert?

Wir befinden uns noch im Prozess der Veränderung und haben schon erste Studien auf der Webseite der Open Science Foundation präregistriert. Tatsächlich nehmen hierbei noch einmal besonders deutlich wahr, wie viele kleine Entscheidungen man in seinem Forschungsalltag während der Datenanalyse „on the fly“ fällt, die wir jetzt im Vorfeld spezifizieren müssen. Und natürlich haben wir auch Fehler gemacht und manches Mal zu harte Kriterien angelegt, von denen wir später wieder abweichen mussten. Aber so etwas kann man in seinem Bericht für Leser und Gutachter transparent und gut nachvollziehbar darlegen. Wir haben auch schon erste Datensätze von Studien mit Blickbewegungen oder EEG veröffentlicht – etwa auf github, einer Plattform für Softwareentwickler und bei Zenodo, einem EU-finanzierten Repository, das vom CERN gehostet wird. Last but not least profitieren wir im Bereich der kognitiven Neurowissenschaften auch selbst von Initiativen, die größere Datensätze gezielt erhoben und veröffentlicht haben – so haben wir beispielsweise in den letzten Jahren drei Aufsätze veröffentlicht, die auf Auswertungen öffentlich verfügbarer Datensätze basieren.

Schätzen Gutachter und Berufungskommissionen Open-Science-Aktivitäten – wie ist Ihr Eindruck?

Unsere eigenen Erfahrungen im Begutachtungsprozess eines Fachartikels waren sehr positiv – ein Gutachter hat sogar einen der oben erwähnten Datensätze genutzt und Analysen nachgerechnet. Das ultimative Incentive wäre es natürlich, wenn Open-Science-Aktivitäten offizielle Kriterien bei Berufungsverfahren würden. Der Fachbereich Psychologie an der LMU München praktiziert dies beispielsweise schon seit mehreren Jahren. Ich bin sicher, dass dieses Beispiel nach und nach Schule machen wird!

Vielen Dank für das Gespräch, Herr Fiebach!

Open Science in der Psychologie

• Open Science-Bekenntnis der Deutschen Gesellschaft für Psychologie (DGPs)
• Das Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) versteht sich als Public-Open-Science-Institut für die Psychologie und hält bereits jetzt viele Open Science-Angebote vor. Weitere Angebote wie etwa PsychNotebook zur Planung von Studien, RegReport zur Prä-Registrierung von Studien, PsychLab zur Durchführung von Studien und PsychNotebookAnalytics, eine cloudbasierte Analyseplattform werden derzeit entwickelt.
• Netzwerk der Open-Science-Initiativen (NOSI)

________________________________________________________________________

Dieser Text steht unter der CC BY 4.0-Lizenz. Der Name des Urhebers soll bei einer Weiterverwendung wie folgt genannt werden: Christine Schumann für Deutscher Bildungsserver

________________________________________________________________________

Auch noch interessant

• „Das Coole an unserem Projekt ist, dass Laien nicht nur Daten sammeln, sondern selbst wissenschaftlich arbeiten können“ Interlinking Pictura – Citizen Science für bildungshistorisch Interessierte
  Ein GESPRÄCH mit der Leiterin des Projekts Dr. Stefanie Kollmann, BBFund Julian Hocker, Doktorand der Informationswissenschaft am DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation
• „Open Educational Practices sind viel mehr als nur der Einsatz von Open Educational Resources.“ Wie mehr Offenheit in der Lehre durch didaktische Szenarien und den Einsatz von OER gelingen kann
  FRAGEN AN Kerstin Mayrberger, Professorin für Lehren und Lernen an der Hochschule mit dem Schwerpunkt Mediendidaktik an der Universität Hamburg.
• „Open Education schafft Mehrwert vor allem da, wo digitale Medien das Lernen überhaupt erst ermöglichen.“ Voraussetzung dafür ist ein durchlässiges und flexibles Bildungssystem
  FRAGEN AN Professor Olaf Zawacki-Richter von der Carl von Ossietzky Universität Oldenburg.
• „Open Science ist im Grunde gute wissenschaftliche Praxis in einem digital vernetzten Zeitalter“ Gute Forschung sollte zugänglich, nachvollziehbar und transparent sein
  INTERVIEW mit dem Koordinator des Leibniz-Forschungsverbunds Science 2.0 Dr. Guido Scherp vom Leibniz-Informationszentrum Wirtschaft.