„Für das Ergebnis sind Auswahl und Kombination der Suchbegriffe entscheidend“

Über Literatursuche und Quellenauswahl in Systematic Review-Prozessen

Systematic Review (5)

FRAGEN AN Carolin Keller und Ingeborg Jäger-Dengler-Harles, die als Informationswissenschaftlerinnen am DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation Literaturrecherchen für Systematic Review-Verfahren durchführen und so den Grundstein für alle Reviews legen. In diesem Gespräch verraten sie, wie eine gelungene Literaturrecherche aussieht, welche Tücken Review-Prozesse bereithalten und welchen Beitrag systematische Literaturübersichten im Bereich Open Science leisten können.

Frau Keller, Frau Jäger-Dengler-Harles, wie findet man bei einem Review-Prozess die einschlägige Literatur?

Carolin Keller: Das ist ganz vom Themengebiet abhängig. Prinzipiell wird die Recherche für Reviews zunächst immer in Fachdatenbanken durchgeführt. Die Auswahl ist vom Schwerpunkt, der Disziplin und der Fragestellung des Reviews abhängig. Derzeit ist es zum Beispiel in den gängigen Fachdatenbanken zur Bildung nicht möglich, ausschließlich Recherchen nach Studien durchzuführen. Bei der Recherche wird deshalb viel theoretische oder kontextbildende Literatur gefunden, die keine Studienergebnisse beinhaltet, aber thematisch zur Forschungsfrage passt. Hinzu kommt, dass Forschungsergebnisse nicht nur in Fachzeitschriften, sondern auch in Aufsätzen in Sammelwerken oder Konferenzbeiträgen erscheinen. Aus diesem Grund sind auch Handsuchen, das sind Suchen nach einschlägigen Autor*innen, Zitationssuchen sowie Auswertung von Literaturnachweisen, von relevanten Studien und anderen Reviews essentiell. Eine Recherche nach so genannter “Grauer Literatur“, also Behördenliteratur, Forschungsberichten, Doktorarbeiten oder Arbeits- und Diskussionspapieren, bietet sich je nach Thema ebenfalls an.

„Für eine gute Recherche muss man sehr viele unterschiedliche Quellen berücksichtigen.“

Außerdem ist eine Websuche sinnvoll, bei der auch Internetseiten von Gremien und Institutionen nach Publikationen durchsucht werden können, die für das Thema zusätzlich relevant sind. Leider werden immer noch nicht alle Zeitschriften in Datenbanken erschlossen. Man kann auch bei der Sichtung relevanter Journals in der Bibliothek noch ergänzende Literatur finden. Und weil die Publikationslandschaft sich heutzutage sehr schnell ändert, kann man auch in Repositorien, Social Media-Kanälen und Blogbeiträgen interessante Hinweise auf gerade erschienene Publikationen finden.

Ingeborg Jäger-Dengler-Harles: Die Suche nach einschlägiger Literatur bei einem Review-Vorhaben ist sehr vielschichtig. Zur Quellenvielfalt kommt hinzu, dass der Suchprozess nicht nur in eine Richtung verläuft – von der Auswahl der zur Fragestellung passenden Suchbegriffe über die Datenbankrecherche(n) zur Bewertung der Suchergebnisse. Bei der Begutachtung der gefundenen Dokumente zeigt sich oft, dass die Rechercheformulierung geändert und ergänzende Begriffe abgefragt werden müssen.

„Recherche ist ein iterativer Prozess, bei dem Suchbegriffe immer wieder geändert und angepasst werden müssen.“

Dieser iterative Prozess kann so lange stattfinden bis die Suchoptionen ausgeschöpft sind. Hier besteht ein Unterschied zu den nach strikten Vorgaben durchgeführten Systematic Reviews in der Medizin; hier werden die Suchkriterien vor dem Recherchestart festgelegt und nicht mehr verändert. Neben der aktiven zielgerichteten Informationssuche sollte man auch die passive Komponente, die Zufallsfunde, nicht vernachlässigen. Das kann die Ankündigung einer Neuerscheinung in einem Fachverlag sein, auf die man beiläufig stößt, oder ein Tipp eines Kollegen oder einer Kollegin. Häufig werden bei umfangreichen systematischen Reviews Expertentreffen veranstaltet, bei denen sich die Teilnehmenden gegenseitig auf neue Sichtweisen aufmerksam machen.

Und wie wird die Menge an gefundener Literatur eingegrenzt? Gibt es dafür Kriterien?

Carolin Keller: Wichtig ist die Auswahl geeigneter Quellen und spezifischer Suchwörter. Dabei geht es weniger darum, die Recherche einzugrenzen als die Forschungsfrage spezifisch und genau zu definieren. Die Recherche sollte nicht zu sehr eingegrenzt werden, da nicht alle Publikationen in den einzelnen Datenbanken gleich gut verschlagwortet sind. Eine Beschränkung auf Publikationsdaten, Zeitschriften oder Publikationstypen muss wohl überlegt sein, weil sonst weniger Studien gefunden werden und gegebenenfalls die Sicht auf die Studienlage verfälscht wird. In der Fachliteratur spricht man dabei von Bias, also von Verzerrung.

Über die Auswahl von Quellen und spezifischen Suchwörtern grenzt man die Trefferliste ein.

Ingeborg Jäger-Dengler-Harles: Weitere Kriterien sind die Art des Reviews: Handelt es sich um eine umfangreiche Forschungssynthese oder um einen State-of-the-art-Review? Auch der geographische Bezugsraum spielt eine Rolle: Sind nur nationale Studien von Interesse – oder soll international gesucht werden? Ein weiteres Kriterium könnte der Publikationstyp sein: Will man bei den Hochschulschriften nur Dissertationen einschließen oder nur Zeitschriftenaufsätze, die ein Peer-Reviewing-Verfahren durchlaufen haben? Wobei dies kritisch geprüft werden sollte, um Bias-Effekte zu vermeiden.

Art des Reviews, geographischer Bezugsraum und Publikationstyp sind Kriterien zur Präzisierung der gefundenen Literatur.

Wesentlichen Einfluss auf das Ergebnis hat auch die Auswahl und Kombination der Suchbegriffe zu Suchstrings, die in einer heterogenen Datenbankwelt ständig angepasst werden müssen. Nicht jede Datenbank bietet eine Verschlagwortung mit standardisierten Suchtermen oder gar einen Thesaurus („Wortschatz“) an. Nicht jede Datenbank ermöglicht eine Suche in der vertrauten Sprache der Recherchierenden. Und selbst wenn das der Fall ist, können für einen identischen Sachverhalt je nach Datenbank unterschiedliche Schlagwörter verwendet werden. Die Benennungen für unterschiedliche Altersstufen in Abhängigkeit von der Altersspanne im Bildungskontext sind ein gutes Beispiel: Kinder im Vorschulalter, Schulkinder, Jugendliche, Heranwachsende, Junge Erwachsene. Für uns Informationswissenschaftlerinnen ist es deshalb notwendig, die Forschungsfrage zu analysieren, sie in ihre thematischen Bestandteile zu zerlegen und anschließend für jedes Themenkonzept passende Begriffe zu bestimmen. Außerdem müssen wir alternative Bezeichnungen, Ober- und Unterbegriffe, Singular- und Pluralformen und, bei einer mehrsprachigen Suche, auch die entsprechenden Übersetzungen zusammenstellen.

Gibt es Standardisierungen, die bei der Erstellung solcher Suchen und Suchstrings hilfreich sind?

Carolin Keller: Ja, die gibt es, auch wenn sie nicht explizit auf die Bildungswissenschaften oder Erziehungswissenschaften zugeschnitten sind. Wissenschaftlerinnen und Wissenschaftler, die sich für die Erstellung von Systematic Reviews interessieren, finden Vorgaben und Empfehlungen in Handbüchern (Anm. d. Red.: Die Literaturangaben sind in der blauen Box zu finden) und Guidelines anderer Forschungseinrichtungen. Die Campbell Collaboration ist zum Beispiel auf das Erstellen von Reviews für Fragestellungen zur Wirtschaft, Soziales und Bildung spezialisiert. Sie stellt auch eine Publikation zur Studienrecherche für Systematic Reviews bereit. Die Vorgaben zur Recherche sind aber teilweise unspezifisch und geben eher allgemeine Handlungsempfehlungen als konkrete Arbeitsschritte vor. Für Autor*innen, die noch keine Erfahrung mit dem Erstellen eines Suchstrings für Datenbankanfragen haben, empfehle ich, sich in das Thema des Information Retrieval und in die Funktionsweise verschiedener Datenbankstrukturen einzuarbeiten.

Ingeborg Jäger-Dengler-Harles: Das Thema des Information Retrieval, also die Suche nach relevanten Informationen, ist allerdings eine komplexe Angelegenheit. Im Bereich der Bibliotheks- und Informationswissenschaften gibt es dafür eigene Ausbildungseinheiten. Um eine Vorstellung für die einzelnen Arbeitsschritte und die dahinter stehenden Denkprozesse zu entwickeln, eignet sich im deutschsprachigen Bereich die zehnteilige Reihe „One size does not fit all – systematische Literaturrecherche in Fachdatenbanken“ (2019). Sie ist auch als Open-Access-Publikation verfügbar. Und obwohl sie aus dem klinischen Bereich stammt, lassen sich die grundlegenden Prinzipien ohne weiteres für die Bildungswissenschaften übernehmen. Und das „RefHunter – Manual zur Literaturrecherche in Fachdatenbanken“ (2020) bietet einen guten Überblick über wesentliche Fachdatenbanken, auch aus den Bildungs- und Sozialwissenschaften.

Welche Probleme können beim Rechercheprozess auftreten?

Carolin Keller: Häufig wird die zeitliche Planung der Recherche unterschätzt. Das Vorbereiten und Ausarbeiten einer Recherchestrategie benötigt ebenso viel Zeit, wie die Recherche und Dokumentverwaltung selbst! Vor allem die Suche, die über eine Datenbankrecherche hinausgeht – wie zum Beispiel die vorher beschriebene Handsuche – ist sehr zeitintensiv. Werden Recherchen aufgrund beschränkter Kapazitäten auf ein Minimum reduziert, hat das Einfluss auf die Qualität der Recherche und letztendlich auf die Ergebnisse des Reviews selbst.

Ingeborg Jäger-Dengler-Harles: Auch das Abwägen zwischen Sensitivität: theoretisch alle passende/n Dokumente zu finden und Spezifizität: die wichtigsten zur Beantwortung der Forschungsfrage relevanten Dokumente zu ermitteln, ist eine Herausforderung. Aber auch eingeschränkte Zugriffsmöglichkeiten auf Informationsquellen setzen einer umfassenden Recherche mit einer hohen Anzahl zu prüfenden Treffern Grenzen.

Eine korrekte Suchformulierung, eine adäquate Anzahl an Suchbegriffen und Datenbanken und Transparenz sind Qualitätskriterien für den Rechercheprozess.

Um nachvollziehen zu können, wie die Treffermenge zustande gekommen ist, aus der die Publikationen ausgewählt werden, muss man außerdem die Suchstrategien und Suchwege detailliert dokumentieren und die Einschränkungen begründen; denn letztendlich ist das ja die Basis für das Coding, das Auswerten und das Beantworten der Forschungsfrage. Auch das Zusammenführen identischer Publikationen und die Prüfung nach Dubletten sind nicht immer unproblematisch. Das liegt daran, dass Veröffentlichungen zum einen in den Datenbanken unterschiedlich – also bibliographisch mehr oder weniger ausführlich – beschrieben sind; zum anderen erscheinen sie auch mehrfach in inhaltlich fast identischer Form. Es gilt also echte Dubletten zu identifizieren und zu prüfen, ob und welches Dokument ausgeschlossen werden kann. Das betrifft vor allem Arbeits- und Diskussionspapiere, zu denen es oft eine Anschlusspublikation gibt, die je nach Bewertungsgrundlage die Vorgängerpublikation(en) ersetzt.

Wie unterscheidet man „gute“ von weniger guten Quellen?

Ingeborg Jäger-Dengler-Harles: Ich würde hier eher von relevanter Literatur oder Quellen sprechen. Sie müssen unter Beachtung wissenschaftlicher Qualität erstellt worden sein. Gerade im Zusammenhang mit systematischen Übersichtsarbeiten findet man oft Publikationen, die vom Titel oder der Beschreibung her attraktiv sind, dem wissenschaftlichen Anspruch, den ein seriös ausgeführter systematischer Review erhebt, jedoch nicht genügen.

Oftmals genügen Publikationen nicht den wissenschaftlichen Standards.

Nicht immer können Datenbankanbieter oder Bibliotheken über den Nachweis und das Bereithalten von Publikationen frei entscheiden. Eine Institution wie die Deutsche Nationalbibliothek, die per Gesetz alle im Sammelgebiet veröffentlichten Publikationen erfassen muss, ist verpflichtet, auch Veröffentlichungen von Verlagen nachzuweisen, die von Autor*innen freiwillig eingereichte – mitunter eingeworbene – Arbeiten ohne Qualitätskontrolle durch ein Lektorat verlegen. Es kann sich hier um Haus- und Studienarbeiten handeln, unabhängig davon, mit welcher Note sie bewertet wurden und ob es sich um eine eigene wissenschaftliche Leistung handelt. Es kann also sinnvoll sein zu prüfen, ob ein Publikationsorgan Richtlinien zur guten wissenschaftlichen Praxis aufgestellt hat, so wie es beispielsweise die DFG mit ihren Standards guter wissenschaftlicher Praxis handhabt. Fachdatenbanken haben meist eine Policy, die über Qualitätskriterien für die Aufnahme von Literaturnachweisen informiert.

Was haben Reviews im Allgemeinen mit Open Science zu tun?

Ingeborg Jäger-Dengler-Harles: Insbesondere Systematic Reviews sind als eigenständige wissenschaftliche Forschungsmethode dafür prädestiniert, die Ziele offener Wissenschaft zu unterstützen. Ihre Durchführung basiert auf vorgegebenen Prozessschritten, die eingehalten und dokumentiert werden müssen. Sie garantieren, dass die Ergebnisfindung nachvollziehbar ist.

Systematische Übersichtsarbeiten unterstützen mit ihren Prinzipien von Open Data und Open Methodology das Open Science-Prinzip.

Carolin Keller: Nur durch Transparenz und Nachvollziehbarkeit des Recherchevorgehens in der Publikation wird klar, wie die Ergebnisse des Reviews qualitativ einzuordnen sind. Ein erster Schritt ist also, das Recherchevorgehen offen im Review anzugeben. In vielen Reviews ist das nicht immer der Fall. Ein weiterer Schritt ist es, die Forschungsdaten – also die ermittelten Literaturquellen – zur Verfügung zu stellen. Zwar stehen in Review-Artikeln häufig Angaben zur Auswahl der Titel im Screening-Prozess, doch die wenigsten Leser*innen können etwas mit den Zahlen anfangen. Wenn man gleichzeitig die Daten bereitstellt, wird der Vorgang transparenter; die recherchierten Datensätze sind für andere Forschungszwecke einsehbar und können aktualisiert auch für weitere Forschungsprojekte verwendet werden.

„Wir haben im DIPF die Forschungsdaten zum Critical Review des BMBF Metavorhabens – Digitalisierung in der Bildung erstmals als freie Forschungsdaten online zugänglich gemacht.“

Eine andere Idee ist, die Ergebnisse eines Reviews fortlaufend zu aktualisieren. So können sich Leser*innen sicher sein, dass die Studienergebnisse nicht einer veralteten Momentaufnahme entsprechen. Aus der Medizin stammt die Idee der „Living Reviews“ von Cochrane. Um ein solches Format anbieten zu können, muss eine klar strukturierte Recherchestrategie vorhanden sein, die auch die Form der Datenarchivierung und die Aktualisierbarkeit des Reviews durch das Absuchen verschiedenen Datenquellen berücksichtigt. So ein Format könnte man auch in aktuellen und sich fortlaufend entwickelnden Themen der Bildungsforschung wie in der Forschung zur Digitalisierung und Bildung anwenden. Eine transparente Methodik und das Offenlegen kann die kollaborative Forschung also wirklich voranbringen!

Vielen Dank, Frau Keller und Frau Jäger-Dengler-Harles, für dieses Interview!

---

Dieser Text steht unter der CC BY 4.0-Lizenz. Der Name des Urhebers soll bei einer Weiterverwendung wie folgt genannt werden: Carolin Anda für Deutscher Bildungsserver.

---