Wissen reproduzieren
Einen besseren Weg finden, systematische Überprüfungen durchzuführen
In den Gesundheitswissenschaften, Systematische Übersichtsarbeiten spielen eine Schlüsselrolle bei der Beleuchtung eines Themas, indem sie umfassende Literaturrecherchen und eingehende Analysen kombinieren, um die besten Informationen zu diesem Thema bereitzustellen.
Aber diese Bewertungen sind nur so gut wie ihre Methode zur Informationsbeschaffung – und es stellt sich heraus, dass ihre Qualität nicht das ist, was sie sein sollte.
„Wir sehen viele Leute, die systematische Reviews durchführen“, sagt Melissa Rethlesfesen, die vor kurzem als Executive Director des Health Sciences Library & Informatics Center der University of New Mexico begann.
„Die Leute berichten oft nicht genau, was sie getan haben, sodass man nicht sagen kann, auf welche Datenbank sie zugegriffen haben“, sagt sie. „Sie verwenden eine sehr schlechte Methodik. Sie können nicht genau sagen, was sie getan haben, also können Sie es nicht selbst beurteilen.“
Systematische Reviews werden manchmal als eine Art „Evidenzsynthese“ beschrieben, sagt Rethlefsen. Sie prägen nicht nur medizinische und wissenschaftliche Entscheidungen, sondern leiten auch politische Entscheidungsträger.
In einem neuen Artikel, der online in der Zeitschrift veröffentlicht wurde Systematische Bewertungen, Rethlefsen und Kollegen in den USA, Großbritannien, Kanada, Deutschland und Australien schlagen Richtlinien vor, um sicherzustellen, dass Gutachter klar definierte Schritte befolgen, um sicherzustellen, dass ihre Recherchen genau und reproduzierbar sind.
„Wir haben festgestellt, dass es keinen Konsens darüber gab, was eine reproduzierbare Suche oder reproduzierbare Methoden eigentlich ausmacht“, sagt Rethlefsen. „Wir wollen den aus unserer Sicht großen Problemen mit dieser ganzen Literatur entgegenwirken. Wir versuchen wirklich, die Qualität dieser Bewertungen zu verbessern.“
Rethlefsen und ihre Kollegen konzentrierten sich auf das Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) Statement, das 2009 als erster Schritt zur Lösung dieses Problems erstellt wurde.
Die PRISMA-Checkliste enthält drei Abschnitte, die sich speziell auf die Literaturrecherche beziehen, aber das Team stellte fest, dass sie so weit gefasst waren, dass viele Forscher, die den Richtlinien folgten, die Durchführung wichtiger Schritte versäumten, sagt sie.
Literaturrecherchen werden durch die Tatsache erschwert, dass Verweise auf früher veröffentlichte Forschungen über mehrere Datenbanken verstreut sein können, jede mit einem einzigartigen Such- und Indexierungsprotokoll, sagt Rethlefsen.
„Was wir sehen, ist, dass Leute diese Art von Literaturrecherchen durchführen, die nicht geschult sind und die Nuancen der Funktionsweise all dieser Informationssysteme nicht verstehen“, sagt sie.
Rethlefsen und ihre Kollegen schlagen eine 16-Punkte-Checkliste namens PRISMA-S vor, um den Überprüfungsprozess genauer und transparenter zu gestalten. Es wurde mit Blick auf eine 2020-Überarbeitung der PRISMA-Haupterklärung erstellt, die in Kürze veröffentlicht werden soll.
„Da gab es einen riesigen Nachholbedarf“, sagt sie über ihre neue Checkliste, die seit ihrer Veröffentlichung Ende Januar bereits mehr als 5,000 Aufrufe hatte.
Eine andere Möglichkeit, die Qualität systematischer Übersichtsarbeiten zu verbessern, besteht darin, die Dienste eines Informationsspezialisten oder Bibliothekars in Anspruch zu nehmen, um die Literaturrecherche zu erleichtern – aber diese Option steht nicht jedem zur Verfügung. „Die Kosten können unerschwinglich sein, weil nicht jedes Team unbedingt einen Bibliothekar hat, der ihnen zur Verfügung steht“, sagt Rethlefsen.
Inzwischen könne die PRISMA-S-Checkliste auch problemlos auf andere Disziplinen wie die Umwelt- und Sozialwissenschaften übertragen werden, sagt sie. „Es wird Teil unseres Prozesses sein, mit dem wir uns weiterentwickeln und versuchen, mit Forschern in diesen Bereichen zusammenzuarbeiten, um ihnen beim Verständnis zu helfen.“