Insektenstudie "Beefi" (IV a): Systematik der Review (Allgemein)

H. Lamarr , München, Samstag, 27.04.2024, 22:52 (vor 113 Tagen) @ H. Lamarr

Die Autoren der Insektenstudie geben vor, es handle sich bei ihrem Paper um eine systematische Review. Systematische Reviews genießen in der wissenschaftlichen Gemeinschaft hohes Ansehen, da sie, wenn die Qualität hoch ist, eine solide Grundlage für evidenzbasierte Entscheidungen sind. Die Qualität wiederum hängt maßgeblich von der methodischen Strenge ab. Um die ist es bei der fraglichen Insektenstudie nicht zum Besten bestellt.

Die Insektenstudie ist nicht die erste alarmierende Übersichtsarbeit von Diagnose-Funk. Bereits 2018 publizierte der Verein in dem Verbandsblatt UMG (Umwelt - Medizin - Gesellschaft) eine alarmierende Übersichtsarbeit der Biologin Isabel Wilke zu "Biologische und pathologische Wirkungen der Strahlung von 2,45 GHz auf Zellen, Fruchtbarkeit, Gehirn und Verhalten" (kurz W-Lan-Review). Diese W-Lan-Review nahm für sich in Anspruch, eine systematische Review zu sein, tatsächlich handelte es sich zweifelsfrei um eine narrative Review.

Narrative Reviews

Eine narrative Review ist die kleine Schwester der systematischen Review. Sie fasst zusammen, was zu einem Thema bereits geschrieben wurde. Dabei wird üblicherweise kein nennenswerter theoretischer Mehrwert geschaffen, es bleibt bei der Beschreibung. Die Auswahl der Studien orientiert sich an der Fragestellung, sie ist jedoch unsystematisch und unterliegt persönlichen Vorlieben/Abneigungen der Autoren. Der wissenschaftliche Wert narrativer Reviews ist daher niedrig. Gut gemachte narrative Reviews ohne methodische Verzerrung sind nützlich, um bestehendes Wissen zu überblicken, empirische Befunde zusammenzufassen und Forschungsbereiche zu identifizieren, die weitere Untersuchungen erfordern. Die W-Lan-Review von Wilke ist nicht gut gemacht, ein Wissenschaftler gab ihr wegen erheblicher methodischer Schwächen das Prädikat "unsäglich". Google Scholar stützt diese Wertung. Das Studienportal zeigt, das Echo auf die W-Lan-Review fand nahezu ausschließlich in den Echokammern der Anti-Mobilfunk-Szene statt.

Systematische Reviews

Systematische Reviews sind ungleich anspruchsvoller als narrative, sie sind eine umfassende und methodisch strenge Übersicht auf vorhandene wissenschaftliche Literatur zu einem bestimmten Thema. Da sie per Definition methodische Verzerrungen mit allen Mitteln minimieren sollen, erlauben sie es, die Qualität der Evidenz zu bewerten. Systematische Reviews werden gerne dann durchgeführt, wenn die Ergebnisse von Einzelstudien unübersichtlich oder widersprüchlich sind oder wenn es um Zusammenhänge geht, für deren aussagekräftige Erforschung Einzelstudien nicht ausreichend große Fallzahlen bieten.

Erster (mühsamer) Schritt einer systematischen Review sollte das Anfertigen und Veröffentlichen eines Studienprotokolls sein. Es dokumentiert als eine Art Leitfaden strukturiert und detailliert den gesamten Durchführungsprozess der geplanten Review. Dort werden der Hintergrund und die Zielsetzung der Review erklärt, die Suchstrategie, die Einschluss-/Ausschlusskriterien, die Studienselektion, die Methodik der Qualitätsbewertung, wie Daten aus den ausgewählten Studien extrahiert werden und wie die Analyse und Synthese stattfinden soll. Das Beispiel eines Studienprotokolls für eine von der WHO beauftragte systematische Review (Tierstudien, HF-EMF-Exposition, Endpunkt Krebs) lässt sich hier studieren.

Steht das Studienprotokoll kann die systematische Review beginnen und jeder Arbeitsschritt sollte noch einmal dokumentiert werden. Geschah dies zuvor beim Verfassen des Protokolls noch auf dem Reißbrett, wird nun die tatsächliche Praxis dokumentiert. Die doppelte Arbeit dient der Transparenz, um Abweichungen zwischen Protokoll und Praxis festzuhalten. Für Außenstehende ist so die Durchführung der Review besser nachvollziehbar und Rückschlüsse auf deren Qualität sind offensichtlich. Den Autoren hilft der Vergleich Protokoll/Praxis, Fehler im Protokoll selbst zu erkennen und in der Praxis zu vermeiden. Nicht zuletzt erwarten wissenschaftliche Journale von systematischen Reviews, dass der Prozess vom Protokoll bis zur Dokumentation der Durchführung lückenlos eingereicht wird, das ist für die Verlage ein Qualitätskriterium.

Werden diese und weitere Vorgaben für systematische Reviews eingehalten und präzise dokumentiert, sollten Betrachter der Übersicht die Ergebnisse bis ins Detail nachvollziehen können. Doch wie eingangs erwähnt, hängt die Qualität einer systematischen Review davon ab, wie streng sich die Autoren an gegebene methodische Anforderungen gehalten haben. Um den Autoren qualitativ gute systematische Reviews zu erleichtern, gibt es diverse Richtlinien, auf was methodisch zu achten ist (z.B. Amstar 2, Robis, Prisma). Einen Leitfaden für Studenten gibt es hier.

Die Insektenstudie von Diagnose-Funk

Um es vorweg zu nehmen, die Insektenstudie ist mit Abstand das Beste, was der Stuttgarter Verein bislang an "Studien" finanziert hat. Und systematisch ist diese Review augenscheinlich auch. Von einer von politischen Entscheidungsträgern ernst zu nehmenden wissenschaftlichen Review ist das Papier jedoch ein gutes Stück entfernt, denn statt gnadenloser methodischer Strenge haben die Autoren stellenweise Milde walten lassen. Ursachen dafür sind mMn ihre mobilfunkkritische Überzeugung, ein Zwang zur Aufwandsminimierung und die Unerfahrenheit in der Ausarbeitung einer derart anspruchsvollen Arbeit. Meiner Einschätzung nach handelt es sich bei dem Papier um eine gut gemachte "Kargo-Kult-Studie", deren Metaanalysen daran kranken, dass bei der Auswahl der eingeschlossenen Primärstudien eine zu lasche Qualitätskontrolle stattfand, weshalb qualitativ fragwürdige Studien in die Analysen eingeflossen sind und diese verzerren. Um solche Verzerrungen nach bestem Wissen und Gewissen zu vermeiden ist kompromisslose methodische Strenge Pflicht. Anderenfalls kommt das gigo-Prinzip zum Tragen (garbage in, garbage out): Verzerrte Studienresultate werden durch den gesamten Review-Prozess mitgeschleppt und führen letztlich zu unbrauchbaren, weil verzerrten Metaanalysen.

Schauen wir uns jetzt gemeinsam an, was es an der methodischen Strenge der Insektenreview auszusetzen gibt. Anspruch auf Vollständigkeit erhebt die folgende Auflistung nicht, denn dazu fehlt mir stellenweise entweder die Kompetenz oder freie Zeit.

Stoppen vor der Sprachhürde
Schon das Auslassen thematisch relevanter Studien kann Metaanalysen verzerren, nämlich dann, wenn die verfügbare Evidenz (aus Studien oder Ergebnissen) systematisch von der fehlenden Evidenz abweicht (Quelle). Methodisch strenge systematische Reviews versuchen deshalb bei der Literaturrecherche über alle Sprachhürden hinweg sämtlicher relevanter Studien habhaft zu werden. Die Autoren der Insektenstudie scheuten diesen großen Aufwand, sie begnügten sich mit Studien in Deutsch und Englisch.

Kein Studienprotokoll
Den Autoren zufolge haben sie sich an den Prisma-Richtlinien für systematische Reviews orientiert. Unter Punkt 24a ist dort nachzulesen, welche Vorteile die Registrierung einer systematischen Review und die öffentliche Bereitstellung eines Studienprotokolls für die Autoren und die Wissenschaftsgemeinde haben. Doch auf ein Studienprotokoll haben die Autoren der Insektenstudie verzichtet, ergo wohl auch auf eine Registrierung in einer Datenbank wie Open Science Framework. Kompromisslose methodische Strenge kann ihnen deshalb nicht unterstellt werden.

Einführung mit Konjunktiven
In ihrer Einführung erläutern die Autoren, wie es sich gehört, den Stand des Wissens über biologische Wirkungen von EMF (HF und NF) auf Insekten. Für meinen Geschmack verpacken sie dabei jedoch zu häufig spekulative Einschätzungen von Wirkungen und mutmaßlichen Ursachen mit schwammigen Formulierungen oder mit Konjunktiven. Das Papier sollte fundierte Fakten liefern, keine Mutmaßungen. Kritik an einer Mutmaßung äußern die Autoren nur einmal, nämlich an der Behauptung der Arbeitsgruppe Vanbergen, die einzige bisher nachgewiesene Wirkung künstlich erzeugter EMF auf bestäubende Insekten sei die Störung von deren Orientierung. An dieser selektiven Kritik, meine ich, lässt sich exemplarisch die Überzeugung der Autoren gut erkennen. Ergebnisoffen hätten sie die Äußerung mutmaßlich kommentarlos hingenommen. Eine Orientierungsstörung auf ihrer Seite sehe ich im Abschnitt "Magnetsinn" der Einführung. Denn einige Absätze später räumen sie ein, den Magnetsinn von ihren Metaanalysen ausgeschlossen zu haben. Mit einem Studienprotokoll wäre diese Widersprüchlichkeit vielleicht nicht passiert.

Unorthodoxe Qualitätsbewertung der Primärstudien
Den Autoren zufolge schafften es nach dem Ausschluss unpassender Papers 130 HF-EMF- und NF-EMF-Studien in die Qualitätsprüfung, die vom Hauptautor vorgenommen wurde, also allein von dem Autor, der als einziger der drei Autoren vom Auftraggeber (Verein Diagnose-Funk) finanzielle Zuwendungen erhielt. Die von der Task Force of Academic Medicine und dem Gea-Rime-Komitee veröffentlichte Checkliste für Überprüfungskriterien wurde zu diesem Zweck in der von Bertagna et al. angepassten Form verwendet, heißt es in der Review unter ordentlicher Nennung der beiden Quellen.

Meine Suche nach dem Original der Checkliste (vor Anpassung durch Betagna et al.) brachte ein unerwartetes Ergebnis. Die Checkliste aus dem Jahr 2001 fand ich zwar nicht, wohl aber eine Rezension des Buches mit dem Titel "Review criteria for research manuscripts", in der sie enthalten ist. Buchtitel und Rezension machen deutlich, das Buch spricht nicht die Autoren systematischer Reviews an, um ihnen eine Hilfe bei der Qualitätsbewertung von Primärstudien zu geben, sondern es will Peer-Reviewer (Gutachter) wissenschaftlicher Journale anleiten, die Qualität eingereichter Forschungsmanuskripte zutreffend zu beurteilen! Welche Auswirkungen dieser offensichtliche Fehlgriff auf die Insektenreview von Diagnose-Funk hat, schauen wir uns jetzt genauer an.

Die von Betagna et al. angepasste Checkliste hat 13 Prüfpunkte und findet sich in diesem Paper in Tabelle 1. Auf Deutsch lauten die 13 Prüfpunkte wie folgt:

► Problemstellung, konzeptioneller Rahmen und Forschungsfrage
► Literaturhinweise und Dokumentation
► Relevanz
► Studiendesign
► Geräteausstattung, Datenerhebung und Qualitätskontrolle
► Population und Stichprobe
► Datenanalyse und Statistik
► Darstellung der statistischen Analysen
► Präsentation der Ergebnisse
► Diskussion und Schlussfolgerung; Interpretation
► Titel, Autoren und Zusammenfassung
► Präsentation und Dokumentation
► Wissenschaftliche Vorgehensweise

Wie der Hauptautor der Insektenreview mit diesen nicht weiter erklärten Prüfpunkten die fachliche Qualität der Primärstudien kompetent beurteilt haben will, erschließt sich mir nicht. Denn von typischen Qualitätskriterien wie der Datenauswertung unter Blindbedingung fehlt jede Spur. Den Peer-Reviewern von Verlagen mag diese Checkliste eine Hilfe sein, keinen Prüfpunkt zu vergessen. Verstörende Prüfpunkte wie "Titel, Autoren und Zusammenfassung" dürften hingegen ratsuchende aber aufmerksame Autoren einer systematischen Review eher in die Verzweiflung treiben.

Der Hauptautor der Insektenstudie verzweifelte nicht, er arbeitete die unpassende Checkliste sorgfältig ab. In der Studie selbst ist dies jedoch nicht ersichtlich, dazu muss man das im Titelkopf der Review angebotene "Zusatzmaterial" (Supplementary Materials) sichten.

Schauen wir uns exemplarisch die Qualitätsbewertungen der 66 HF-EMF-Primärstudien an, die in der Excel-Datei suppl_j_reveh-2023-0072_suppl_002.xlsx (Rechtsklick, "Ziel speichern unter ...") stecken. Wie zu erwarten, haben dort ausnahmslos alle Primärstudien das schräge Qualitätskriterium "Titel, Autoren und Zusammenfassung" mit Bravour bestanden (Ziffer 1 = bestanden, Ziffer 0 = nicht bestanden).

Wird fortgesetzt in IV b ...

--
Jedes komplexe Problem hat eine Lösung, die einfach, naheliegend, plausibel – und falsch ist.
– Frei nach Henry Louis Mencken (1880–1956) –