Insektenstudie "Beefi" (IV b): Systematik der Review (Allgemein)

H. Lamarr , München, Sonntag, 28.04.2024, 23:47 (vor 112 Tagen) @ H. Lamarr

Schauen wir uns exemplarisch die Qualitätsbewertungen der 66 HF-EMF-Primärstudien an, die in der Excel-Datei suppl_j_reveh-2023-0072_suppl_002.xlsx (Rechtsklick, "Ziel speichern unter ...") stecken. Wie zu erwarten, haben dort ausnahmslos alle Primärstudien das schräge Qualitätskriterium "Titel, Autoren und Zusammenfassung" mit Bravour bestanden (Ziffer 1 = bestanden, Ziffer 0 = nicht bestanden).

Wird fortgesetzt in IV b ...

Wir machen mit der unorthodoxen Qualitätsbewertung der HF-EMF-Primärstudien weiter (die NF-EMF-Primärstudien sind hier nicht Gegenstand der Betrachtung) und jetzt wird es richtig interessant.

In der Insektenreview von Diagnose-Funk können wir lesen:

[...] Alle für das Thema relevanten Studien wurden vom Hauptautor anhand von 13 vorgegebenen Kriterien auf ihre Qualität überprüft, und diejenigen, die mindestens 11 der 13 Kriterien erfüllten, wurden eingeschlossen [55]. [...]

Quelle [55] ist die schon in Folge IV a angesprochene Studie von Betagna et al., also die mit den 13 für systematische Reviews unpassenden Prüfpunkten der Primärstudienqualität. Die 13 Prüfpunkte hat der Hauptautor der Insektenreview 1:1 für seine Qualitätsbewertung der 66 HF-EMF-Primärstudien übernommen (siehe Zitat oben), nicht aber die "methodische Strenge" des Doktoranden Bertagna, lässt man auch dessen Verwendung der unpassenden Prüfpunkte einmal außen vor. Denn wie in Quelle [55] nachzulesen ist, schlossen Bertagna et al. in ihrer systematischen Review alle Primärstudien ein, die mindestens zwölf der 13 Prüfpunkte bestanden haben. Dem Hauptautor der Insektenreview genügten dagegen schon elf der 13 Prüfpunkte. Warum er bei seiner ohnehin unpassenden Qualitätsbewertung auch noch die Latte tiefer legte als Bertagna, also milder bewertete, erklärt er nicht.

Randnotiz: Betagna et al. benennen in ihrem Paper [55] die Quelle der 13 Prüfpunkte unter "References" korrekt (dort [66]) mit dem Titel "Review criteria for research manuscripts". Im Fließtext aber ändern sie den Titel irreführend auf "Checklist of Review Criteria"! Möglicherweise hat sich der Hauptautor der Diagnose-Funk-Insektenreview davon narren lassen.

Welche Folgen hat die milde Qualitätsbewertung durch Alain Thill?

Mit der niedrigeren Hürde mindestens "elf von 13" Prüfpunkten schloss der Hauptautor der Insektenreview zehn der 66 HF-EMF-Primärstudien wegen Qualitätsmängeln von den anschließenden Metaanalysen aus. Mit mindestens "zwölf von 13" Prüfpunkten wie Bertagna hätte er elf mehr ausschließen müssen, gesamt also 21 der 66 Primärstudien. Das hätte sich wegen Ausdünnung der Datenbasis ungünstig auf die Aussagekraft seiner Metaanalysen ausgewirkt.

Von der milden Bewertung profitiert besonders der Schweizer "Bienenforscher" und Mobilfunkgegner Daniel Favre, der mit drei Studien in den 66 HF-EMF-Primärstudien vertreten ist. Alle drei Studien hätten bei der strengeren Bewertung "zwölf von 13" ausgeschlossen werden müssen. So aber haben alle drei mit je elf bestandenen Prüfpunkten die "Qualitätsbewertung" durch den Hauptautor der Insektenreview gerade noch überstanden. Doch mindestens zwei der Favre-Studien (2011 und 2017) haben aus meiner Sicht derart gravierende methodische Mängel, dass ihr Einschluss in die Insektenreview nie hätte passieren dürfen. Diese Wertung traue ich mir zu, da das IZgMF sich mit beiden Studien intensiv befasste und Favre2011 sogar (erfolglos) nachgestellt hat. Mehr dazu hier.

Auch Co-Autorin Cammaerts profitiert von der milden Bewertung. Sie ist mit vier HF-EMF-Primärstudien vertreten. Bei der strengen Bewertung wäre ihr Paper "Cammaerts2013a" mit elf bestandenen Prüfpunkten über die Klinge gesprungen. Ihre übrigen drei Studien hat der Hauptautor hingegen mit der Vergabe von zwölf oder 13 bestandenen Prüfpunkten in Sicherheit gebracht. Darunter ist auch das Paper Cammaerts2012, dem der Hauptautor der Insektenreview zwölf bestandene Prüfpunkte seiner unpassenden Qualitätsbewertung zuerkennt. Aber: Auch der niederländische Mathematiker Pepijn van Erp hat sich diese Studie angesehen und ist zu einem ganz anderen Ergebnis gekommen. Zu welchem? Dies lässt sich hier erforschen und die Rubrik "Bad Science, Pseudo Science" weist einem den Weg. Eine Zusammenfassung der wesentlichen Kritikpunkte nennt dieses Posting.

Fazit

Der Hauptautor der systematischen Insektenreview verwendet für die Qualitätsbewertung der HF-EMF-Primärstudien eine dafür nicht vorgesehene Checkliste. Das Ergebnis ist eine total verzerrte Qualitätsbewertung, die nicht die wissenschaftliche Qualität der Primärstudien im Blick hat, sondern deren formale Eignung für die Publikation in einem Fachjournal. Stichproben bestätigen, dass der Hauptautor in seine Insektenreview Studien eingeschlossen hat, die er aus begründeter Sicht anderer Bewerter hätte ausschließen müssen. Wegen der strukturellen Mängel der Qualitätsbewertung ist völlig offen, wie viele der vom Hauptautor eingeschlossenen 56 von 66 HF-EMF-Primärstudien tatsächlich wissenschaftlich belastbare Ergebnisse bieten. Die Insektenreview von Diagnose-Funk sollte per Definition systematischer Reviews ein vertrauenerweckendes Paper sein, das verschwommene Aussagen von Primärstudien mit Metaanalysen schärft. Dieses Ziel wurde verfehlt, da nicht mit Sicherheit auszuschließen ist, dass gemäß "gigo-Prinzip" (garbage in, garbage out) qualitativ minderwertige Primärstudien die Ergebnisse der Metaanalysen erheblich verzerren. Eine systematische Review mit Metaanalysen, denen man nicht trauen kann, ist wertlos, auch wenn sie sich optisch professionell gemacht präsentiert.

--
Jedes komplexe Problem hat eine Lösung, die einfach, naheliegend, plausibel – und falsch ist.
– Frei nach Henry Louis Mencken (1880–1956) –