Mobilfunkstudien:
Bewertung der Ergebnisse durch Laien

von Dr. Giulia Ratto

Das Internet hat viele Umwälzungen gebracht, auch den Elfenbeinturm der Wissenschaften hat es geknackt. Seitdem sich wissenschaftliche Studien von Wohnzimmern aus sichten lassen, wächst ein Heer selbsternannter Experten heran, die alle nur eines wollen: mitreden. Doch zwischen dem Lesen wissenschaftlicher Arbeiten und dem richtigen Verstehen des Gelesenen liegen Welten. Die Autorin dieses Beitrags ist Wissenschaftlerin, sie appelliert an Laien: Versucht euch gar nicht erst an der Bewertung wissenschaftlicher Studien, überlasst dies ausgewiesenen Fachleuten, die wissen was sie tun (12.08.2015).

Wissenschaftliche Publikationen sind für Laien häufig nicht frei zugänglich, meist steht im Internet nur der Abstract einer Studie (Zusammenfassung) unentgeltlich zur Verfügung. Hat man Glück, werden weitere Details einer Publikation im EMF-Portal genannt, etwa zu den wichtigen Expositionsparametern. Was aber kann ein Laie mit so einem Abstract anfangen, wie sind die Angaben dort zu verstehen und warum sollten Laien die Finger davon lassen? Die folgenden Ausführungen gelten für biologische Studien, auf epidemiologische und soziologische Studien sind sie nur begrenzt übertragbar, z.B. weil es dort keine Expositionsanlagen gibt.

Worum geht es überhaupt?

Checklisten zur Bewertung von Studienergebnissen und deren Medienresonanz Für Personen, die sich im Rahmen ihrer beruflichen Tätigkeit mit Fragen zum Themenfeld Mobilfunk beschäftigen (Entscheidungsträger, Ansprechpartner für die Bevölkerung) gibt es einen Leitfaden zur Beurteilung wissenschaftlicher Berichte über Studienergebnisse (PDF, 2 Seiten). Damit lässt sich die Qualität wissenschaftlicher Publikationen testen. Mit einem zweiten Leitfaden zur Beurteilung von Zeitungsartikeln über Studienergebnisse (PDF, 2 Seiten) lässt sich die Seriosität der medialen Berichterstattung über Studien beurteilen. Im Auftrag des Bundesamt für Strahlenschutz wurden die Leitfäden von einem Projektkonsortium verfasst. Die Adressaten sollen befähigt werden, Studienergebnisse und Medienberichte (Printmedien) zum Thema EMF auf Validität und Objektivität zu bewerten, um mit interessierten Laien eine Sachdiskussion führen zu können. Die Brauchbarkeit der Leitfäden wurde an 60 Probanden erprobt. Das Projektkonsortium bestand neben dem federführenden Institut für Geschichte, Theorie und Ethik der Medizin (Institut GTE Med), aus dem Forschungszentrum für Elektro-Magnetische Umweltverträglichkeit der RWTH Aachen (femu) sowie der TÜV Süd Industrie Service GmbH (TÜV) als Unterauftragnehmer.

In aller Regel gibt der Beginn eines Abstracts Auskunft worum es überhaupt geht, was untersucht wurde und warum die Studie aus Sicht der Autoren wichtig ist. Eventuell findet sich eine Hypothese, mit der die Forscher mitteilen, welches Ergebnis sie erwartet haben. Manchmal lässt sich schon an diesen wenigen Zeilen erkennen, ob die Autoren objektiv oder mit vorgefasster Meinung an die Fragestellung herangetreten sind. Der Zugriff auf den Volltext erleichtert solche Einschätzungen. Werden dort in der Einleitung allein alarmierende Studien zitiert, ohne Hinweise auf Negativstudien und misslungene Replikationen (Studienwiederholung), ist die Einstellung der Autoren zur Fragestellung offensichtlich.

Um derartige Bewertungen fachkundig vornehmen zu können, ist jedoch die Kenntnis der einschlägigen Literatur notwendig. Diese aber fehlt Laien, die sich mit dem Thema bisher nicht befasst haben, unqualifizierte Bewertungen können das wahrscheinliche Ergebnis sein. Fachleute lassen sich von solchen Bewertungen nicht beeindrucken, andere Laien ohne Hintergrundwissen dagegen schon.

Methodik: So haben wir’s gemacht!

Nächste Station im Abstract einer Studie sind kurze Angaben zu den Methoden, in erster Linie, welche biologischen Methoden bei der Studie angewendet wurden. Ob diese für die Aufgabenstellung geeignet sind kann ein Laie nicht beurteilen. Und ob sie korrekt angewendet wurden, kann selbst ein Fachmann nur anhand des Volltextes herausfinden. Zum Beispiel sollte dort stehen, ob zur Befeldung ein Mobiltelefon oder eine Expositionsanlage verwendet wurde. Auch der durch die Befeldung im Studienobjekt bewirkte SAR-Wert gehört hierher. Das Fehlen derart wichtiger Angaben im Abstract deutet darauf hin, die Exposition wurde entweder nicht korrekt durchgeführt und diese Daten fehlen tatsächlich, oder die Autoren haben sie im Abstrakt nur vergessen zu erwähnen. Beides kein Indiz für Qualität.

Manchmal allerdings begrenzen Vorgaben der Zeitschrift die Länge eines Abstracts und die Autoren halten andere Informationen für wichtiger, dann fehlen diese Angaben aus gutem Grund. Generell gilt: Genaue Angaben zur Expositionsanlage und zum SAR-Wert sind unverzichtbar. Ob die Anlage von guter Qualität war und der SAR-Wert korrekt bestimmt wurde, kann nur ein Techniker anhand des Volltextes beurteilen. Doch steht dort, es seien Mäuse mit einem Mobiltelefon im Standby- oder im Empfangsmodus befeldet worden und meldet die Studie dennoch alarmierende Ergebnisse, muss sogar jedem interessierten Laien klar sein: Hier kann etwas nicht stimmen. Ein Handy das nicht oder nur wenig sendet kann keinen Feldeinfluss haben. Sind die berichteten Ergebnisse dennoch signifikant, deutet dies auf ein Zufallsergebnis hin, auf methodische Fehler (fehlende Scheinexposition und/oder fehlende Verblindung), auf Datenmanipulation (z.B. Ausschluss von Extremwerten) oder auf Betrug.

Alle Ergebnisse gehören in den Abstract – ob signifikant oder nicht

Nach den Methoden folgt im Abstract das, was alle am meisten interessiert, die Nennung der wichtigsten Ergebnisse. Hier werden alle signifikanten Ergebnisse genannt (Irrtumswahrscheinlichkeit <5 Prozent), aber nicht unbedingt die nicht-signifikanten. Steht dort also geschrieben, der Gehalt von drei Hormonen habe sich verändert, kann es sein, nur diese drei wurden untersucht. Es kann aber auch so sein, dass die Ergebnisse zu 20 weiteren Hormonen, deren Gehalt sich nicht verändert hat, nur im Volltext stehen. Gewissenhafte Autoren nennen daher auch nicht-signifikante Ergebnisse im Abstract.

Weiterhin sollte die Bedeutung der Ergebnisse von den Autoren bewertet werden. Dabei ist es Ermessenssache ob jemand aus einer Mücke einen Elefanten macht oder die Ergebnisse zurückhaltend bewertet. Ein Laie kann diesen Ermessensspielraum auf keinen Fall beurteilen. Woher soll er auch wissen, ob ein Anstieg der Einschlaflatenz von 10 Minuten auf 15 Minuten Grund zur Sorge ist, ob der Anstieg einer Reaktionszeit von 500 Millisekunden auf 600 Millisekunden oder der Anstieg eines Hormons im Blut um 20 Prozent biologisch oder gesundheitlich relevant ist oder nicht? Viele biologische Parameter sind eng reguliert, als Beispiel möge die Körpertemperatur herhalten. Deren Anstieg von 37 °C auf 38 °C bei einer Erkältung ist zweifellos gesundheitlich relevant, jeder spürt dieses Fieber. Doch viele andere Parameter können um den Faktor zwei und mehr schwanken, bleiben damit aber noch immer im normalen physiologischen Bereich und es passiert nichts. Das kann selbst ein Fachmann meistens nur mit Zugriff auf den Volltext richtig beurteilen, und selbst dann kann nicht jeder alles beurteilen. Für die kundige Bewertung der Einschlaflatenz sind Schlafforscher zuständig, für Reaktionszeiten sind Neurobiologen oder Psychophysiologen zuständig und mit Hormonen kennen sich Endokrinologen am besten aus (für Geschlechtshormone: Gynäkologe/Urologe). Werden Daten aus Publikationen reißerisch vorgetragen, haben Laien ohne Hintergrundkenntnisse nicht die geringste Chance, die Täuschung zu durchzuschauen. Diese unseriöse Methode wird von verantwortungslosen und inkompetenten Ärzten, Baubiologen oder anderen selbsternannten Experten praktiziert, um die gewünschte Wirkung zu erreichen (Verunsichern von Zuhörern/Lesern).

Ausblick – auch auf Geldtöpfe

Am Ende des Abstracts steht meist ein kurzer Ausblick, z.B. eine weiterführende Hypothese. Sehr häufig wird an dieser Stelle oder in den Schlussfolgerungen am Ende der Studie weitere Forschung gefordert. Dies wird von Laien gerne als Eingeständnis dafür gesehen, der wissenschaftliche Kenntnisstand sei noch lückenhaft. Doch es gibt auch eine andere Sichtweise: Jeder Forscher möchte auf dem einmal eingeschlagenen Weg weitermachen und benötigt hierfür Fördergelder. Die fließen leichter, wenn in einer Publikation die Forderung nach dieser Forschung erhoben wird. Besonders bei drittklassigen Publikationen geht es dann nicht selten nicht mehr um Erkenntnisgewinn, sondern nur noch ums Geld.

Replikationen: Stiefkinder der Wissenschaft

In anderen Fällen ist die Forderung nach weiterer Forschung hingegen berechtigt. Wird z.B. ein völlig neuer Aspekt aufgegriffen, gibt es das (alarmierende) Ergebnis erst ein einziges Mal. Da es zufällig falsch positiv sein könnte, muss es repliziert werden. So einfach wie es sich anhört ist so eine Studienwiederholung jedoch nicht. Probleme bereitet die wissenschaftliche Publikation einer Replikation: Werden die Ergebnisse des Originals bestätigt, ist die Replikation wissenschaftlich uninteressant, da nichts Neues gefunden wurde. Renommierte Fachzeitschriften werden so eine Arbeit ablehnen. Werden nun umgekehrt die ursprünglichen Ergebnisse von der Wiederholungsstudie nicht bestätigt, läuft es aufs Selbe hinaus: Die Arbeit wird bei renommierten medizinischen Zeitschriften nur ungern angenommen, da negative Ergebnisse ohne klinische Relevanz sind.

Unerwünscht: Studien ohne Befund

Negative Ergebnisse in einer Fachzeitschrift unterzubringen ist generell schwieriger als die Veröffentlichung signifikanter Befunde. Deswegen fristen solche Manuskripte nicht selten ein Schattendasein, gerne bleiben sie in den Schubladen des Wissenschaftsbetriebes liegen. Manuskripte mit signifikanten Ergebnissen werden selbst dann lieber zur Publikation angenommen, wenn die Arbeit von schlechter Qualität ist. Diese Gepflogenheit hat verzerrende Folgen, denn das, was publiziert wird, spiegelt nicht die tatsächlich durchgeführte Forschung wider, Negativergebnisse sind unterrepräsentiert. Die daraus resultierende Verzerrung nennt man “Publication Bias”.

Blutdruckentgleisungen, die keine waren

Ein Beispiel aus der Praxis: 1998 erschien in der hochrangigen medizinischen Zeitschrift “Lancet”, sie wird gerne von Ärzten gelesen, ein Artikel, der einen Blutdruckanstieg unter HF-Exposition beschrieb. Es wurden sieben Testpersonen einfachblind untersucht, die Exposition erfolgte stets nach der Scheinexposition. In einer Folgestudie an 20 Probanden, ebenfalls einfachblind, aber mit wechselnder Reihenfolge von Exposition und Scheinexposition, konnte dieselbe Arbeitsgruppe ihr ursprüngliches Ergebnis nicht bestätigen. Es war offenbar der Regelmäßigkeit der Exposition geschuldet und nicht der Exposition selbst. Die Replikation erschien 2002 in “Radiation Research”. Das ist eine gute Zeitschrift, aber bei weitem nicht so angesehen wie Lancet. Sie ist unter Radiologen bekannt, nicht aber unter anderen Ärzten. Jetzt stand es also 1 : 1 und es musste geklärt werden, welches der beiden Ergebnisse gültig ist. Deshalb wurden in einem anderen Labor nun 120 Probanden doppelblind mit wechselnder Reihenfolge der Exposition getestet: Auch dieses Ergebnis fiel negativ aus. Die Veröffentlichung der Arbeit wurde von Lancet abgelehnt, das Paper erschien 2007 in “Bioelectromagnetics”. Diese Zeitschrift ist Medizinern kaum bekannt, mit Ausnahme von denen, die EMF zur Therapie nutzen. Diese irrationale Publikationspraxis der Fachzeitschriften hat im konkreten Beispiel zur Folge, dass möglicherweise nicht wenige Ärzte noch auf dem Kenntnisstand von 1998 sind und glauben, HF-Einwirkung am Menschen könne Blutdruckentgleisungen zur Folge haben.

«Einschaltquoten» wissenschaftlicher Journale

Ein Maß für den Einfluss einer Zeitschrift ist der “Impact Factor”. Jährlich aktualisiert gibt er an, wie häufig die in einer Zeitschrift publizierten Artikel zitiert werden. Dabei gilt: Je häufiger zitiert wird, desto höher ist der Impact Factor. Aber Vorsicht, ein hoher Wert bedeutet nicht zwingend, dass die Publikationen in so einer Zeitschrift von besserer Qualität sind. Dies wird regelmäßig behauptet, stimmt auch häufig, aber eben nicht immer. Lancet hat einen Impact Factor von 45, Radiation Research einen von 2,9 und Bioelectromagnetics muss sich mit 1,7 zufrieden geben (alle Stand 2014). Die zuvor angesprochene entscheidende Studie (Blutdruck) mit der besten Qualität der Methoden ist ausgerechnet in der am schwächsten bewerteten Zeitschrift gelandet! Ob und wie viele andere Untersuchungen zum Thema Blutdruck mit negativem Ergebnis durchgeführt, jedoch nicht publiziert wurden, weiß niemand.

Dass Publikationen in hochrangigen Journalen nicht immer von bester Qualität sind, belegt auch folgendes Beispiel. Im Jahr 2012 wurde in “Scientific Reports”, das zu “Nature” gehört und einen Impact Factor von 5,6 hat, ein Artikel über das Verhalten von Mäusen unter HF-Exposition publiziert. Die Arbeit weist auf mögliche Hyperaktivität nach einer Exposition während der Embryonalentwicklung hin und stellt im Abstract die Forderung nach weiteren Studien an Menschen und Primaten auf. ADHS durch Mobilfunk wird seither wieder vermehrt diskutiert. Doch stimmt an dieser Studie einiges nicht, wie in der ZEIT und auch im IZgMF-Forum berichtet wurde. Auch das Qualitätslabel “Nature“ kann einem Laien also nicht unbesehen als Qualitätsmerkmal dienen und fehlende eigene Expertise ersetzen.

Ein weiteres Beispiel wurde beim Abschlussworkshop der Forschungsgemeinschaft Funk (FGF) in Stuttgart 2009 diskutiert. Damals ging es unter anderem darum, wie es mit der EMF-Forschung in Deutschland weiter gehen soll. Einige Wissenschaftler schilderten ihre Erfahrungen mit Publikationen. In einem Fall wurde eine Studie zu Gehirnaktivität mit negativem Ausgang bei einem hochrangigen medizinischen Journal eingereicht, die Ablehnung kam postwendend. Am Ende landete die Publikation beim “Journal of Sleep Research”, immerhin noch mit einem Impact Factor von 3,3.

Studien zum Magnetsinn: Der Laie staunt, der Fachmann wundert sich

Eine Studie über den Magnetsinn von Hunden war der Süddeutschen (Wissensseite) am 2. Januar 2014 einen Artikel wert. Ausführlicher berichtete das Online-Wissensmagazin Scinexx.

Das Ganze ist aus wissenschaftlicher Sicht äußerst fragwürdig. Die Arbeitsgruppe (AG) an der Universität Duisburg-Essen geht jedoch sehr geschickt an die Presse und bekommt die Arbeiten auch sehr gut publiziert. “Frontiers in Zoology“, die Zeitschrift der Deutschen Zoologengesellschaft, ist bei Springer angesiedelt und hat einen Impact Factor von 3,0, dennoch haben die Gutachter dort das Paper passieren lassen.

Bei Säugetieren ist ein Magnetsinn bisher nur bei Fledermäusen (1, 2) und einigen Nagetieren (Blindmulle, Nacktmulle) bekannt. Sicher nachgewiesen ist das noch nicht, die Publikationen sind aber von angemessener Qualität und für die Orientierung in Dunkelheit ist so ein Magnetsinn nützlich. Das passt, denn Tierarten entwickelt nur die Sinnesorgane, die sie brauchen.

Begonnen hatte die deutsch-tschechische AG mit Blindmullen. Etwa zeitgleich wurde von einer anderen Arbeitsgruppe auch dem afrikanischen Nacktmull ein Magnetsinn zugeschrieben (1, 2). Beide Arten sind Nagetiere, verwandt, aber nicht besonders nahe. Der Mechanismus beruht vermutlich auf Magnetit (1, 2), im Gegensatz zu Vögeln, bei denen der Magnetsinn höchstwahrscheinlich ein Radikalpaar-Mechanismus in der Netzhaut ist.

In der Folgezeit wurden die Beobachtungen der Arbeitsgruppe an der Universität Duisburg-Essen zunehmend abenteuerlicher, die Qualität der Studien sank. Zunächst wurde entdeckt: Rinder richten sich auf der Weide nach dem Erdmagnetfeld aus. Und Stromleitungen sollen diese Orientierung stören. Ausgewertet wurden dazu Satellitenfotos weidender Rinder auf Google Earth. Doch die Arbeit hat Schwächen: Um die Wetterbedingungen kümmerten sich die Forscher nicht, die Fotos wurden unverblindet visuell ausgewertet und von einem Sinnesorgan zur Wahrnehmung von Magnetfeldern bei Rindern ist bisher nichts bekannt. Spötter ordneten die Studie daher bei “Jugend forscht” ein, wissenschaftlich fundierte Kritik kam aus Tschechien.

Dann kam es noch besser, Schlag auf Schlag: Füchse jagen Mäuse bevorzugt in Nord-Süd-Richtung und orientieren sich dabei am Erdmagnetfeld, Weihnachtskarpfen richten sich kurz vor dem Verzehr noch schnell entlang der Nord-Süd-Achse aus und Wasservögel landen, wenn kein anderer Orientierungspunkt vorhanden ist (was aber fast nie zutrifft), in Nord-Süd-Richtung. Sogar die armen Hunde trifft es: Sie sollen sich beim Verrichten ihres Geschäfts der “Nahrungsmittel- und Wasserrückgabe” ebenfalls nach Nord-Süd ausrichten. Jedoch nur dann, wenn das Erdmagnetfeld stabil und ungestört ist – dies aber ist es in nur etwa 20 Prozent der Fälle. Und noch eine Einschränkung: Die Nord-Süd-Ausrichtung anlässlich des Urinierens gilt nur für Weibchen, Rüden haben beim Gassigehen bekanntlich andere vor allem geruchliche Präferenzen.

Schön, dass die Forscher der AG bei all dem Wenn & Aber noch immer den Ausnahmefall finden, bei dem ihre Nord-Süd-Regel dann doch noch gilt. Treffend kommentiert ist dies im “Streiflicht” der Süddeutschen vom 7. Januar 2014. Der Journalist hat eine ebenso kurze wie hervorragende Bewertung abgeliefert, im Gegensatz zu den Gutachtern, die kläglich versagt haben: “Vier von fünf Hunden scheißen sich nichts, wenn sie müssen? Na, das wirft doch eine Theorie noch lange nicht über den Hundehaufen.“ Tschechische Forscher haben Auswertung und Statistik der Arbeit inzwischen heftig kritisiert, daraufhin haben die Autoren ebenso heftig widersprochen. Immerhin: Besagte Studie hat den Autoren den Alternativen Nobelpreis eingebracht – überraschenderweise waren sie noch stolz darauf!

Wenn man bedenkt, dass solche Studien veröffentlicht werden, Studien die keine Effekte zeigen kaum publizierbar sind und Studien die etwas finden gerne "scheibchenweise" auf mehrere Publikationen verteilt werden (wie eine Studie an insgesamt 20 Ratten aus Iran), wird einem klar, warum z.B. aufgeregte Laien bei sogenannten Informationsveranstaltungen mit erhobenem Zeigefinger die vermeintlich schockiernde Mahnung in den Saal schmettern können: “Ja, aber die Mehrzahl der Studien findet etwas!”

Fazit: Schuster, bleib bei deinem Leisten

Laien haben kaum eine Chance, die Bedeutung einer Publikationen oder eines Abstracts richtig einzuordnen. Es ist Aufgabe von Wissenschaftlern, Fachgremien und Medizinern, die insgesamt vorhandene Datenlage, also alle Studien, regelmäßig zu beurteilen und die Öffentlichkeit möglichst objektiv über die aktuelle Situation zu informieren. Auf einige solche Bewertungen wurde im IZgMF-Forum kürzlich hingewiesen.

[Forum ►►]

Dr. Giulia Ratto ist das Pseudonym einer Wissenschaftlerin, die nicht tatenlos zusehen möchte, wie sich Laien in der Elektrosmog-Diskussion in pseudowissenschaftlichen Debatten abenteuerlich versteigen. Hin und wieder rückt Dr. Ratto deshalb Dinge zurecht, die in der Debatte verrückt wurden, oder drohen, aus dem Ruder zu laufen.