Focke et al. 2010 - Fragen über Fragen (Forschung)

Alexander Lerchl @, Samstag, 24.07.2010, 13:17 (vor 5271 Tagen)

Die Studie von Focke et al. (2010) wird vielfach als Beleg für die Reproduzierbarkeit der REFLEX-Ergebnisse im NF-Bereich (50 Hz) angesehen.

Es geht um diese Studie:

"DNA fragmentation in human fibroblasts under extremely low frequency electromagnetic field exposure" von Frauke Focke, David Schürmann, Niels Kuster und Primo Schär, erschienen in Mutation Research 2010: 683(1-2):74-83.

Ich möchte an dieser Stelle einige Daten visualisieren, die den Originaldaten der Studie (supplemenatary data) entnommen wurden und zeigen, dass die Schlussfolgerung, wie im frei verfügbaren Abstract zu lesen ("Our data confirm that intermittent (but not continuous) exposure of human primary fibroblasts to a 50 Hz EMF at a flux density of 1 mT induces a slight but significant increase of DNA fragmentation in the Comet assay, .."), nicht korrekt ist. An dieser Stelle sei betont, dass diese Abbildungen nicht in der Publikation enthalten sind und somit kein Verstoß gegen das copyright vorliegt.

Die Abbildungen zeigen die indivuellen Comet-Werte ("Tail factor"; Symbole), den jeweils für die Gruppe berechneten Mittelwert (waagerechter Strich) und die Signifikanzen zwischen den Gruppen (gestrichelte Linien und p-Werte). Ein p-Wert von 0.001 bedeutet "hoch signifikant", also die Wahrscheinlichkeit für einen Zufallsbefund liegt bei 0,1% (p=0.001) oder noch darunter (p<0.001). Angemerkt sei noch (für die Fachleute), dass die Unterschiede mit einem gepaarten t-Test ermittelt wurden.

Bevor ich meine erheblichen Bedenken äußere, möchte ich den Mitgliedern und Mitlesern dieses Forums Gelegenheit geben, nach Auffälligkeiten zu suchen. Eine weitere Anmerkung: Vor etlichen Monaten (im November 2009!) habe ich die Herausgeber über diese Dinge informiert, bislang ist aber nichts sachlich bedeutsames geschehen.

ES-1, HR-1d, MRC-5 = Zelltypen. Intermittent = gepulste Exposition. Continuous = kontinuierliche Exposition. Coil 1,2 und central, peripheral = Kontrollversuche.

[image]
[image]
[image]

--
"Ein Esoteriker kann in fünf Minuten mehr Unsinn behaupten, als ein Wissenschaftler in seinem ganzen Leben widerlegen kann." Vince Ebert

Tags:
Focke, Research, Refex

Focke et al. 2010 - Fragen über Fragen

H. Lamarr @, München, Samstag, 24.07.2010, 20:33 (vor 5271 Tagen) @ Alexander Lerchl

Bevor ich meine erheblichen Bedenken äußere, möchte ich den Mitgliedern und Mitlesern dieses Forums Gelegenheit geben, nach Auffälligkeiten zu suchen.

Tja, also für mich ist Ihre Aufforderung in etwa so, als ob ich in einem 10'000 Quadratmeter großen verwilderten Garten nach drei versteckten Ostereiern suchen soll. Für mich: keine Chance. Ich habe die Grafiken jetzt bestimmt zehn Minuten betrachtet, weiß aber dennoch nicht, worauf Sie hinaus wollen. Wie wär's mit einem kleinen Tipp, auf was das Augenmerk zu richten ist?

--
Jedes komplexe Problem hat eine Lösung, die einfach, naheliegend, plausibel – und falsch ist.
– Frei nach Henry Louis Mencken (1880–1956) –

Focke et al. 2010 - Hinweise zum Suchspiel

Alexander Lerchl @, Samstag, 24.07.2010, 21:11 (vor 5271 Tagen) @ H. Lamarr

Bevor ich meine erheblichen Bedenken äußere, möchte ich den Mitgliedern und Mitlesern dieses Forums Gelegenheit geben, nach Auffälligkeiten zu suchen.

Tja, also für mich ist Ihre Aufforderung in etwa so, als ob ich in einem 10'000 Quadratmeter großen verwilderten Garten nach drei versteckten Ostereiern suchen soll. Für mich: keine Chance. Ich habe die Grafiken jetzt bestimmt zehn Minuten betrachtet, weiß aber dennoch nicht, worauf Sie hinaus wollen. Wie wär's mit einem kleinen Tipp, auf was das Augenmerk zu richten ist?

Aber gerne. Also: Die Kernaussage des Artikels ist, dass "intermittent exposure" hochsignifikante Effekte (höhere Strangbrüche) verursacht, während "continuous exposure" dies nicht tut. Die Unterschiede sind also zwischen Kontrollen ("sham") und Exposition nur bei "intermittent" zu sehen. Soweit klar? Gut. Und jetzt schauen Sie sich mal die Mittelwerte aller Gruppen bei ALLEN Zell-Linien an. Welches sind die geringsten Werte? Klingelt's?

Ich war mir klar, dass das schwer zu sehen ist, aber es ist ein schönes Beispiel, wie man die Bewertung von solchen Ergebnissen VÖLLIG anders sehen kann.

Das ist aber längst noch nicht alles. :-)

--
"Ein Esoteriker kann in fünf Minuten mehr Unsinn behaupten, als ein Wissenschaftler in seinem ganzen Leben widerlegen kann." Vince Ebert

Focke et al. 2010 - Suchspiel - erster Versuch

H. Lamarr @, München, Samstag, 24.07.2010, 21:55 (vor 5271 Tagen) @ Alexander Lerchl

Die Unterschiede sind also zwischen Kontrollen ("sham") und Exposition nur bei "intermittent" zu sehen. Soweit klar? Gut. Und jetzt schauen Sie sich mal die Mittelwerte aller Gruppen bei ALLEN Zell-Linien an. Welches sind die geringsten Werte? Klingelt's?

Ich fürchte, ich habe einen Augenpaul! Ich sehe bei "intermittent" und "continuous" nur das, was auch Fraucke Focke gesehen hat. Um die Kontrollen habe ich mich jetzt nicht gekümmert.

[image]
Die Mittelwerte liegen bei "intermittent" weiter auseinander als bei "continuous"

***

[image]
Die Mittelwerte liegen auch hier bei "intermittent" weiter auseinander als bei "continuous"

***

[image]
Und wieder: Die Mittelwerte liegen bei "intermittent" weiter auseinander als bei "continuous"

***

Beim nochmal Drüberschauen ist mir dann aber doch noch was aufgefallen: Die Unterschiede der Tailfaktoren sind bei "intermittent"-Exposition gegenüber "shame" zwar stets größer als bei "continuous", aber bei "continuous" Exposition ist der Tailfaktor (Absolutwerte) stets deutlich größer, da ist eine Art "Offset" gegenüber "intermittent", der vermutlich dort nicht hingehört. Es ist ja nicht ersichtlich, wieso sich z.B. schon die "shame"-Exposition zwischen "intermittent" und "continuous" um den erheblichen Offset unterscheidet, der in der Größenordnung der relativen Unterschiede bei "intermittent" ist. Isses das?

--
Jedes komplexe Problem hat eine Lösung, die einfach, naheliegend, plausibel – und falsch ist.
– Frei nach Henry Louis Mencken (1880–1956) –

Focke et al. 2010 - Hinweise zum Suchspiel

Kuddel, Samstag, 24.07.2010, 22:13 (vor 5271 Tagen) @ Alexander Lerchl

Was mir nur auffällt, daß "intermittent sham" und "continuous sham" zumindest in der 2. und 3. Graphik erhebliche Differenzen zeigen, die nahezu in der Größenordnung der "exposed" Ergebnisse liegen.

Müßten nicht alle "sham" Versuche zu den gleichen Ergebnissen führen, egal ob "intermittent" oder "continuous" ?

Focke et al. 2010 - Bingo!

Alexander Lerchl @, Samstag, 24.07.2010, 22:37 (vor 5271 Tagen) @ Kuddel

Was mir nur auffällt, daß "intermittent sham" und "continuous sham" zumindest in der 2. und 3. Graphik erhebliche Differenzen zeigen, die nahezu in der Größenordnung der "exposed" Ergebnisse liegen.

Müßte "sham" nicht gleich "sham" sein, egal ob "intermittent" oder "exposed" ?

Yep! Der Kandidat hat 1000 Punkte! Exzellente Beobachtung!

Die EINZIGEN Werte, die aus der Reihe tanzen, sind ausgerechnet die der NICHT-exponierten ("sham") Zellen in ALLEN DREI Zell-Linien der INTERMITTENT EXPOSURE Gruppe. Ohne Ausnahme!

Mit anderen Worten: Die "signifikanten" Effekte sind sehr wahrscheinlich, mMn, imho, wie auch immer, Folge einer sehr eigentümlichen Eigenschaft der scheinexponierten Zellen der "intermittent" Gruppen (in allen Zell-Linien!), besonders niedrige Werte der Tail Factors zu produzieren, nicht aber Folge der Exposition.

--
"Ein Esoteriker kann in fünf Minuten mehr Unsinn behaupten, als ein Wissenschaftler in seinem ganzen Leben widerlegen kann." Vince Ebert

Focke et al. 2010 - Bingo!

Kuddel, Samstag, 24.07.2010, 23:41 (vor 5271 Tagen) @ Alexander Lerchl

Meines Erachtens sprechen die erheblichen Streungen der Tail's allein schon bei den SHAM-Expositionen nicht gerade für einen geeignetes Studiendesign, um schwache Effekte durch Exposition zu finden.

Die "Meßgenauigkeit" ist einfach nicht ausreichend.

Ist fast so, als ob man beim Vergleich 2er Schrot-Gewehre herausfinden möchte, welches "genauer" die Mitte einer Zielscheibe trifft.

Oder als wenn man beim Hausbau nur mit Augenmaß und nicht mit einem Zollstock arbeitet.

Könnte es sein, daß Alterung oder "nicht artgerechte Haltung" der Zellinien während der Versuchsdurchführung für diese Unterschiede zwischen "continuous sham und "intermittent sham" verantwortlich ist ?

Oder eben die kaum vermeidbaren Streuungen der Stromdichte innerhalb der Probe bei der Elektrophorese ?

Focke et al. 2010 - hartes Brot

Alexander Lerchl @, Sonntag, 25.07.2010, 16:45 (vor 5270 Tagen) @ Kuddel

Meines Erachtens sprechen die erheblichen Streungen der Tail's allein schon bei den SHAM-Expositionen nicht gerade für einen geeignetes Studiendesign, um schwache Effekte durch Exposition zu finden.

Die "Meßgenauigkeit" ist einfach nicht ausreichend.

Ist fast so, als ob man beim Vergleich 2er Schrot-Gewehre herausfinden möchte, welches "genauer" die Mitte einer Zielscheibe trifft.

Oder als wenn man beim Hausbau nur mit Augenmaß und nicht mit einem Zollstock arbeitet.

Die Streuungen der Werte erscheinen mir wesentlich plausibler ("biologischer") als die seinerzeit von der Wiener Arbeitsgruppe berichteten (in der Größenordnung von unter 1% bis 3% vom Mittelwert). Die von Focke et al. berichteten Abweichungen sind dagegen um ein Vielfaches höher, nämlich zwischen 29% und 53%. Allein dies zeigt eindeutig (zusammen mit den anderen Replikationsversuchen von Scarfi und Speit), dass die von den Wienern publizierten Ergebnisse völlig aus dem Rahmen fallen.

Das Problem liegt aber woanders. Die Kernaussage der Publikation von Focke et al. ist doch, dass gepulste Exposition Schäden verursacht, kontinuierliche hingegen nicht (Zitat aus dem Abstract: ("Our data confirm that intermittent (but not continuous) exposure of human primary fibroblasts to a 50 Hz EMF at a flux density of 1 mT induces a slight but significant increase of DNA fragmentation in the Comet assay, .."). Nur wurde dies, mMn völlig unverständlich, mit höchst unterschiedlichen Anzahlen von Einzelexperimenten belegt. Beispiele: ES-1 Zellen wurden 11-mal auf Effekte durch gepulste Exposition untersucht, hingegen nur 4-mal auf kontinuierliche Exposition; HR-1d Zellen wurden sogar 13-mal auf Effekte von gepulster, hingegen nur 3-mal auf die von kontinuierlicher Exposition getestet. Vollkommen ohne Wertung kann also festgestellt werden, dass die Autoren wesentlich mehr Mühe auf die Erforschung der Effekte gepulster Exposition als auf die der kontinuierlichen Exposition gelegt haben. Warum das so ist, wird in der Publikation allerdings nicht erwähnt.

Damit im Zusammenhang steht ein weiteres, leider für Laien etwas kompliziertes Problem. Die Unterschiede zwischen exponierten und scheinexponierten Zellen wurden jeweils mit dem "gepaarten" t-Test durchgeführt. Dieser Test reagiert auf Unterschiede wesentlich empfindlicher als der "ungepaarte" t-Test, da Streuungen keine so große Rolle spielen.

Ich will mal versuchen, das an einem Beispiel zu verdeutlichen (das allerdings durchaus real ist). Es soll die Wirksamkeit eines neuen Medikamentes zur Senkung von Cholesterin im Blut getestet werden, als Vergleich ist ein herkömmliches Medikament zu testen. Die Probanden werden in zwei Gruppen eingeteilt und erhalten entweder das neue oder das alte Präparat. Ihre Cholesterinwerte werden vor und nach Ende der Therapie bestimmt. Natürlich sind die Cholesterinwerte der Probanden unterschiedlich. Aus diesem Grund wird der Effekt der Behandlung mit einem "gepaarten" t-Test untersucht, d.h. jeder Cholesterinwert "vor" und "nach" Behandlung entstammt ein und derselben Person. Man spricht daher von "abhängigen" Proben.

Wenn hingegen die Cholesterinwerte von zwei Gruppen Menschen verglichen werden sollen, die aus unterschiedlichen Regionen stammen (z.B. Münster und Osnabrück), scheidet ein gepaarter Test natürlich aus, da es sich um unterschiedliche Personen handelt.

Der Witz ist nun, dass die Unterschiede in den Comet-Assays (Tailfactors, siehe Ursprungsposting) mit dem gepaarten t-Test durchgeführt wurde, obwohl es sich eindeutig um unterschiedliche Zellen in den beiden Gruppen (exponiert bzw. scheinexponiert) handelte.

Spielt es denn nun eine Rolle, welcher Test durchgeführt wird, oder ist das nur eine akademische Frage? Es spielt eine große Rolle: Wenn man den (mMn korrekten,) ungepaarten t-Test durchführt, verschwinden die hochsignifikanten Unterschiede komplett! Lediglich bei den HR-1d Zellen bleibt ein schwach signifikanter Unterschied (p<0.05). Aber: Der Wert der scheinexponierten HR-1d Zellen beträgt bei der gepulsten Exposition 7.1, der Wert der scheinexponierten Zellen bei der ungepulsten Exposition hingegen beträgt 11.5 und ist vom ersten Wert (7.1) signifikant verschieden. Auch wiederum ohne Wertung kann festgestellt werden, dass der verbleibende "signifikante" Effekt vermutlich (mit)bedingt wird durch den ungewöhnlich geringen Wert bei der Scheinexposition, die mit Abstand die geringsten Werte unter allen Bedingungen bei diesen Zellen sind.

Hartes Brot, zugegeben. Aber nahrhaft.

--
"Ein Esoteriker kann in fünf Minuten mehr Unsinn behaupten, als ein Wissenschaftler in seinem ganzen Leben widerlegen kann." Vince Ebert

Focke et al. 2010 - hartes Brot

dlsasv @, Samstag, 31.07.2010, 18:49 (vor 5264 Tagen) @ Alexander Lerchl

Spielt es denn nun eine Rolle, welcher Test durchgeführt wird, oder ist das nur eine akademische Frage? Es spielt eine große Rolle: Wenn man den (mMn korrekten,) ungepaarten t-Test durchführt, verschwinden die hochsignifikanten Unterschiede komplett! Lediglich bei den HR-1d Zellen bleibt ein schwach signifikanter Unterschied (p<0.05).

Der ungepaarte t-Test ist korrekt, wenn die Stichproben unabhängig sind (und noch ein paar andere Voraussetzungen erfüllt sind), aber im Allgemeinen falsch, wenn sie es nicht sind. Tatsächlich sind die Tailfaktoren befeldeter und unbefeldeter Proben abhängig voneinander, daher ist der ungepaarte t-Test hier nicht korrekt.

Focke et al. 2010 - Bingo!

dlsasv @, Samstag, 31.07.2010, 18:35 (vor 5264 Tagen) @ Kuddel

Meines Erachtens sprechen die erheblichen Streungen der Tail's allein schon bei den SHAM-Expositionen nicht gerade für einen geeignetes Studiendesign, um schwache Effekte durch Exposition zu finden.

Die "Meßgenauigkeit" ist einfach nicht ausreichend.

Ist fast so, als ob man beim Vergleich 2er Schrot-Gewehre herausfinden möchte, welches "genauer" die Mitte einer Zielscheibe trifft.

Oder als wenn man beim Hausbau nur mit Augenmaß und nicht mit einem Zollstock arbeitet.

Ja, so sieht es aus, wenn man diesen Plot anschaut:

[image]

Die Behauptung "p<0.001", dass also ein Unterschied dieser Größe zufällig (unter der Annahme, dass das Feld keinen Effekt hat) nur in weniger als 0,1% der Fälle vorkommen soll, scheint bei sich so weit überlappenden Punktewolken nicht nachvollziehbar.

Was man dabei allerdings noch nicht berücksichtigt hat ist, dass jedes der 11 (nicht 22) Einzelexperimente (zu intermittent sham und intermittent exposed) daraus bestand, jeweils eine Probe scheinbar und eine andere tatsächlich zu exponieren. Man könnte die Daten (der linken beiden Gruppen) daher auch so darstellen:

[image]

Offenbar korrelieren die Tailfaktoren der befeldeten Proben mit denen der unbefeldeten Proben aus demselben Versuch. Das ist auch mehr oder minder zu erwarten und wird daher kommen, dass es Einflussfaktoren gab, die von Versuch zu Versuch variierten, sich aber auf die befeldeten und unbefeldeten Proben desselben Versuchs etwa gleichermaßen auswirkten (Tagesform des Experimentators, des Auswerters, der Zellen, ... o.Ä.). Den Einfluss solcher Faktoren kann man eliminieren, indem man anstatt der absoluten Tailfaktoren z.B. die Differenzen der Tailfaktor-Werte der befeldeten zu denen der entsprechenden unbefeldeten Proben betrachtet. Dann ergibt sich die Behauptung "p<0.001".

Focke et al. 2010 – eher keine DNA-Schädigung

H. Lamarr @, München, Montag, 17.02.2020, 21:54 (vor 1776 Tagen) @ Alexander Lerchl

Die Studie von Focke et al. (2010) wird vielfach als Beleg für die Reproduzierbarkeit der REFLEX-Ergebnisse im NF-Bereich (50 Hz) angesehen.

Franz Adlkofer schrieb 2011:

Um die Wiener Beiträge zum REFLEX-Projekt weiter in Zweifel ziehen zu können, verweisen Prof. Lerchl und sein Koautor stattdessen auf die Publikation von Scarfi et al.54, die sich mit niederfrequenten elektromagnetischen Feldern von 50 Hz beschäftigten und keine gentoxische Wirkung feststellen konnten. Auch diese Frage ist inzwischen durch die Publikation von Focke et al.5, die Ende 2009 ebenfalls in Mutation Research erschienen ist und nicht erwähnt wird, eindeutig beantwortet: Auch niederfrequente elektromagnetische Felder von 50 Hz verfügen – wie in Wien fest-
gestellt - über ein gentoxisches Potenzial.

Doch so eindeutig wie Adlkofer es darstellt, sehen Focke et al., 2010, die Ergebnisse ihres Replikationsversuchs keineswegs. Im Gegenteil, sie bezweifeln ausdrücklich, dass ihre Beobachtungen auf DNA-Schädigungen infolge starker NF-Magnetfeldeinwirkung beruhen. Im Abstract der Studie heißt es dazu:

[...] Hence, ELF-EMF induced effects in the Comet assay are reproducible under specific conditions and can be explained by minor disturbances in S-phase processes and occasional triggering of apoptosis rather than by the generation of DNA damage.

Übersetzung: Daher sind NF-induzierte Effekte im Comet-Assay unter bestimmten Bedingungen reproduzierbar. Diese Effekte lassen sich eher mit geringfügigen Störungen in S-Phasen-Prozessen und gelegentlichem Auslösen der Apoptose erklären als mit einer DNA-Schädigung.

--
Jedes komplexe Problem hat eine Lösung, die einfach, naheliegend, plausibel – und falsch ist.
– Frei nach Henry Louis Mencken (1880–1956) –

Tags:
DNA-Schäden, NF, Wien, Comet-Assay, Focke, Replikatio

RSS-Feed dieser Diskussion

powered by my little forum