Wer nur den neuen Kommentar von Ronald Melnick und Mitautoren liest, kann leicht den Eindruck gewinnen, methodische Schwächen der japanischen und koreanischen NTP-Replikationsstudien würden erst jetzt sichtbar. Doch der Eindruck täuscht. Denn der Abgleich mit den Originalarbeiten zeichnet ein ganz anderes Bild. Und das schauen wir uns jetzt mal an.

Wenn einer die NTP-Studie verteidigen möchte, dann wohl Ronald Melnick. Er gehörte zu ihren maßgeblichen Wegbereitern und setzte sich über viele Jahre für ihre Durchführung ein. Sein kritischer Kommentar (Volltext) zu der japanischen und der koreanischen Replikationsstudie überrascht deshalb nicht.

Die zentrale Kritik von Melnick et al.

Im Mittelpunkt des Kommentars stehen drei Vorwürfe: Die Replikationsstudien hätten mit nur einer Expositionsstufe gearbeitet, die Tierzahl sei für seltene Tumoren zu gering gewesen und dadurch habe die statistische Aussagekraft gegenüber der NTP-Studie erheblich gelitten. Aus Sicht von Melnick et al. seien die Studien deshalb ungeeignet, die positiven NTP-Befunde zu bestätigen oder zu widerlegen.

Diese Kritik wirkt zunächst überzeugend. Wer ausschließlich den Kommentar liest, kann leicht den Eindruck gewinnen, die japanischen und koreanischen Autoren hätten wesentliche Schwächen ihres Studiendesigns übersehen oder zumindest nicht ausreichend berücksichtigt.

Ein Blick in die Originalarbeiten

Dieser Eindruck bestätigt sich jedoch nicht. Die japanischen Autoren schreiben ausdrücklich, dass die geringere Tierzahl und die Beschränkung auf eine einzige Expositionsstufe die statistische Aussagekraft gegenüber der mehrstufigen NTP-Studie zwangsläufig einschränken. Gleichzeitig stellen sie klar, dass ihre Untersuchung keine quantitative Replikation der NTP-Studie sein sollte. Ziel der Studie war vielmehr zu untersuchen, ob sich unter den gewählten Versuchsbedingungen überhaupt eine kanzerogene Wirkung nachweisen lässt. Kleine Restrisiken könnten mit diesem Studiendesign nicht vollständig ausgeschlossen werden.

Noch deutlicher wird die koreanische Arbeitsgruppe. Dort wird eingeräumt, dass 70 Tiere pro Gruppe für seltene Tumoren nur eine begrenzte statistische Aussagekraft besitzen. Herz-Schwannome sind sehr seltene Tumoren. Schon geringe Unterschiede in der Zahl der beobachteten Fälle können deshalb die statistische Bewertung erheblich beeinflussen. Die Autoren weisen ausdrücklich darauf hin, dass mit 70 Tieren pro Gruppe kleinere Veränderungen der Tumorinzidenz nur schwer nachweisbar sind. Sie weisen ausdrücklich darauf hin, dass beispielsweise etwa 20-prozentige Erhöhungen von Herz-Schwannomen oder malignen Gliomen mit dieser Gruppengröße kaum zu erkennen wären. Sie empfehlen deshalb eine vorsichtige Interpretation dieser Tumorbefunde und sehen weiteren Forschungsbedarf.

Neue Kritik oder neue Bewertung?

Damit verändert sich die Einordnung des Kommentars von Melnick et al. erheblich.

Die wesentlichen Limitationen der beiden Replikationsstudien werden mit dem Kommentar nicht erstmals aufgedeckt. Sie werden von den Studienautoren vielmehr selbst offen beschrieben und begründet. Neu ist, dass Melnick et al. aus denselben Voraussetzungen deutlich weitergehende Schlussfolgerungen ziehen und die Aussagekraft der beiden Replikationsstudien erheblich geringer bewerten.

Der eigentliche wissenschaftliche Dissens liegt deshalb nicht in den Tatsachen, sondern in deren Interpretation. Während die japanische und die koreanische Arbeitsgruppe ihre Untersuchungen ausdrücklich als OECD-konforme Standard-Kanzerogenitätsstudien verstehen, beurteilen Melnick et al. sie ausschließlich unter dem Gesichtspunkt einer möglichst sensitiven Replikation der NTP-Studie.

Was der Kommentar tatsächlich neu beiträgt

Ganz ohne neue Aspekte ist der Kommentar allerdings nicht. Er enthält erstmals eine ausführliche statistische Argumentation zur Frage der Teststärke ("Power") und versucht abzuschätzen, wie viele Tiere erforderlich gewesen wären, um die in der NTP-Studie beobachteten seltenen Tumoren mit hoher Wahrscheinlichkeit nachweisen zu können. Melnick et al. errechnen, dass für eine Teststärke (Power) von 80 Prozent etwa 258 Tiere pro Gruppe, für eine Power von 90 Prozent sogar 323 Tiere pro Gruppe erforderlich gewesen wären. Über diese Zahlen lässt es sich wissenschaftlich diskutieren.

Fazit

Der Kommentar von Melnick et al. ist keine Demontage der japanischen und koreanischen Replikationsstudien. Er ist vielmehr eine engagierte Neuinterpretation ihres Studiendesigns. Die meisten der als gravierend dargestellten Einschränkungen werden von den Autoren der beiden Originalarbeiten bereits selbst offen benannt und begründet. Wer die Kontroverse sachgerecht beurteilen möchte, sollte deshalb nicht nur den Kommentar lesen, sondern auch die beiden Originalstudien. Erst dann wird deutlich, dass sich die Debatte nicht um verschwiegene Limitationen dreht, sondern um die Frage, welche Anforderungen eine Replikationsstudie überhaupt erfüllen muss.

Hintergrund
Japanische NTP-Replikation
Koreanische NTP-Replikation