Von Herrn Selk habe ich inzwischen den Prüfbericht bekommen, den seine Pre-Peer-Review für Diem et al., 2005, ausgeworfen hat. Diesen Bericht werde ich von ChatGPT bewerten lassen und die Bewertung von einer zweiten KI (Claude) verifizieren lassen.

Zuerst habe ich den Prüfbericht ChatGPT übergeben und die KI um eine fachliche Bewertung gebeten. Dann habe ich diese Prozedur mit der KI Claude wiederholt, also mit der KI, die an der Entwicklung der Pre-Peer-Review beteiligt war. Lesen Sie hier und jetzt, wie die KI Claude ihr eigenes Baby bewertet:

Das ist ein bemerkenswerter Text – gut strukturiert, mit echten Stärken, aber auch mit einigen methodischen und argumentativen Schwächen, über die man ehrlich sein sollte.

Was gut funktioniert

Der stärkste Punkt ist Kriterium 1. Die Photonenenergie-Rechnung ist korrekt und vernichtend: 7,4 × 10⁻⁶ eV gegen 1–5 eV für Bindungsenergien ist ein Unterschied von sechs Größenordnungen. Das ist kein Randeinwand – das ist ein fundamentales physikalisches Problem, das tatsächlich hätte auffallen müssen. Dass es 2005 nicht aufgefallen ist, sagt etwas über das Begutachtungsverfahren aus.

Kriterium 3 (statistische Integrität) steht auf solidem Boden, weil es sich auf nachprüfbare Publikationen stützt – die Lerchl-Analyse ist real und peer-reviewed.

Kriterium 4 (Interessenkonflikte) ist inhaltlich gut belegt, aber der Ton kippt hier von Analyse in Anklage – mehr dazu unten.

Methodische Schwächen

Das Scoring-System ist nicht nachvollziehbar kalibriert. Warum −100 für COI, aber nur −10 für fehlende klinische Relevanz? Die Zahlen erwecken den Eindruck von Präzision, sind aber letztlich willkürlich gesetzt. Ein Trust Index von 3/100 klingt exakt, ist es aber nicht.

Das Framework nennt sich "AI-assisted", behandelt KI aber im Wesentlichen als Textgenerator für vorgefertigte Kriterien. Das ist nicht falsch – aber der Name verspricht mehr als die Methode hält. Echte automatisierte Anwendung auf Manuskripte würde Zugang zu Rohdaten, strukturierten Metadaten und standardisierten Einreichungsformaten erfordern, die derzeit nicht existieren.

Kriterium 2 (Schwelleneffekt) ist das schwächste. Die Argumentation – SAR-Inhomogenität von 30% widerspricht einem scharfen Schwellenwert – ist prinzipiell interessant, aber nicht ausgearbeitet. Biologische Dosisantworten können komplex sein, und der Einwand würde eine detailliertere Modellierung erfordern, um wirklich zu überzeugen.

Ein grundsätzlicheres Problem

Das Framework wird als präventives Instrument vorgestellt, aber die Anwendung auf Diem et al. ist retrospektiv und hat einen erkennbar adversarialen Charakter [siehe Nachfrage unten; Anm. Postingautor]. Der Text ist keine neutrale Methodendemonstration – er ist eine Retraktionsforderung, verkleidet als Framework-Evaluation. Das ist nicht unbedingt falsch, sollte aber transparent gemacht werden.

Die Verknüpfung von Kriterium 4 (Tabaklobby) mit dem Mobiltelefonpapier ist historisch interessant, aber argumentativ heikel. Interessenkonflikt erklärt Motivation, ersetzt aber keine wissenschaftliche Widerlegung. Die Physik in Kriterium 1 reicht allein für die Argumentation – die Tabakverbindung fügt Evidenz über die Person hinzu, nicht über das Experiment.

Fazit

Als Argumentation für eine Retraktion ist der Text stärker als die meisten Post-publication-Kommentare, die man sieht. Als Vorschlag für ein allgemeines Framework ist er ein interessanter Ausgangspunkt, aber noch nicht ausreichend formalisiert, um generalisierbar zu sein. Die physikalische Plausibilitätsprüfung als primären Filter zu positionieren – das ist der Kern, der tatsächlich verteidigt werden kann.

Nachfrage Postingautor

Was bitte ist ein "adversarialer Charakter"?

Claude beantwortete meine Frage wie folgt:

Ein schlechtes Wort von mir – Fachjargon, der nichts verdient.

Ich meinte: Der Text tut so, als würde er ein neutrales Prüfwerkzeug vorführen, hat aber von Anfang an ein Ziel: dieses eine Paper zu Fall zu bringen. Das Ergebnis stand vor der Analyse fest. Das ist keine neutrale Methodendemonstration, sondern eine Anklage in Framework-Verkleidung.

Das muss nicht falsch sein – wenn das Paper tatsächlich schlecht ist, kann man das auch offen so sagen. Aber die Verpackung als objektives Bewertungssystem ist dann irreführend.