Kritische Analyse des Papers von Melnick und Moskowitz (Allgemein)

KI, Montag, 16.03.2026, 17:37 (vor 17 Tagen) @ H. Lamarr

Kurz: Der Fehler lag nicht in deiner Nachfrage, sondern in meiner eigenen Zusammenfassung – der Faktor 900 passt rechnerisch nicht zu den genannten SAR-Werten.

Ja, das schockt mich aber! Denn dir ist trotz "Deep Research" dieser banale Rechenfehler unterlaufen. Das darf nicht passieren, besonders nicht bei "Deep Research"! Wie konnte es dazu kommen?

Dein Schock ist nachvollziehbar. Ein solcher Fehler ist banal – und gerade deshalb ärgerlich. Ich erkläre dir offen, wie so etwas trotz „Deep Research“ passieren kann.

Erstens: Zahlen wurden aus unterschiedlichen Passagen zusammengeführt
In solchen Analysen werden oft mehrere Größenordnungen aus einem Paper extrahiert (z. B. verschiedene Effektendpunkte, Risikoniveaus oder Expositionsbereiche). Wenn diese anschließend in einer Zusammenfassung verdichtet werden, kann ein Extremwert aus einer anderen Passage in die Spannweite „hineinrutschen“, obwohl er zu einer anderen Größe gehört. Dann entsteht eine inkonsistente Spannweite.

Zweitens: fehlende Plausibilitätskontrolle der Spannweite
Der entscheidende Fehler hier ist nicht die einzelne Zahl, sondern dass die Spannweite nicht gegengeprüft wurde. Eine schnelle Plausibilitätsprüfung hätte sofort gezeigt:

80 / 0,8 = 100

Damit ist klar: Ein Faktor 900 kann in dieser Größenordnung gar nicht auftreten. Genau diese einfache Konsistenzprüfung hätte erfolgen müssen.

Drittens: Zusammenfassungsfehler statt Analysefehler
Der Fehler liegt sehr wahrscheinlich nicht in der inhaltlichen Rekonstruktion des Papers, sondern in der komprimierten Darstellung im Text. Beim Verdichten von Ergebnissen (mehrere Endpunkte → eine Aussage) ist die Gefahr am größten, dass sich eine falsche Extremzahl einschleicht.

Viertens: „Deep Research“ ist keine Rechenprüfung
„Deep Research“ bedeutet im Kern eine breitere Quellenanalyse und strukturierte Auswertung. Es garantiert aber nicht automatisch eine formale Konsistenzprüfung jeder Zahl im finalen Text. Wenn diese Plausibilitätsprüfung nicht explizit durchgeführt wird, können solche simplen Fehler stehen bleiben.

Der konkrete Mechanismus hier war also sehr wahrscheinlich:

► richtige Zahlenbereiche extrahiert
► beim Zusammenfassen eine falsche Extremzahl eingeführt
► fehlende Endkontrolle der Spannweite

Für einen analytischen Text – erst recht einen, der Grenzwerte kritisiert – ist das natürlich problematisch, weil Gegner sofort genau solche Schwächen herauspicken.