Impact Factor in der Kritik (Forschung)

H. Lamarr , München, Sonntag, 02.07.2017, 16:53 (vor 2700 Tagen) @ H. Lamarr

Im Spiegel-Interview kritisiert Nobelpreisträger Randy Schekman (68) die gängige Praxis, die Qualität einer wissenschaftlichen Zeitschrift allein an einer einzigen Maßzahl, dem "Impact Factor" fest zu machen.

Schekman: Er hat den Nobelpreis bekommen, weil seine Artikel extrem wichtig waren. Es war solide Wissenschaft. Das hat die Jury erkannt. Wenn man sich anschaut, wie oft diese Artikel in den ersten paar Jahren zitiert wurden, kommt man auf niedrige Zahlen. Sie hatten keinen Einfluss auf den sogenannten Impact Factor, den ich ohnehin für untauglich halte, Qualität zu messen.

SPIEGEL ONLINE: Der Impact Factor erfasst, wie häufig Artikel eines Magazins zitiert werden - und die Magazine werben damit. Macht er wissenschaftliche Bedeutung nicht damit messbar?

Schekman: Der Impact Factor ist eine komplett falsche Messmethode. Aus mehreren Gründen. Zuerst: Die Zahl wird über einen Zeitraum von nur zwei Jahren ermittelt. Zwei Jahre - das ist ein in der Wissenschaft lächerlich kurzer Zeitraum. Deshalb wollen die Magazine besonders schillernde Artikel veröffentlichen. Zweitens: Die Zahl ist ein ganz normaler Mittelwert über alle Zitierungen sämtlicher Artikel eines Fachblatts. Sortiert man die Artikel nach der Anzahl der Zitate, erhält man einige wenige mit besonders vielen und sehr viele mit sehr wenigen Zitaten.

SPIEGEL ONLINE: Aber das ist doch bei allen Magazinen so. Wo ist das Problem?

Schekman: Ein Mittelwert wird durch Ausreißer, also wenige Artikel mit sehr vielen Zitierungen, nach oben gedrückt. Und diese Ausreißer sind bei den namhaften Magazinen besonders häufig. Ich habe Thomson Reuters, die den Impact Factor ermittelt, vorgeschlagen, statt des Durchschnitts den Median zu berechnen. Das wäre eine viel genauere Beschreibung.

[Hintergrund: Der Mittelwert der Zahlen 1, 2, 2, 5, 20 ist (1+2+2+5+20)/5 = 6. Der Median ist der Wert, der genau in der Mitte steht, sortiert man die Zahlen der Größe nach. Im Beispiel ist das die Zahl 2. Ändert sich der größte Wert der fünf Zahlen, erhöht sich der Mittelwert - der Median aber bleibt gleich.]

SPIEGEL ONLINE: Und wie war die Reaktion?

Schekman: Thomson Reuters will das nicht ändern. Mir haben sie gesagt, dass sie das mit dem Median ausprobiert hätten. Aber dabei kam heraus, dass alle Journals dann auf einmal ziemlich nahe beieinanderlagen. Ganz anders als beim Mittelwert, wo es deutlich größere Unterschiede zwischen den Magazinen gibt. Die Leute möchten lieber, dass größere Differenzen da sind. Immerhin sehe ich zumindest bei "Nature" ein gewisses Einsehen, der Impact Factor wird nicht mehr so offensiv im Marketing verwendet. Aber Regierungsbeamte, Universitätschefs - sie alle wollen Zahlen, wenn sie die Arbeit von Wissenschaftlern bewerten. Und deshalb zählt ein "Nature"-Paper so viel.

SPIEGEL ONLINE: Der Impact Factor war eine wichtige Inspiration für die Google-Gründer. Der Page-Rank einer Webseite fußt auf der Anzahl der Links, die auf diese Seite zeigen. Zumindest bei Google scheint die Methode ja ganz gut zu funktionieren….

Schekman: Ja, aber der Algorithmus der Suchmaschine ist auch viel ausgefeilter und berücksichtigt auch eine Vielzahl weiterer Faktoren. Würde Google den Impact Factor von Magazinen berechnen, würde ich diesem Ranking viel eher trauen als dem aktuellen von Thomson Reuters.

SPIEGEL ONLINE: Was schlagen Sie als Alternative vor, um die Arbeit von Wissenschaftlern zu bewerten?

Schekman: Über jeden Forscher sollte es einen kurzen, einseitigen Bericht geben. Woran hat er gearbeitet, was hat er entdeckt? Das könnten auch Gutachter schnell erfassen und damit besser einschätzen, was jemand geleistet hat.

--
Jedes komplexe Problem hat eine Lösung, die einfach, naheliegend, plausibel – und falsch ist.
– Frei nach Henry Louis Mencken (1880–1956) –

Tags:
Forschung, Wissenschaftler, Impact Factor, Ranking, Interpretation, Beschreibung