Nutzen Autoren große Sprachmodelle (LLMs), um KI-Forschungsarbeiten zu verfassen? Lagern Gutachter das Verfassen ihrer Gutachten zu diesen Arbeiten an generative KI-Tools aus? Um dies herauszufinden, haben wir alle 19.000 Arbeiten und 70.000 Gutachten der International Conference on Learning Representations analysiert, einer der wichtigsten und renommiertesten Publikationsplattformen für KI-Forschung. Dank OpenReview und dem öffentlichen Begutachtungsprozess der ICLR wurden alle Artikel und ihre Rezensionen online öffentlich zugänglich gemacht, und dieser offene Begutachtungsprozess ermöglichte diese Analyse.
Wir haben alle Ergebnisse unter iclr.pangram.com öffentlich zugänglich gemacht.
Nun, zum einen wurde uns ein Kopfgeld angeboten!
Graham Neubigs Tweet, in dem er eine Prämie für die Analyse von ICLR-Beiträgen aussetzt
Ganz im Ernst: Viele Autoren und Gutachter der ICLR haben Fälle von eklatantem wissenschaftlichem Fehlverhalten im Zusammenhang mit KI festgestellt, wie zum Beispiel eine von einem großen Sprachmodell (LLM) generierte Arbeit mit völlig erfundenen Quellenangaben, und viele Autoren berichten, dass sie vollständig von KI generierte Gutachten erhalten haben.
Ein Autor berichtete sogar, dass ein Gutachter in seinem Peer-Review 40 von einer KI generierte Fragen gestellt habe!
Wir wollten das Ausmaß dieses Problems insgesamt erfassen: Handelt es sich bei diesen Beispielen für Fehlverhalten um Einzelfälle oder deuten sie auf ein größeres Muster hin? Deshalb haben wir Grahams Angebot angenommen!
Die ICLR verfügt über klare und aussagekräftige Richtlinien dazu, was bei der Verwendung von LLM in Beiträgen und Rezensionen erlaubt und was nicht erlaubt ist.
Richtlinie 1. Jede Verwendung eines LLM muss offengelegt werden, gemäß den Bestimmungen des Ethikkodex, wonach „alle Beiträge zur Forschung gewürdigt werden müssen“ und die Mitwirkenden „darauf vertrauen können sollten, … für ihre Arbeit Anerkennung zu erhalten“.
Richtlinie 2. Die Autoren und Gutachter von ICLR tragen die letztendliche Verantwortung für ihre Beiträge und müssen sich dabei an den Ethikkodex halten, der besagt, dass „Forscher nicht absichtlich falsche oder irreführende Behauptungen aufstellen, Daten erfinden oder fälschen oder Ergebnisse falsch darstellen dürfen“.
Die ICLR hat zudem Richtlinien herausgegeben, die Autoren bei der Verwendung von LLMs in ihren Beiträgen und Rezensionen beachten sollten. Zusammenfassend lässt sich sagen:
Wir führen diese Studie also nicht durch, um einzelne Verstöße anzuprangern – schließlich sind LLMs sowohl bei der Einreichung von Artikeln als auch im Peer-Review-Prozess tatsächlich zulässig. Vielmehr möchten wir die Aufmerksamkeit auf den Umfang des KI-Einsatzes in den Artikeln und im Peer-Review-Prozess lenken und darauf hinweisen, dass vollständig KI-generierte Gutachten (die in der Tat wahrscheinlich Verstöße gegen den Ethikkodex darstellen) ein weitaus verbreiteteres Problem sind, als vielen bewusst ist.
Zunächst haben wir alle PDF-Dateien der ICLR-Beiträge über die OpenReview-API heruntergeladen. Außerdem haben wir alle Notizen heruntergeladen, wodurch wir die Begutachtung extrahieren konnten.
Wir stellten fest, dass die Verwendung eines herkömmlichen PDF-Parsers wie PyMuPDF für die ICLR-Beiträge unzureichend war, da Zeilennummern, Bilder und Tabellen oft nicht korrekt verarbeitet wurden. Um den Haupttext des Artikels zu extrahieren, haben wir daher Mistral OCR verwendet, um den Haupttext des Artikels aus der PDF-Datei als Markdown zu parsen. Da KI ebenfalls Markdown-Ausgaben bevorzugt, haben wir das Markdown anschließend als reinen Text neu formatiert, um Fehlalarme zu vermeiden, die allein durch die Formatierung verursacht wurden.
Anschließend haben wir Pangrams erweiterten Textklassifikator auf den analysierten Klartext aus diesen PDF-Dateien angewendet. Die erweiterte Version des Klassifikators unterteilt den Text zunächst in Segmente und wendet das KI-Erkennungsmodell auf jedes Segment einzeln an. Das Ergebnis ist ein Prozentsatz, der angibt, wie viele Segmente als KI-generierter Text identifiziert wurden. So lässt sich feststellen, ob ein Artikel vollständig von Menschen verfasst, vollständig KI-generiert oder gemischt ist, wobei einige Segmente positiv und andere negativ bewertet werden.
Außerdem haben wir die Peer-Reviews mithilfe unseres neuen EditLens-Modells auf den Einsatz von KI überprüft. EditLens kann nicht nur das Vorhandensein von KI erkennen, sondern auch beschreiben, in welchem Umfang KI am Bearbeitungsprozess beteiligt war. EditLens kann vorhersagen, dass ein Text in eine von fünf Kategorien fällt:
EditLens steht derzeit nur Kunden in unserer privaten Beta-Phase zur Verfügung, wird aber Anfang Dezember öffentlich zugänglich sein. Wir werden in den kommenden Wochen mehr zu diesem Modell berichten, doch in unserem Forschungsvorabdruck beschreiben wir seine Leistung als den neuesten Stand der Technik bei der Generierung von gemeinsam verfassten Texten. Bei internen Benchmarks weist es eine ähnliche Genauigkeit wie unser aktuelles Modell auf, wenn es als binärer Klassifikator bewertet wird, sowie eine außergewöhnlich niedrige Falsch-Positiv-Rate von 1 zu 10.000 bei vollständig von Menschen verfassten Texten.
In unserer früheren Analyse von Beiträgen zu KI-Konferenzen haben wir festgestellt, dass Pangram bei allen verfügbaren ICLR- und NeurIPS-Beiträgen, die vor 2022 veröffentlicht wurden, eine Falsch-Positiv-Rate von 0 % aufweist. Zwar sind einige dieser Beiträge tatsächlich im Trainingssatz enthalten, jedoch nicht alle; daher gehen wir davon aus, dass die tatsächliche Leistung von Pangram im Testsatz tatsächlich sehr nahe bei 0 Prozent liegt.
Wie sieht es mit Peer-Reviews aus? Wir haben ein zusätzliches Negativkontroll-Experiment durchgeführt, bei dem wir das neuere EditLens-Modell auf alle Peer-Reviews aus dem Jahr 2022 angewandt haben. Wir stellen eine Fehlerquote von etwa 1 zu 1.000 bei „Lightly Edited“ im Vergleich zu „Fully Human“, eine Fehlerquote von 1 zu 5.000 bei „Medium Edited“ im Vergleich zu „Fully Human“ und eine Fehlerquote von 1 zu 10.000 bei „Heavily Edited“ im Vergleich zu „Fully Human“ fest. Wir stellen keine Verwechslungen zwischen „Fully AI-generated“ und „Fully Human“ fest.
Verteilung der EditLens-Vorhersagen auf die ICLR-2022-Reviews (Negativkontrolle)
Für das Experiment selbst haben wir Pangram auf alle Artikel und Peer-Reviews angewendet. Hier sind die wichtigsten Ergebnisse:
Wir haben festgestellt, dass 21 % bzw. 15.899 Bewertungen vollständig von KI generiert wurden. Wir haben festgestellt, dass bei mehr als der Hälfte der Bewertungen in irgendeiner Form KI zum Einsatz kam, sei es durch KI-Bearbeitung, KI-Unterstützung oder vollständige KI-Generierung.
Verteilung der EditLens-Vorhersagen auf die ICLR-2026-Begutachtungen
Beiträge hingegen werden nach wie vor größtenteils von Menschen verfasst (61 % wurden überwiegend von Menschen verfasst). Wir haben jedoch mehrere hundert vollständig von KI generierte Beiträge gefunden, auch wenn diese offenbar Ausreißer darstellen, und 9 % der eingereichten Beiträge wiesen einen KI-Anteil von über 50 % auf. Als Vorbehalt sei angemerkt, dass einige vollständig von KI generierte Beiträge bereits im Vorabverfahren abgelehnt und aus OpenReview entfernt wurden, bevor wir Gelegenheit hatten, die Analyse durchzuführen.
Verteilung von KI-Inhalten in den eingereichten Beiträgen zur ICLR 2026
Wir haben in den Ergebnissen einige interessante Trends festgestellt, die Aufschluss darüber geben, wie KI sowohl bei der Einreichung von Beiträgen als auch bei der Begutachtung durch Fachkollegen eingesetzt wird und welche Auswirkungen diese Nutzung auf den Begutachtungsprozess selbst hat.
Im Gegensatz zu einer früheren Studie, die zeigte, dass große Sprachmodelle (LLMs) als Bewerter oft ihre eigenen Ergebnisse dem menschlichen Schreibstil vorziehen, stellen wir das Gegenteil fest: Je mehr KI-generierter Text in einer Einreichung enthalten ist, desto schlechter fallen die Bewertungen aus.
Durchschnittliche Bewertungsnoten nach KI-Inhalten in Fachartikeln
Dafür könnte es mehrere Gründe geben. Einer davon ist, dass eine Arbeit insgesamt umso weniger gut durchdacht und ausgearbeitet ist, je stärker KI darin zum Einsatz kommt. Es ist möglich, dass KI beim Verfassen wissenschaftlicher Texte häufiger dazu dient, Arbeit abzuschieben und Abkürzungen zu nehmen, anstatt als ergänzende Hilfe genutzt zu werden. Zudem könnte die Tatsache, dass vollständig KI-generierte Arbeiten niedrigere Bewertungen erhalten, darauf hindeuten, dass KI-generierte Forschung (noch) von geringer Qualität ist und keinen echten Beitrag zur Wissenschaft leistet.
Durchschnittliche Bewertungsergebnisse nach Grad der KI-Einbindung
Wir stellen fest: Je stärker KI in einer Begutachtung zum Tragen kommt, desto höher fällt die Bewertung aus. Das ist problematisch: Es bedeutet, dass die Gutachter ihre eigene Meinung nicht mithilfe der KI neu formulieren (wäre dies der Fall, würden wir erwarten, dass die Durchschnittsbewertung bei KI-Begutachtungen und menschlichen Begutachtungen gleich ausfällt), sondern dass sie die Beurteilung der Arbeit tatsächlich ebenfalls an die KI auslagern. Die Darstellung der Meinung des LLM als die tatsächliche eigene Meinung des Gutachters stellt einen klaren Verstoß gegen den Ethikkodex dar. Wir wissen, dass KI dazu neigt, schmeichlerisch zu sein, was bedeutet, dass sie Dinge sagt, die Menschen hören wollen und die ihnen gefallen, anstatt eine unvoreingenommene Meinung abzugeben: eine völlig unerwünschte Eigenschaft, wenn es um Peer-Reviews geht! Dies könnte die positive Verzerrung bei den Bewertungen in KI-Gutachten erklären.
Durchschnittliche Länge der Bewertungen nach Grad der KI-Einbindung
Früher galt eine längere Rezension als gut durchdacht und qualitativ hochwertig, doch im Zeitalter der LLMs kann dies oft das Gegenteil bedeuten. Von KI generierte Rezensionen sind länger und enthalten viel „Füllmaterial“. Laut Shaib et al. in einer Forschungsarbeit mit dem Titel „Measuring AI Slop in Text“ ist ein Merkmal von KI-„Slop“, dass er eine geringe Informationsdichte aufweist – was bedeutet, dass die KI viele Wörter verwendet, um inhaltlich nur sehr wenig auszudrücken.
Das lässt sich auch bei den Bewertungen durch große Sprachmodelle beobachten: Die KI verwendet zwar viele Wörter, liefert aber kein besonders informationsreiches Feedback. Wir halten dies für problematisch, da Autoren Zeit damit verschwenden müssen, eine lange Bewertung zu analysieren und nichtssagende Fragen zu beantworten, die eigentlich kaum hilfreiches Feedback enthalten. Erwähnenswert ist auch, dass die meisten Autoren wahrscheinlich ein großes Sprachmodell um eine Bewertung ihres Manuskripts bitten werden, bevor sie es tatsächlich einreichen. In diesen Fällen ist das Feedback einer LLM-Bewertung weitgehend überflüssig und wenig hilfreich, da der Autor die offensichtlichen Kritikpunkte, die ein LLM anbringen wird, bereits kennt.
Zwar ist die Falsch-Positiv-Rate von Pangram extrem niedrig, doch liegt sie nicht bei Null. Daher sind wir verpflichtet, die Zuverlässigkeit des Tools zu quantifizieren, bevor wir es empfehlen, um konkrete Entscheidungen über das Schicksal eines Artikels (wie z. B. eine Ablehnung im Vorabverfahren) zu treffen oder einen Gutachter zu sanktionieren. Wir haben die Falsch-Positiv-Rate innerhalb des Domänenbereichs anhand der oben beschriebenen Negativkontrollstudien direkt gemessen, aber wie sieht es bei anderen Datensätzen, Benchmarks und bei allgemeinen Texten aus?
In diesem früheren Blogbeitrag haben wir die Falsch-Positiv-Rate von Pangram dokumentiert.
Die Genauigkeit von Pangram wurde zudem durch mehrere Studien unabhängiger Dritter bestätigt, darunter aktuelle Untersuchungen der UChicago Booth School of Business und der American Association for Cancer Research.
Um diese Zahlen in einen Zusammenhang zu setzen: Die Falsch-Positiv-Rate von Pangram ist vergleichbar mit der Falsch-Positiv-Rate bei DNA-Tests oder Drogentests: Ein echtes Falsch-Positiv, bei dem ein vollständig von KI generierter Text mit einem vollständig von Menschen verfassten Text verwechselt wird, kommt zwar vor, ist aber äußerst selten.
Wenn Sie als Autor den Verdacht haben, eine von einer KI verfasste Rezension erhalten zu haben, gibt es einige verräterische Anzeichen, auf die Sie achten können. Zwar kann Pangram KI-generierten Text erkennen, doch lassen sich die Anzeichen für KI-Rezensionen auch mit bloßem Auge erkennen.
Wir haben einen allgemeinen Leitfaden zur Erkennung von KI-Schreibmustern mit bloßem Auge zusammengestellt, stellen jedoch fest, dass es einige zusätzliche Anzeichen und Merkmale gibt, die speziell bei KI-Peer-Reviews auftreten.
Einige der „Anzeichen“, die uns bei Peer-Reviews im Bereich KI auffallen:
Stärken: Klare Problemformulierung: Die Arbeit befasst sich mit einem realen Problem – VLM-basierte OCR-Systeme liefern bei beschädigten Dokumenten falsche Ergebnisse, ohne dabei Unsicherheit zu signalisieren, was schlimmer ist als bei klassischen OCR-Systemen, die offensichtlich verfälschte Ergebnisse liefern. Die Motivation ist gut dargelegt. Systematische Methodik: Der zweistufige Trainingsansatz (pseudo-labeled Cold Start + GRPO) ist sinnvoll und gut beschrieben. Das multiobjektive Belohnungsdesign mit Schutzmaßnahmen gegen Belohnungs-Hacking (insbesondere der Dämpfungsfaktor η für Längenabweichungen) zeugt von sorgfältiger Entwicklung.
Fragen: 1. Verallgemeinerung auf reale Beschädigungen: Können die Autoren den Ansatz anhand realer, beschädigter Dokumente (z. B. Datensätze historischer Dokumente) evaluieren, um zu zeigen, dass er über die spezifische Pipeline für synthetische Beschädigungen hinaus verallgemeinert werden kann? 2. Vergleich mit MinerU-Systemen: MinerU und MinerU2.5 [2,3] stellen aktuelle Fortschritte im Bereich der Dokumentenanalyse dar. Wie schneidet die vorgeschlagene Methode im Vergleich zu diesen Systemen bei Blur-OCR ab? Wenn diese Systeme keine Unsicherheitsschätzungen liefern können, lassen sie sich dann mit dem vorgeschlagenen Tagging-Ansatz kombinieren?
Oberflächliche Haarspalterei statt fundierter Analyse: KI-generierte Gutachten konzentrieren sich eher auf oberflächliche Aspekte als auf echte Bedenken hinsichtlich der wissenschaftlichen Integrität der Arbeit. Typische Kritikpunkte der KI sind beispielsweise die Forderung nach weiteren Ablationen, die den bereits vorgestellten sehr ähnlich sind, die Forderung nach einer Vergrößerung des Testdatensatzes oder einer Erhöhung der Anzahl der Kontrollen sowie die Bitte um weitere Erläuterungen oder Beispiele.
Viele Worte, die wenig aussagen: KI-Rezensionen weisen oft eine geringe Informationsdichte auf und verwenden eine umständliche Sprache, um Aussagen zu treffen, die sich prägnanter formulieren ließen. Diese Umständlichkeit bedeutet zusätzlichen Aufwand für Autoren, die sich durch langatmige Rezensionen arbeiten müssen, um die eigentlichen inhaltlichen Kritikpunkte herauszufiltern.
Anfang dieses Jahres veröffentlichten Forscher der UNIST in Korea ein Positionspapier, in dem sie einige der Gründe für den Qualitätsverlust im Peer-Review-Prozess darlegen. Da sich der Bereich der künstlichen Intelligenz immer weiter ausbreitet, zeigen sich nun allmählich Risse in der Ressourcenausstattung des Peer-Review-Systems. Für den explosionsartigen Anstieg der Anzahl an Fachartikeln steht einfach eine zu geringe Zahl qualifizierter Gutachter zur Verfügung.
Das größte Problem bei qualitativ minderwertigen, KI-generierten Artikeln ist, dass sie schlichtweg Zeit und Ressourcen verschwenden, die nur begrenzt zur Verfügung stehen. Unserer Analyse zufolge sind KI-generierte Artikel einfach nicht so gut wie von Menschen verfasste Artikel, und was noch problematischer ist: Sie können kostengünstig von unehrlichen Gutachtern und „Paper Mills“ erstellt werden, die nach dem „Spray-and-Pray“-Prinzip vorgehen (d. h. eine große Anzahl von Beiträgen bei einer Konferenz einreichen, in der Hoffnung, dass einer davon zufällig angenommen wird). Wenn KI-generierte Artikel das Peer-Review-System überschwemmen dürfen, wird die Qualität der Begutachtung weiter sinken, und die Gutachter werden weniger motiviert sein, da sie statt echter Forschungsarbeiten „Schrottartikel“ lesen müssen.
Zu verstehen, warum KI-generierte Rezensionen schädlich sein können, ist etwas differenzierter. Wir stimmen mit der ICLR überein, dass KI positiv als Hilfsmittel eingesetzt werden kann, um Gutachtern dabei zu helfen, ihre Ideen besser zu formulieren, insbesondere wenn Englisch nicht die Muttersprache des Gutachters ist. Darüber hinaus kann KI oft wirklich hilfreiches Feedback liefern, und es ist für Autoren oft produktiv, den Peer-Review-Prozess mit LLMs nachzustellen, um die LLMs dazu zu bringen, die Forschung zu kritisieren und Schwachstellen aufzudecken sowie Fehler und Irrtümer zu finden, die dem Autor ursprünglich vielleicht entgangen sind.
Es bleibt jedoch die Frage: Wenn KI hilfreiches Feedback liefern kann, warum sollten wir dann vollständig von KI generierte Bewertungen verbieten? Der Ökonom Alex Imas von der University of Chicago bringt den Kern des Problems in einem aktuellen Tweet auf den Punkt: Die Antwort hängt davon ab, ob wir menschliches Urteilsvermögen in die wissenschaftliche Begutachtung einbeziehen wollen.
Ein Tweet von Alex Imas zu KI-generierten Bewertungen
Wenn wir der Ansicht sind, dass aktuelle KI-Modelle ausreichen, um menschliches Urteilsvermögen vollständig zu ersetzen, dann sollten Konferenzen den gesamten Begutachtungsprozess einfach automatisieren – Beiträge durch ein LLM laufen lassen und automatisch Bewertungen vergeben. Wenn wir jedoch der Ansicht sind, dass menschliches Urteilsvermögen Teil des Prozesses bleiben sollte, dann müssen vollständig KI-generierte Inhalte sanktioniert werden. Imas identifiziert zwei zentrale Probleme: erstens ein Pooling-Gleichgewicht, bei dem KI-generierte Inhalte (die einfacher zu produzieren sind) das menschliche Urteilsvermögen innerhalb weniger Begutachtungszyklen schnell verdrängen werden; und zweitens ein Verifizierungsproblem, bei dem die Feststellung, ob eine KI-Begutachtung tatsächlich gut ist, denselben Aufwand erfordert wie die eigene Begutachtung des Artikels – wenn also LLMs bessere Begutachtungen generieren können als Menschen, warum dann nicht den gesamten Prozess automatisieren?
Meiner Meinung nach ergänzen menschliche Urteile die Bewertungen durch KI und bieten einen zusätzlichen Mehrwert. Menschen können oft Feedback geben, das außerhalb der üblichen Muster liegt und nicht sofort offensichtlich ist. Expertenmeinungen sind nützlicher als große Sprachmodelle (LLMs), da sie durch Erfahrung, Kontext und eine Perspektive geprägt sind, die im Laufe der Zeit verfeinert und weiterentwickelt wurde. LLMs sind zwar leistungsstark, doch ihren Bewertungen fehlt es oft an Geschmack und Urteilsvermögen, wodurch sie „flach“ wirken.
Vielleicht könnten Konferenzen in Zukunft die SOTA-LLM-Bewertung neben die menschlichen Bewertungen stellen, um sicherzustellen, dass die menschlichen Bewertungen nicht nur die „offensichtlichen“ Kritikpunkte wiederholen, die auch von einem LLM aufgezeigt werden können.
Die zunehmende Verbreitung von KI-generierten Inhalten im akademischen Peer-Review-Prozess stellt die wissenschaftliche Gemeinschaft vor eine entscheidende Herausforderung. Unsere Analyse zeigt, dass vollständig KI-generierte Peer-Reviews einen erheblichen Anteil an der gesamten ICLR-Review-Gesamtheit ausmachen und auch die Zahl der KI-generierten Beiträge steigt. Allerdings handelt es sich bei diesen KI-generierten Beiträgen häufiger um Schund als um echte Forschungsbeiträge.
Wir sind der Ansicht, dass dieser Trend problematisch und schädlich für die Wissenschaft ist, und fordern Konferenzen und Verlage auf, KI-Erkennung als Lösung zur Verhinderung von Missbrauch und zur Wahrung der wissenschaftlichen Integrität einzusetzen.

Bradley ist KI-Forscher und Experte für die Entwicklung von Deep-Learning-Produkten in der Industrie. Zuletzt leitete er die Deep-Learning-Forschungsgruppe bei Absci, einem Unternehmen für generative KI in der Arzneimittelforschung, und war zuvor Mitglied des Kernteams für Computer Vision bei Tesla Autopilot.
Während seines Masterstudiums verfasste Bradley im Rahmen des Stanford Vision Lab mehrere Veröffentlichungen im Bereich der Deep-Learning-Forschung. Er hat einen Bachelor of Science in Physik und einen Master of Science in Künstlicher Intelligenz von der Stanford University. Neben KI interessiert er sich auch für Bildung und Philosophie und ist ein begeisterter Golfer.






