Fallstudien

Pangram schätzt, dass 21 % der ICLR-Rezensionen von KI generiert sind

18. November 2025

Nutzen Autoren große Sprachmodelle (LLMs), um KI-Forschungsarbeiten zu verfassen? Lagern Gutachter das Verfassen ihrer Gutachten zu diesen Arbeiten an generative KI-Tools aus? Um dies herauszufinden, haben wir alle 19.000 Arbeiten und 70.000 Gutachten der International Conference on Learning Representations analysiert, einer der wichtigsten und renommiertesten Publikationsplattformen für KI-Forschung. Dank OpenReview und dem öffentlichen Begutachtungsprozess der ICLR wurden alle Artikel und ihre Rezensionen online öffentlich zugänglich gemacht, und dieser offene Begutachtungsprozess ermöglichte diese Analyse.

Wir haben alle Ergebnisse unter iclr.pangram.com öffentlich zugänglich gemacht.

Warum sollte man sich mit den ICLR-Beiträgen befassen?

Nun, zum einen wurde uns ein Kopfgeld angeboten!

Graham Neubigs Tweet, in dem er eine Prämie für die Analyse von ICLR-Beiträgen aussetztGraham Neubigs Tweet, in dem er eine Prämie für die Analyse von ICLR-Beiträgen aussetzt

Ganz im Ernst: Viele Autoren und Gutachter der ICLR haben Fälle von eklatantem wissenschaftlichem Fehlverhalten im Zusammenhang mit KI festgestellt, wie zum Beispiel eine von einem großen Sprachmodell (LLM) generierte Arbeit mit völlig erfundenen Quellenangaben, und viele Autoren berichten, dass sie vollständig von KI generierte Gutachten erhalten haben.

Ein Autor berichtete sogar, dass ein Gutachter in seinem Peer-Review 40 von einer KI generierte Fragen gestellt habe!

Wir wollten das Ausmaß dieses Problems insgesamt erfassen: Handelt es sich bei diesen Beispielen für Fehlverhalten um Einzelfälle oder deuten sie auf ein größeres Muster hin? Deshalb haben wir Grahams Angebot angenommen!

Ist der Einsatz von KI bei ICLR-Beiträgen und im Peer-Review-Verfahren zulässig?

Die ICLR verfügt über klare und aussagekräftige Richtlinien dazu, was bei der Verwendung von LLM in Beiträgen und Rezensionen erlaubt und was nicht erlaubt ist.

Richtlinie 1. Jede Verwendung eines LLM muss offengelegt werden, gemäß den Bestimmungen des Ethikkodex, wonach „alle Beiträge zur Forschung gewürdigt werden müssen“ und die Mitwirkenden „darauf vertrauen können sollten, … für ihre Arbeit Anerkennung zu erhalten“.

Richtlinie 2. Die Autoren und Gutachter von ICLR tragen die letztendliche Verantwortung für ihre Beiträge und müssen sich dabei an den Ethikkodex halten, der besagt, dass „Forscher nicht absichtlich falsche oder irreführende Behauptungen aufstellen, Daten erfinden oder fälschen oder Ergebnisse falsch darstellen dürfen“.

Die ICLR hat zudem Richtlinien herausgegeben, die Autoren bei der Verwendung von LLMs in ihren Beiträgen und Rezensionen beachten sollten. Zusammenfassend lässt sich sagen:

  • Autoren dürfen große Sprachmodelle (LLMs) zur Unterstützung beim Verfassen ihrer Arbeiten und als Forschungsassistenten nutzen, müssen diese Nutzung jedoch offenlegen und sind für die wissenschaftliche Integrität ihrer Arbeit verantwortlich.
  • Autoren dürfen LLMs zur Unterstützung bei der Rechtschreibung und Grammatik in ihren LLM-Rezensionen verwenden; die Nutzung eines LLM zum Verfassen der gesamten Rezension stellt jedoch potenziell einen Verstoß gegen den Ethikkodex dar, da dies sowohl eine falsche Darstellung einer externen Meinung/Sichtweise auf die Arbeit als die eigene als auch einen Verstoß gegen die Vertraulichkeit darstellt.

Wir führen diese Studie also nicht durch, um einzelne Verstöße anzuprangern – schließlich sind LLMs sowohl bei der Einreichung von Artikeln als auch im Peer-Review-Prozess tatsächlich zulässig. Vielmehr möchten wir die Aufmerksamkeit auf den Umfang des KI-Einsatzes in den Artikeln und im Peer-Review-Prozess lenken und darauf hinweisen, dass vollständig KI-generierte Gutachten (die in der Tat wahrscheinlich Verstöße gegen den Ethikkodex darstellen) ein weitaus verbreiteteres Problem sind, als vielen bewusst ist.

Methodik

Zunächst haben wir alle PDF-Dateien der ICLR-Beiträge über die OpenReview-API heruntergeladen. Außerdem haben wir alle Notizen heruntergeladen, wodurch wir die Begutachtung extrahieren konnten.

Wir stellten fest, dass die Verwendung eines herkömmlichen PDF-Parsers wie PyMuPDF für die ICLR-Beiträge unzureichend war, da Zeilennummern, Bilder und Tabellen oft nicht korrekt verarbeitet wurden. Um den Haupttext des Artikels zu extrahieren, haben wir daher Mistral OCR verwendet, um den Haupttext des Artikels aus der PDF-Datei als Markdown zu parsen. Da KI ebenfalls Markdown-Ausgaben bevorzugt, haben wir das Markdown anschließend als reinen Text neu formatiert, um Fehlalarme zu vermeiden, die allein durch die Formatierung verursacht wurden.

Anschließend haben wir Pangrams erweiterten Textklassifikator auf den analysierten Klartext aus diesen PDF-Dateien angewendet. Die erweiterte Version des Klassifikators unterteilt den Text zunächst in Segmente und wendet das KI-Erkennungsmodell auf jedes Segment einzeln an. Das Ergebnis ist ein Prozentsatz, der angibt, wie viele Segmente als KI-generierter Text identifiziert wurden. So lässt sich feststellen, ob ein Artikel vollständig von Menschen verfasst, vollständig KI-generiert oder gemischt ist, wobei einige Segmente positiv und andere negativ bewertet werden.

Außerdem haben wir die Peer-Reviews mithilfe unseres neuen EditLens-Modells auf den Einsatz von KI überprüft. EditLens kann nicht nur das Vorhandensein von KI erkennen, sondern auch beschreiben, in welchem Umfang KI am Bearbeitungsprozess beteiligt war. EditLens kann vorhersagen, dass ein Text in eine von fünf Kategorien fällt:

  • Vollständig von Menschen verfasst
  • Leicht mit KI bearbeitet oder KI-unterstützt
  • Mittlere KI-bearbeitet oder KI-unterstützt
  • Stark KI-bearbeitet oder KI-unterstützt
  • Vollständig durch KI generiert

EditLens steht derzeit nur Kunden in unserer privaten Beta-Phase zur Verfügung, wird aber Anfang Dezember öffentlich zugänglich sein. Wir werden in den kommenden Wochen mehr zu diesem Modell berichten, doch in unserem Forschungsvorabdruck beschreiben wir seine Leistung als den neuesten Stand der Technik bei der Generierung von gemeinsam verfassten Texten. Bei internen Benchmarks weist es eine ähnliche Genauigkeit wie unser aktuelles Modell auf, wenn es als binärer Klassifikator bewertet wird, sowie eine außergewöhnlich niedrige Falsch-Positiv-Rate von 1 zu 10.000 bei vollständig von Menschen verfassten Texten.

Ergebnisse

In unserer früheren Analyse von Beiträgen zu KI-Konferenzen haben wir festgestellt, dass Pangram bei allen verfügbaren ICLR- und NeurIPS-Beiträgen, die vor 2022 veröffentlicht wurden, eine Falsch-Positiv-Rate von 0 % aufweist. Zwar sind einige dieser Beiträge tatsächlich im Trainingssatz enthalten, jedoch nicht alle; daher gehen wir davon aus, dass die tatsächliche Leistung von Pangram im Testsatz tatsächlich sehr nahe bei 0 Prozent liegt.

Wie sieht es mit Peer-Reviews aus? Wir haben ein zusätzliches Negativkontroll-Experiment durchgeführt, bei dem wir das neuere EditLens-Modell auf alle Peer-Reviews aus dem Jahr 2022 angewandt haben. Wir stellen eine Fehlerquote von etwa 1 zu 1.000 bei „Lightly Edited“ im Vergleich zu „Fully Human“, eine Fehlerquote von 1 zu 5.000 bei „Medium Edited“ im Vergleich zu „Fully Human“ und eine Fehlerquote von 1 zu 10.000 bei „Heavily Edited“ im Vergleich zu „Fully Human“ fest. Wir stellen keine Verwechslungen zwischen „Fully AI-generated“ und „Fully Human“ fest.

Verteilung der EditLens-Vorhersagen auf die ICLR-2022-Reviews (Negativkontrolle)Verteilung der EditLens-Vorhersagen auf die ICLR-2022-Reviews (Negativkontrolle)

Für das Experiment selbst haben wir Pangram auf alle Artikel und Peer-Reviews angewendet. Hier sind die wichtigsten Ergebnisse:

Wir haben festgestellt, dass 21 % bzw. 15.899 Bewertungen vollständig von KI generiert wurden. Wir haben festgestellt, dass bei mehr als der Hälfte der Bewertungen in irgendeiner Form KI zum Einsatz kam, sei es durch KI-Bearbeitung, KI-Unterstützung oder vollständige KI-Generierung.

Verteilung der EditLens-Vorhersagen auf die ICLR-2026-BegutachtungenVerteilung der EditLens-Vorhersagen auf die ICLR-2026-Begutachtungen

Beiträge hingegen werden nach wie vor größtenteils von Menschen verfasst (61 % wurden überwiegend von Menschen verfasst). Wir haben jedoch mehrere hundert vollständig von KI generierte Beiträge gefunden, auch wenn diese offenbar Ausreißer darstellen, und 9 % der eingereichten Beiträge wiesen einen KI-Anteil von über 50 % auf. Als Vorbehalt sei angemerkt, dass einige vollständig von KI generierte Beiträge bereits im Vorabverfahren abgelehnt und aus OpenReview entfernt wurden, bevor wir Gelegenheit hatten, die Analyse durchzuführen.

Verteilung von KI-Inhalten in den eingereichten Beiträgen zur ICLR 2026Verteilung von KI-Inhalten in den eingereichten Beiträgen zur ICLR 2026

Analyse

Wir haben in den Ergebnissen einige interessante Trends festgestellt, die Aufschluss darüber geben, wie KI sowohl bei der Einreichung von Beiträgen als auch bei der Begutachtung durch Fachkollegen eingesetzt wird und welche Auswirkungen diese Nutzung auf den Begutachtungsprozess selbst hat.

Der Einsatz von KI in wissenschaftlichen Arbeiten geht mit schlechteren Bewertungen einher

Im Gegensatz zu einer früheren Studie, die zeigte, dass große Sprachmodelle (LLMs) als Bewerter oft ihre eigenen Ergebnisse dem menschlichen Schreibstil vorziehen, stellen wir das Gegenteil fest: Je mehr KI-generierter Text in einer Einreichung enthalten ist, desto schlechter fallen die Bewertungen aus.

Durchschnittliche Bewertungsnoten nach KI-Inhalten in FachartikelnDurchschnittliche Bewertungsnoten nach KI-Inhalten in Fachartikeln

Dafür könnte es mehrere Gründe geben. Einer davon ist, dass eine Arbeit insgesamt umso weniger gut durchdacht und ausgearbeitet ist, je stärker KI darin zum Einsatz kommt. Es ist möglich, dass KI beim Verfassen wissenschaftlicher Texte häufiger dazu dient, Arbeit abzuschieben und Abkürzungen zu nehmen, anstatt als ergänzende Hilfe genutzt zu werden. Zudem könnte die Tatsache, dass vollständig KI-generierte Arbeiten niedrigere Bewertungen erhalten, darauf hindeuten, dass KI-generierte Forschung (noch) von geringer Qualität ist und keinen echten Beitrag zur Wissenschaft leistet.

Bewertungen durch KI erzielen höhere Punktzahlen

Durchschnittliche Bewertungsergebnisse nach Grad der KI-EinbindungDurchschnittliche Bewertungsergebnisse nach Grad der KI-Einbindung

Wir stellen fest: Je stärker KI in einer Begutachtung zum Tragen kommt, desto höher fällt die Bewertung aus. Das ist problematisch: Es bedeutet, dass die Gutachter ihre eigene Meinung nicht mithilfe der KI neu formulieren (wäre dies der Fall, würden wir erwarten, dass die Durchschnittsbewertung bei KI-Begutachtungen und menschlichen Begutachtungen gleich ausfällt), sondern dass sie die Beurteilung der Arbeit tatsächlich ebenfalls an die KI auslagern. Die Darstellung der Meinung des LLM als die tatsächliche eigene Meinung des Gutachters stellt einen klaren Verstoß gegen den Ethikkodex dar. Wir wissen, dass KI dazu neigt, schmeichlerisch zu sein, was bedeutet, dass sie Dinge sagt, die Menschen hören wollen und die ihnen gefallen, anstatt eine unvoreingenommene Meinung abzugeben: eine völlig unerwünschte Eigenschaft, wenn es um Peer-Reviews geht! Dies könnte die positive Verzerrung bei den Bewertungen in KI-Gutachten erklären.

Bewertungen von KI sind länger

Durchschnittliche Länge der Bewertungen nach Grad der KI-EinbindungDurchschnittliche Länge der Bewertungen nach Grad der KI-Einbindung

Früher galt eine längere Rezension als gut durchdacht und qualitativ hochwertig, doch im Zeitalter der LLMs kann dies oft das Gegenteil bedeuten. Von KI generierte Rezensionen sind länger und enthalten viel „Füllmaterial“. Laut Shaib et al. in einer Forschungsarbeit mit dem Titel „Measuring AI Slop in Text“ ist ein Merkmal von KI-„Slop“, dass er eine geringe Informationsdichte aufweist – was bedeutet, dass die KI viele Wörter verwendet, um inhaltlich nur sehr wenig auszudrücken.

Das lässt sich auch bei den Bewertungen durch große Sprachmodelle beobachten: Die KI verwendet zwar viele Wörter, liefert aber kein besonders informationsreiches Feedback. Wir halten dies für problematisch, da Autoren Zeit damit verschwenden müssen, eine lange Bewertung zu analysieren und nichtssagende Fragen zu beantworten, die eigentlich kaum hilfreiches Feedback enthalten. Erwähnenswert ist auch, dass die meisten Autoren wahrscheinlich ein großes Sprachmodell um eine Bewertung ihres Manuskripts bitten werden, bevor sie es tatsächlich einreichen. In diesen Fällen ist das Feedback einer LLM-Bewertung weitgehend überflüssig und wenig hilfreich, da der Autor die offensichtlichen Kritikpunkte, die ein LLM anbringen wird, bereits kennt.

Gibt es falsche Anschuldigungen?

Zwar ist die Falsch-Positiv-Rate von Pangram extrem niedrig, doch liegt sie nicht bei Null. Daher sind wir verpflichtet, die Zuverlässigkeit des Tools zu quantifizieren, bevor wir es empfehlen, um konkrete Entscheidungen über das Schicksal eines Artikels (wie z. B. eine Ablehnung im Vorabverfahren) zu treffen oder einen Gutachter zu sanktionieren. Wir haben die Falsch-Positiv-Rate innerhalb des Domänenbereichs anhand der oben beschriebenen Negativkontrollstudien direkt gemessen, aber wie sieht es bei anderen Datensätzen, Benchmarks und bei allgemeinen Texten aus?

In diesem früheren Blogbeitrag haben wir die Falsch-Positiv-Rate von Pangram dokumentiert.

  • Die Gesamt-Falsch-Positiv-Rate von Pangram liegt bei Dokumenten aus dem Testdatensatz bei 1 zu 10.000.
  • Die Falsch-Positiv-Rate von Pangram bei den aus dem Test ausgeschlossenen wissenschaftlichen Artikeln aus ArXiV liegt bei 1 zu 100.000.
  • Die Falsch-Positiv-Rate von Pangram bei den aus PubMed entnommenen medizinischen Artikeln beträgt 0 (mit einer Genauigkeit von drei Dezimalstellen).

Die Genauigkeit von Pangram wurde zudem durch mehrere Studien unabhängiger Dritter bestätigt, darunter aktuelle Untersuchungen der UChicago Booth School of Business und der American Association for Cancer Research.

Um diese Zahlen in einen Zusammenhang zu setzen: Die Falsch-Positiv-Rate von Pangram ist vergleichbar mit der Falsch-Positiv-Rate bei DNA-Tests oder Drogentests: Ein echtes Falsch-Positiv, bei dem ein vollständig von KI generierter Text mit einem vollständig von Menschen verfassten Text verwechselt wird, kommt zwar vor, ist aber äußerst selten.

Woran erkennt man, ob man eine KI-Begutachtung erhalten hat?

Wenn Sie als Autor den Verdacht haben, eine von einer KI verfasste Rezension erhalten zu haben, gibt es einige verräterische Anzeichen, auf die Sie achten können. Zwar kann Pangram KI-generierten Text erkennen, doch lassen sich die Anzeichen für KI-Rezensionen auch mit bloßem Auge erkennen.

Wir haben einen allgemeinen Leitfaden zur Erkennung von KI-Schreibmustern mit bloßem Auge zusammengestellt, stellen jedoch fest, dass es einige zusätzliche Anzeichen und Merkmale gibt, die speziell bei KI-Peer-Reviews auftreten.

Einige der „Anzeichen“, die uns bei Peer-Reviews im Bereich KI auffallen:

  • Stile für Überschriften: KI-generierte Peer-Reviews verwenden gerne markante Abschnittsüberschriften mit 2–3-Wort-Zusammenfassungen, gefolgt von einem Doppelpunkt. Zum Beispiel:

Stärken: Klare Problemformulierung: Die Arbeit befasst sich mit einem realen Problem – VLM-basierte OCR-Systeme liefern bei beschädigten Dokumenten falsche Ergebnisse, ohne dabei Unsicherheit zu signalisieren, was schlimmer ist als bei klassischen OCR-Systemen, die offensichtlich verfälschte Ergebnisse liefern. Die Motivation ist gut dargelegt. Systematische Methodik: Der zweistufige Trainingsansatz (pseudo-labeled Cold Start + GRPO) ist sinnvoll und gut beschrieben. Das multiobjektive Belohnungsdesign mit Schutzmaßnahmen gegen Belohnungs-Hacking (insbesondere der Dämpfungsfaktor η für Längenabweichungen) zeugt von sorgfältiger Entwicklung.

Fragen: 1. Verallgemeinerung auf reale Beschädigungen: Können die Autoren den Ansatz anhand realer, beschädigter Dokumente (z. B. Datensätze historischer Dokumente) evaluieren, um zu zeigen, dass er über die spezifische Pipeline für synthetische Beschädigungen hinaus verallgemeinert werden kann? 2. Vergleich mit MinerU-Systemen: MinerU und MinerU2.5 [2,3] stellen aktuelle Fortschritte im Bereich der Dokumentenanalyse dar. Wie schneidet die vorgeschlagene Methode im Vergleich zu diesen Systemen bei Blur-OCR ab? Wenn diese Systeme keine Unsicherheitsschätzungen liefern können, lassen sie sich dann mit dem vorgeschlagenen Tagging-Ansatz kombinieren?

  • Oberflächliche Haarspalterei statt fundierter Analyse: KI-generierte Gutachten konzentrieren sich eher auf oberflächliche Aspekte als auf echte Bedenken hinsichtlich der wissenschaftlichen Integrität der Arbeit. Typische Kritikpunkte der KI sind beispielsweise die Forderung nach weiteren Ablationen, die den bereits vorgestellten sehr ähnlich sind, die Forderung nach einer Vergrößerung des Testdatensatzes oder einer Erhöhung der Anzahl der Kontrollen sowie die Bitte um weitere Erläuterungen oder Beispiele.

  • Viele Worte, die wenig aussagen: KI-Rezensionen weisen oft eine geringe Informationsdichte auf und verwenden eine umständliche Sprache, um Aussagen zu treffen, die sich prägnanter formulieren ließen. Diese Umständlichkeit bedeutet zusätzlichen Aufwand für Autoren, die sich durch langatmige Rezensionen arbeiten müssen, um die eigentlichen inhaltlichen Kritikpunkte herauszufiltern.

Warum sind KI-Fachartikel und KI-Peer-Reviews schädlich für den wissenschaftlichen Prozess?

Anfang dieses Jahres veröffentlichten Forscher der UNIST in Korea ein Positionspapier, in dem sie einige der Gründe für den Qualitätsverlust im Peer-Review-Prozess darlegen. Da sich der Bereich der künstlichen Intelligenz immer weiter ausbreitet, zeigen sich nun allmählich Risse in der Ressourcenausstattung des Peer-Review-Systems. Für den explosionsartigen Anstieg der Anzahl an Fachartikeln steht einfach eine zu geringe Zahl qualifizierter Gutachter zur Verfügung.

Das größte Problem bei qualitativ minderwertigen, KI-generierten Artikeln ist, dass sie schlichtweg Zeit und Ressourcen verschwenden, die nur begrenzt zur Verfügung stehen. Unserer Analyse zufolge sind KI-generierte Artikel einfach nicht so gut wie von Menschen verfasste Artikel, und was noch problematischer ist: Sie können kostengünstig von unehrlichen Gutachtern und „Paper Mills“ erstellt werden, die nach dem „Spray-and-Pray“-Prinzip vorgehen (d. h. eine große Anzahl von Beiträgen bei einer Konferenz einreichen, in der Hoffnung, dass einer davon zufällig angenommen wird). Wenn KI-generierte Artikel das Peer-Review-System überschwemmen dürfen, wird die Qualität der Begutachtung weiter sinken, und die Gutachter werden weniger motiviert sein, da sie statt echter Forschungsarbeiten „Schrottartikel“ lesen müssen.

Zu verstehen, warum KI-generierte Rezensionen schädlich sein können, ist etwas differenzierter. Wir stimmen mit der ICLR überein, dass KI positiv als Hilfsmittel eingesetzt werden kann, um Gutachtern dabei zu helfen, ihre Ideen besser zu formulieren, insbesondere wenn Englisch nicht die Muttersprache des Gutachters ist. Darüber hinaus kann KI oft wirklich hilfreiches Feedback liefern, und es ist für Autoren oft produktiv, den Peer-Review-Prozess mit LLMs nachzustellen, um die LLMs dazu zu bringen, die Forschung zu kritisieren und Schwachstellen aufzudecken sowie Fehler und Irrtümer zu finden, die dem Autor ursprünglich vielleicht entgangen sind.

Es bleibt jedoch die Frage: Wenn KI hilfreiches Feedback liefern kann, warum sollten wir dann vollständig von KI generierte Bewertungen verbieten? Der Ökonom Alex Imas von der University of Chicago bringt den Kern des Problems in einem aktuellen Tweet auf den Punkt: Die Antwort hängt davon ab, ob wir menschliches Urteilsvermögen in die wissenschaftliche Begutachtung einbeziehen wollen.

Ein Tweet von Alex Imas zu KI-generierten BewertungenEin Tweet von Alex Imas zu KI-generierten Bewertungen

Wenn wir der Ansicht sind, dass aktuelle KI-Modelle ausreichen, um menschliches Urteilsvermögen vollständig zu ersetzen, dann sollten Konferenzen den gesamten Begutachtungsprozess einfach automatisieren – Beiträge durch ein LLM laufen lassen und automatisch Bewertungen vergeben. Wenn wir jedoch der Ansicht sind, dass menschliches Urteilsvermögen Teil des Prozesses bleiben sollte, dann müssen vollständig KI-generierte Inhalte sanktioniert werden. Imas identifiziert zwei zentrale Probleme: erstens ein Pooling-Gleichgewicht, bei dem KI-generierte Inhalte (die einfacher zu produzieren sind) das menschliche Urteilsvermögen innerhalb weniger Begutachtungszyklen schnell verdrängen werden; und zweitens ein Verifizierungsproblem, bei dem die Feststellung, ob eine KI-Begutachtung tatsächlich gut ist, denselben Aufwand erfordert wie die eigene Begutachtung des Artikels – wenn also LLMs bessere Begutachtungen generieren können als Menschen, warum dann nicht den gesamten Prozess automatisieren?

Meiner Meinung nach ergänzen menschliche Urteile die Bewertungen durch KI und bieten einen zusätzlichen Mehrwert. Menschen können oft Feedback geben, das außerhalb der üblichen Muster liegt und nicht sofort offensichtlich ist. Expertenmeinungen sind nützlicher als große Sprachmodelle (LLMs), da sie durch Erfahrung, Kontext und eine Perspektive geprägt sind, die im Laufe der Zeit verfeinert und weiterentwickelt wurde. LLMs sind zwar leistungsstark, doch ihren Bewertungen fehlt es oft an Geschmack und Urteilsvermögen, wodurch sie „flach“ wirken.

Vielleicht könnten Konferenzen in Zukunft die SOTA-LLM-Bewertung neben die menschlichen Bewertungen stellen, um sicherzustellen, dass die menschlichen Bewertungen nicht nur die „offensichtlichen“ Kritikpunkte wiederholen, die auch von einem LLM aufgezeigt werden können.

Fazit

Die zunehmende Verbreitung von KI-generierten Inhalten im akademischen Peer-Review-Prozess stellt die wissenschaftliche Gemeinschaft vor eine entscheidende Herausforderung. Unsere Analyse zeigt, dass vollständig KI-generierte Peer-Reviews einen erheblichen Anteil an der gesamten ICLR-Review-Gesamtheit ausmachen und auch die Zahl der KI-generierten Beiträge steigt. Allerdings handelt es sich bei diesen KI-generierten Beiträgen häufiger um Schund als um echte Forschungsbeiträge.

Wir sind der Ansicht, dass dieser Trend problematisch und schädlich für die Wissenschaft ist, und fordern Konferenzen und Verlage auf, KI-Erkennung als Lösung zur Verhinderung von Missbrauch und zur Wahrung der wissenschaftlichen Integrität einzusetzen.


Bradley Emi
Bradley EmiCTO, Mitbegründer

Bradley ist KI-Forscher und Experte für die Entwicklung von Deep-Learning-Produkten in der Industrie. Zuletzt leitete er die Deep-Learning-Forschungsgruppe bei Absci, einem Unternehmen für generative KI in der Arzneimittelforschung, und war zuvor Mitglied des Kernteams für Computer Vision bei Tesla Autopilot.

Während seines Masterstudiums verfasste Bradley im Rahmen des Stanford Vision Lab mehrere Veröffentlichungen im Bereich der Deep-Learning-Forschung. Er hat einen Bachelor of Science in Physik und einen Master of Science in Künstlicher Intelligenz von der Stanford University. Neben KI interessiert er sich auch für Bildung und Philosophie und ist ein begeisterter Golfer.

Mehr von Bradley Emi

Weiterführende Literatur

Wie Gradpilot mit Hilfe von Pangram Schülern dabei hilft, ihren eigenen Stil zu finden
Fallstudien

Wie Gradpilot mit Hilfe von Pangram Schülern dabei hilft, ihren eigenen Stil zu finden

15. September 2025
Welcher KI-Detektor ist am genauesten? 30 Tools im Test (2026)
Fallstudien

Welcher KI-Detektor ist am genauesten? 30 Tools im Test (2026)

7. Januar 2026
Ein tiefer Einblick in Yelp-Bewertungen
Fallstudien

Ein tiefer Einblick in Yelp-Bewertungen

10. November 2023
Wie schneidet Pangram im Vergleich zu GPTZero ab?
Fallstudien

Wie schneidet Pangram im Vergleich zu GPTZero ab?

22. Januar 2026
Wie Quora Pangram nutzt, um von KI verfasste Antworten zu verarbeiten
Fallstudien

Wie Quora Pangram nutzt, um von KI verfasste Antworten zu verarbeiten

26. September 2024
Drei Prozent der Rezensionen auf der Startseite von Amazon werden mittlerweile von KI generiert
Fallstudien

Drei Prozent der Rezensionen auf der Startseite von Amazon werden mittlerweile von KI generiert

4. Mai 2026
    Pangram prognostiziert, dass 21 % der ICLR-Bewertungen von KI generiert werden | Pangram Labs