KI-Konferenzbeiträge werden zunehmend von KI verfasst: Anstieg um 370 % seit 2023

Eine Grafik, die den prozentualen Anteil der bei der ICLR eingereichten, durch KI generierten Abstracts nach Jahr zeigt und einen Aufwärtstrend seit 2023 verdeutlicht.

Im Februar 2024 erschien in der Fachzeitschrift „Frontiers in Cell and Developmental Biology“ ein Artikel, der Abbildungen enthielt, die offensichtlich von einer KI generiert worden waren. Dieser Artikel sorgte für Schlagzeilen, da eines der Bilder eine Ratte mit absurd großen Hoden und einen Text aus Kauderwelsch zeigte, der absolut keinen Sinn ergab.

Zwar sollte das Peer-Review-Verfahren (theoretisch) ausreichen, um offensichtliche Fälle wie diesen zu erkennen, doch wie sieht es aus, wenn der eigentliche Inhalt der Arbeit von einer KI generiert wurde? Selbst Experten haben Schwierigkeiten, von einer KI generierte Forschungsergebnisse von solchen zu unterscheiden, die von Menschen verfasst wurden.

Ein aktueller Bericht in „Nature“ beleuchtet die wachsende Besorgnis über KI-generierte Inhalte in wissenschaftlichen Arbeiten. Der Artikel befasst sich mit einer Studie, in der Informatiker „Claude 3.5“, eines der neuesten großen Sprachmodelle (LLM), einsetzten, um Forschungsideen zu generieren und Artikel zu verfassen, die anschließend wissenschaftlichen Gutachtern vorgelegt wurden. Diese bewerteten die Artikel daraufhin hinsichtlich „Neuartigkeit, Spannung, Durchführbarkeit und erwarteter Wirksamkeit“. Im Durchschnitt bewerteten die Gutachter die KI-Artikel besser als die von Menschen verfassten! Dies wirft die Frage auf: Liefert KI tatsächlich bessere Forschungsideen als Menschen? Auch wenn es verlockend ist, dies zu glauben, enthielten von den 4.000 von den Forschern untersuchten KI-generierten Arbeiten nur 200 (5 %) tatsächlich originelle Ideen: Die meisten Arbeiten wiederholten lediglich bereits vorhandene Ideen aus dem Trainingsdatensatz des LLM.

Letztendlich schadet KI-generierte Forschung der wissenschaftlichen Gemeinschaft, indem sie im Peer-Review-Prozess Rauschen erzeugt und das Signal überlagert – ganz zu schweigen von der Verschwendung von Zeit und Mühe der Gutachter, die sich um die Einhaltung der Forschungsstandards bemühen. Schlimmer noch: KI-generierte Forschungsergebnisse wirken oft überzeugend, doch in Wirklichkeit klingt der von einem Sprachmodell erzeugte Text lediglich flüssig und kann voller Fehler, Halluzinationen und logischer Ungereimtheiten sein. Die Sorge dabei ist, dass selbst erfahrene Gutachter oft nicht erkennen können, wann das, was sie lesen, eine LLM-Halluzination ist.

Die Organisatoren der großen Konferenzen zum maschinellen Lernen teilen unsere Ansicht: In wissenschaftlichen Veröffentlichungen ist kein Platz für von großen Sprachmodellen (LLMs) generierte Texte. Die offizielle Richtlinie der ICML (International Conference on Machine Learning) lautet wie folgt:

Erläuterungen zur Richtlinie für große Sprachmodelle

Wir (die Programmvorsitzenden) haben die folgende Erklärung in den Aufruf zur Einreichung von Beiträgen für die ICML 2023 aufgenommen:

Beiträge, die Text enthalten, der von einem groß angelegten Sprachmodell (LLM) wie ChatGPT generiert wurde, sind untersagt, es sei denn, der erzeugte Text wird als Teil der experimentellen Analyse des Beitrags präsentiert.

Diese Erklärung hat bei potenziellen Autoren eine Reihe von Fragen aufgeworfen und einige dazu veranlasst, sich proaktiv an uns zu wenden. Wir bedanken uns für Ihr Feedback und Ihre Anmerkungen und möchten die Absicht hinter dieser Erklärung sowie die geplante Umsetzung dieser Richtlinie für die ICML 2023 näher erläutern.

TLDR;

Die Richtlinie zu großen Sprachmodellen (LLM) für die ICML 2023 verbietet Texte, die vollständig von LLMs erstellt wurden (d. h. „generiert“ sind). Dies hindert Autoren jedoch nicht daran, LLMs zur Bearbeitung oder Überarbeitung von selbst verfassten Texten zu nutzen. Die LLM-Richtlinie basiert im Wesentlichen auf dem Grundsatz, bei der Vorbeugung gegen potenzielle Probleme im Zusammenhang mit der Nutzung von LLMs, einschließlich Plagiaten, Vorsicht walten zu lassen.

Trotz dieser Warnung stellen wir fest, dass eine beträchtliche und wachsende Zahl von Autoren im Bereich des maschinellen Lernens gegen die Richtlinien verstößt und in ihren Arbeiten dennoch KI zur Textgenerierung einsetzt.

Das Ausmaß des Problems erfassen

Wir bei Pangram wollten das Ausmaß dieses Problems in unserem eigenen Fachgebiet – der künstlichen Intelligenz – erfassen. Wir wollten folgende Frage beantworten: Nutzen KI-Forscher ChatGPT, um ihre eigenen Forschungsarbeiten zu verfassen?

Um dieses Problem zu untersuchen, haben wir mithilfe der OpenReview-API Konferenzbeiträge aus den Jahren 2018 bis 2024 von zwei der größten KI-Konferenzen extrahiert: ICLR und NeurIPS.

Anschließend haben wir alle bei diesen Konferenzen eingereichten Abstracts mit dem „Pangram’s AI Detector“ überprüft. Hier sind unsere Ergebnisse:

ICLR

Eine Grafik, die den prozentualen Anteil der bei der ICLR eingereichten, durch KI generierten Abstracts nach Jahr zeigt und einen Aufwärtstrend seit 2023 verdeutlicht.

NeurIPS

Eine Grafik, die den prozentualen Anteil der bei Neurips eingereichten, von KI generierten Abstracts nach Jahr darstellt und einen Aufwärtstrend seit 2023 zeigt.

Die Ergebnisse

Wir können alle Daten vor 2022 als Validierungsdatensatz für die Falsch-Positiv-Rate unseres Modells betrachten, da es damals noch keine großen Sprachmodelle gab. Wie in den Abbildungen dargestellt, sagen wir voraus, dass jedes einzelne Konferenz-Abstract aus dem Jahr 2022 oder früher von unserem Modell als von Menschen verfasst eingestuft wird. Dies sollte Vertrauen in die Genauigkeit unseres Modells wecken: Unsere Falsch-Positiv-Rate ist bei wissenschaftlichen Abstracts sehr gut, sodass wir bei jeder positiven Vorhersage aus den Jahren 2023 und 2024 sicher sein können, dass es sich um ein echtes Positiv handelt.

Was wir seitdem beobachten, gibt Anlass zu großer Sorge. Seit der Einführung von ChatGPT im November 2022 gab es drei Konferenzzyklen.

Der erste Zyklus fand genau zur Zeit der Einführung von ChatGPT (ICLR 2023) statt. Die Einreichungsfrist lag zwar vor der Einführung von ChatGPT, doch die Autoren hatten die Möglichkeit, vor der Konferenz selbst, die einige Monate nach der Einführung von ChatGPT stattfand, Änderungen vorzunehmen. Was wir feststellen, entspricht den Erwartungen: Nur eine Handvoll Abstracts wurde von einer KI verfasst (wir fanden in diesem Zyklus nur zwei von mehreren Tausend, die von einer KI verfasst wurden) und wurde wahrscheinlich nach Ablauf der Frist überarbeitet.

Der zweite Zyklus fand etwa sechs Monate später statt, nämlich NeuRIPS 2023, für die im Sommer 2023 die Einreichungsfrist für eine Konferenz im Dezember ablief. Auf dieser Konferenz berichten wir, dass etwa 1,3 % der eingereichten Abstracts durch KI generiert wurden: ein kleiner, aber signifikanter Anteil.

Schließlich konnten wir beim jüngsten Zyklus, der ICLR 2024, die erst vor wenigen Monaten stattfand, einen Anstieg auf bis zu 4,9 % feststellen: eine fast vierfache Zunahme der KI-generierten Bewertungen im Vergleich zur NeuRIPS 2023!

Diese Ergebnisse verdeutlichen einen besorgniserregenden Trend: Nicht nur die Zahl der von KI generierten Konferenzbeiträge, die bei bedeutenden KI-Konferenzen eingereicht werden, nimmt zu, sondern diese Zunahme vollzieht sich auch in immer schnellerem Tempo – mit anderen Worten: Die Geschwindigkeit, mit der KI-generierte Beiträge eingereicht werden, nimmt zu.

Wie sehen von KI generierte Abstracts aus?

Schauen Sie sich einige dieser Abstracts an und entscheiden Sie selbst, ob sie sich wie Texte anhören, die Sie aus der wissenschaftlichen Fachliteratur gewohnt sind:

1. In der komplexen Landschaft vernetzter Daten stellt das Verständnis der kausalen Auswirkungen von Interventionen eine entscheidende Herausforderung dar, die Auswirkungen auf verschiedene Bereiche hat. Graph Neural Networks (GNNs) haben sich als leistungsstarkes Werkzeug zur Erfassung komplexer Abhängigkeiten etabliert, doch das Potenzial des geometrischen Deep Learning für die GNN-basierte kausale Inferenz in Netzwerken ist bislang noch kaum erforscht. Diese Arbeit leistet drei wesentliche Beiträge, um diese Lücke zu schließen. Erstens stellen wir einen theoretischen Zusammenhang zwischen der Krümmung von Graphen und der kausalen Inferenz her und zeigen, dass negative Krümmungen Herausforderungen bei der Identifizierung kausaler Effekte mit sich bringen. Zweitens präsentieren wir auf der Grundlage dieser theoretischen Erkenntnis Berechnungsergebnisse unter Verwendung der Ricci-Krümmung zur Vorhersage der Zuverlässigkeit von Schätzungen kausaler Effekte und zeigen empirisch, dass Regionen mit positiver Krümmung genauere Schätzungen liefern. Schließlich schlagen wir eine Methode vor, die den Ricci-Fluss nutzt, um die Schätzung von Behandlungseffekten bei vernetzten Daten zu verbessern, und zeigen eine überlegene Leistung durch die Reduzierung von Fehlern mittels Abflachung der Kanten im Netzwerk. Unsere Ergebnisse eröffnen neue Wege für die Nutzung von Geometrie bei der Schätzung kausaler Effekte und bieten Einblicke und Werkzeuge, die die Leistung von GNNs bei Aufgaben der kausalen Inferenz verbessern.

2. Im Bereich der Sprachmodelle spielt die Datenkodierung eine zentrale Rolle und beeinflusst die Effizienz und Effektivität des Modelltrainings. Byte Pair Encoding (BPE) ist eine etablierte Technik zur Subwort-Tokenisierung, die durch die Zusammenführung häufiger Byte- oder Zeichenpaare ein Gleichgewicht zwischen Recheneffizienz und sprachlicher Ausdruckskraft herstellt. Da das Training von Sprachmodellen erhebliche Rechenressourcen erfordert, schlagen wir „Fusion Token“ vor, eine Methode, die den herkömmlichen Byte Pair Encoding (BPE)-Ansatz bei der Datenkodierung für Sprachmodelle erheblich verbessert. Fusion Token wendet im Vergleich zu BPE eine aggressivere Rechenstrategie an und erweitert die Token-Gruppen von Bigrammen auf 10-Gramme. Bemerkenswerterweise übertrifft die Kompressionsrate durch die Hinzufügung von 1024 Token zum Vokabular deutlich die eines regulären BPE-Tokenizers mit einem Vokabular von einer Million. Insgesamt führt die Fusion-Token-Methode zu spürbaren Leistungsverbesserungen aufgrund eines größeren Datenumfangs pro Recheneinheit. Darüber hinaus führt eine höhere Komprimierung zu schnelleren Inferenzzeiten, da pro gegebenem String weniger Token benötigt werden. Indem mehr Rechenressourcen für den Aufbau des Tokenizers aufgewendet werden, maximiert Fusion Token das Potenzial von Sprachmodellen als effiziente Datenkomprimierungsmaschinen und ermöglicht so effektivere Sprachmodellierungssysteme.

3. Im sich rasch entwickelnden Bereich der Bewegungsgenerierung gilt die Verbesserung der textuellen Semantik als äußerst vielversprechende Strategie zur Erzeugung präziserer und realistischerer Bewegungen. Aktuelle Techniken stützen sich jedoch häufig auf umfangreiche Sprachmodelle, um Textbeschreibungen zu verfeinern, ohne dabei eine präzise Übereinstimmung zwischen Text- und Bewegungsdaten zu gewährleisten. Diese Diskrepanz führt oft zu einer suboptimalen Bewegungsgenerierung und schränkt das Potenzial dieser Methoden ein. Um dieses Problem anzugehen, stellen wir ein neuartiges Framework namens SemanticBoost vor, das darauf abzielt, die Lücke zwischen Text- und Bewegungsdaten zu schließen. Unsere innovative Lösung integriert ergänzende semantische Informationen, die aus den Bewegungsdaten selbst abgeleitet werden, zusammen mit einem speziellen Netzwerk zur Rauschunterdrückung, um semantische Kohärenz zu gewährleisten und die Gesamtqualität der Bewegungsgenerierung zu steigern. Durch umfangreiche Experimente und Bewertungen zeigen wir, dass SemanticBoost bestehende Methoden in Bezug auf Bewegungsqualität, Übereinstimmung und Realismus deutlich übertrifft. Darüber hinaus unterstreichen unsere Ergebnisse das Potenzial der Nutzung semantischer Hinweise aus Bewegungsdaten und eröffnen neue Wege für eine intuitivere und vielfältigere Bewegungsgenerierung.

Fällt Ihnen ein Muster auf? Zunächst fällt auf, dass alle Texte mit sehr ähnlichen Formulierungen beginnen: „In der komplexen Landschaft von“, „Im Bereich von“, „In dem sich rasch entwickelnden Gebiet von“. Wir bezeichnen dies als künstlich blumige Sprache. Wir haben bereits darüber geschrieben, wie oft LLMs viele Wörter verwenden, um nur sehr wenig tatsächlichen Inhalt zu produzieren. Während dies für einen Studenten wünschenswert sein mag, der versucht, eine Mindestwortzahl in einer Hausarbeit zu erreichen, macht diese Art von übermäßig wortreicher Sprache das Lesen für einen fachkundigen Leser, der sich mit Forschungsergebnissen auseinandersetzen möchte, schwieriger und zeitaufwendiger, während sie gleichzeitig die eigentliche Botschaft des Artikels weniger klar macht.

Werden KI-Beiträge tatsächlich auf Konferenzen angenommen?

Wir haben uns gefragt, ob durch KI erstellte Artikel im Rahmen des Peer-Review-Verfahrens tatsächlich wirksam aussortiert werden oder ob einige davon durch die Maschen schlüpfen.

Um diese Frage zu beantworten, haben wir den Zusammenhang zwischen KI-generierten Abstracts und den Entscheidungen über die Annahme von Beiträgen auf der ICLR 2024 analysiert. (Vorträge, Spotlight-Präsentationen und Poster sind allesamt „angenommene“ Beiträge; Vorträge und Spotlight-Präsentationen sind besondere Auszeichnungs-Kategorien.) Hier sind unsere Ergebnisse:

Zwar ist der Anteil der von KI generierten Artikel, die angenommen wurden, geringer als der Anteil der eingereichten Beiträge, doch hat eine beträchtliche Anzahl den Peer-Review-Prozess dennoch erfolgreich durchlaufen. Dies lässt darauf schließen, dass die Gutachter zwar einen Teil der von KI generierten Inhalte erkennen, jedoch nicht alle.

Uns fällt auf, dass sogar einige Vorträge und Spotlight-Beiträge über KI-generierte Abstracts verfügen! Wenn man die Situation wohlwollend interpretiert, könnte sich in Zukunft herausstellen, dass die Forschung tatsächlich von hoher Qualität ist und die Autoren lediglich mit ChatGPT Abkürzungen nehmen, um ihre Arbeit besser präsentieren oder überarbeiten zu können.

Da ein Großteil der Forschungsgemeinschaft nicht englischer Muttersprache ist, wird ein zunehmender Einsatz von LLMs darin bestehen, in anderen Sprachen verfasste Fachartikel ins Englische zu übersetzen.

Fazit

Obwohl die KI-Community die Autoren ausdrücklich gebeten hat, ChatGPT nicht zu verwenden, ignorieren viele Autoren diese Richtlinie und nutzen dennoch große Sprachmodelle (LLMs), um ihre Arbeiten zu verfassen. Noch besorgniserregender ist, dass selbst KI-Experten, die als Gutachter fungieren, um die Konferenzen vor durch LLMs generierten Beiträgen zu schützen, diese nicht erkennen können!

ChatGPT hat noch weitreichendere Auswirkungen auf den gesamten akademischen Prozess. Eine aktuelle ICML-Fallstudie ergab, dass zwischen 6 und 16 Prozent der Peer-Reviews selbst von KI generiert wurden, und es besteht ein positiver Zusammenhang zwischen KI-generierten Peer-Reviews und dem Zeitpunkt der Einreichung des Gutachtens im Verhältnis zur Abgabefrist!

Wir fordern die KI-Community auf, diese Richtlinien besser durchzusetzen, und appellieren an die Autoren, Verantwortung zu übernehmen und sicherzustellen, dass ihre Arbeiten von Menschen verfasst wurden.

Der Einzug der KI in die Welt des literarischen Schreibens beschränkt sich nicht nur auf die Forschung – KI gewinnt auch Preise für Belletristik.