Pangram 3.0: Quantifizierung des Ausmaßes der KI-Bearbeitung in Texten

*Hinweis: Unser neues Modell, Pangram 3.0, basiert auf unserer veröffentlichten Forschungsarbeit: „EditLens: Quantifying the Extent of AI Editing in Text“.

Die rasante Verbreitung großer Sprachmodelle (LLMs) wie ChatGPT, Claude und Gemini hat die Art und Weise, wie wir schreiben, Texte überarbeiten und mit ihnen interagieren, grundlegend verändert. Eine aktuelle Studie von OpenAI ergab, dass zwei Drittel aller schriftlichen Anfragen an ChatGPT das Modell dazu auffordern, vom Nutzer bereitgestellte Texte zu überarbeiten, anstatt Texte von Grund auf neu zu generieren. Nutzer bitten die Modelle zunehmend, ausgehend von einem von Menschen verfassten Entwurf die Grammatik zu verbessern, Argumente neu zu strukturieren oder den Tonfall anzupassen.

Was bedeutet der Anstieg von Texten, die von Menschen verfasst, aber von KI überarbeitet wurden, für KI-Erkennungswerkzeuge? Viele bestehende Werkzeuge sind darauf ausgelegt, Texte in höchstens drei Kategorien einzuteilen: vollständig von Menschen verfasst, vollständig von KI verfasst oder gemischt. Dieses Schema unterscheidet nicht zwischen einem Absatz, dessen Grammatik von einem LLM korrigiert wurde, und einem Absatz, der von einem Modell zur Ergänzung von Details erweitert wurde.

Um das gesamte Spektrum der KI-Bearbeitungen in Texten vollständig zu erfassen, stellen wir Pangram 3.0 vor, ein Modell, das entwickelt wurde, um den Umfang der KI-Beteiligung an der Erstellung eines Textes zu quantifizieren. Anstatt eine Einstufung in „vollständig menschlich“, „vollständig KI“ oder „gemischt“ zu liefern, gibt Pangram einen Wert aus, der der „Stärke“ des KI-Eingriffs entspricht.

Homogene vs. heterogene gemischte Urheberschaft

Pangram 3.0 befasst sich mit dem Fall von Texten, die wir als „homogene Texte mit gemischter Urheberschaft“ bezeichnen. Schauen wir uns einmal den Unterschied zwischen homogener und heterogener gemischter Urheberschaft genauer an.

Im heterogenen Fall lässt sich die Urheberschaft jedes Textsegments direkt einem Menschen oder einer KI zuordnen. Im folgenden Beispiel beginnt ein Mensch mit dem Verfassen einer Rezension und bittet ChatGPT anschließend, diese zu ergänzen. In solchen Fällen gibt es eine oder mehrere Grenzen zwischen den von Menschen und von KI verfassten Segmenten. Man könnte jeden Satz oder sogar jedes Wort danach kennzeichnen, wer es verfasst hat: Mensch oder KI. Die Erkennung heterogener gemischter Texte (auch als feinkörnige KI-Texterkennung bezeichnet) wurde bereits von Kushnareva et al. (2024), Wang et al. (2023) und Lei et al. (2025) untersucht.

Im homogenen Fall ist die Urheberschaft durch den Bearbeitungsprozess verflochten. Um bei unserem Beispiel der Restaurantkritik zu bleiben: Ein homogener Mischtext entsteht, wenn ein Mensch eine kurze Kritik verfasst, ChatGPT jedoch bittet, diese mit weiteren Details anzureichern. In diesem Fall ist es unmöglich, die vom Menschen verfassten Wörter von den von der KI verfassten zu trennen: Die KI hat den menschlichen Text mit neuen Wörtern umformuliert, aber die Bedeutung und die Ideen hinter dem Text stammen direkt aus dem menschlichen Entwurf (man stelle sich einen Fall vor, in dem ein menschlicher Autor einen anderen ohne Quellenangabe paraphrasiert – dies ist ein klassischer Fall von Plagiat!).

Abbildung 2: Beispiel für einen heterogenen Text mit gemischter Autorenschaft (Mensch und KI) (links) und einen homogenen Text mit gemischter Autorenschaft (rechts)

Jeder der drei bearbeiteten Texte in Abbildung 1 ist ein Beispiel für den Fall einer homogenen gemischten Autorschaft. Anhand dieser drei Beispiele lässt sich ein deutlicher Unterschied zwischen dem Text, der durch die Aufforderung „Korrigiere alle Fehler“ erzeugt wurde, und dem Text, der durch die Aufforderung „Formuliere es anschaulicher“ erzeugt wurde, erkennen. Dieser Unterschied ist besonders deutlich, wenn wir die erzeugten Texte mit dem ursprünglichen, von Menschen verfassten Text vergleichen. Mit Pangram 3.0 machen wir jedoch einen Schritt in Richtung Quantifizierung dieses Unterschieds, wenn uns nur der bearbeitete Text vorliegt, sodass Nutzer besser verstehen können, wie stark KI in einem bestimmten Text vertreten ist.

Erstellen eines KI-bearbeiteten Datensatzes

Um ein Modell darauf zu trainieren, den Anteil an KI-Bearbeitung in einem Text zu bestimmen, mussten wir einen Trainingsdatensatz erstellen, der aus KI-bearbeiteten Texten bestand, die mit dem jeweiligen Anteil an KI-Bearbeitung gekennzeichnet waren. Wir wählten vollständig von Menschen verfasste Quelltexte aus Open-Source-Datensätzen verschiedener Bereiche aus: Nachrichten, Rezensionen, pädagogische Webartikel und Schreibanregungen von Reddit. Anschließend wandten wir 303 verschiedene Bearbeitungsanweisungen an, wie beispielsweise „Formuliere dies anschaulicher“ oder „Kannst du mir helfen, eine bessere Note für meinen Aufsatz zu bekommen?“, wobei wir drei verschiedene kommerzielle LLMs verwendeten: GPT-4.1, Claude Sonnet 4 und Gemini 2.5 Flash. Schließlich generierten wir für jeden von Menschen verfassten Text eine vollständig KI-generierte Version (auch als „synthetischer Spiegel“ bezeichnet, siehe den Pangram Technical Report). Unser endgültiger Datensatz umfasst 60.000 Trainings-, 6.000 Test- und 2.400 Validierungsbeispiele.

Wie lässt sich feststellen, inwieweit ein Text von einer KI bearbeitet wurde?

Da wir bei der Erstellung des Datensatzes Zugriff auf den unbearbeiteten Quelltext hatten, konnten wir den Umfang der KI-Bearbeitung im Text messen, indem wir den Quelltext mit seiner KI-bearbeiteten Version verglichen. Wir verwendeten eine Metrik zur Textähnlichkeit, den sogenannten Kosinusabstand, um auf einer Skala von 0 bis 1 abzuschätzen, inwieweit die KI den von Menschen verfassten Quelltext verändert hat, wobei vollständig von Menschen verfasste Texte den Wert 0 und vollständig KI-generierte Texte den Wert 1 erhielten. Um zu überprüfen, ob dieser Wert der menschlichen Wahrnehmung von KI-Bearbeitung entspricht, führten wir eine Studie durch, in der wir drei Experten mit umfangreicher Erfahrung im Umgang mit KI-generierten Texten beauftragten und sie baten, zu entscheiden, welcher von zwei KI-bearbeiteten Texten stärker von der KI bearbeitet war. Unsere Studie ergab, dass die Gutachter unserer Wahl der Metrik zur Textähnlichkeit im Allgemeinen zustimmten.

Ein Modell trainieren, um KI-Bearbeitungen vorherzusagen

Sobald wir unseren beschrifteten Datensatz hatten, war es an der Zeit, ein Modell zu trainieren. Unser Modell wird ausschließlich auf den von der KI bearbeiteten Texten trainiert, was widerspiegelt, wie ein Nutzer Pangram 3.0 verwenden würde: Ein Lehrer, der daran interessiert ist, wie viel KI sein Schüler genutzt hat, verfügt nur über die eingereichte Arbeit des Schülers, nicht über vorherige Entwürfe. Anhand eines Textes wird unser Modell darauf trainiert, die KI-Bearbeitungsbewertung vorherzusagen, die wir ihm im vorherigen Abschnitt zugewiesen haben. Abbildung 3 veranschaulicht die Ein- und Ausgänge unseres Modells sowohl während des Trainings als auch zur Testzeit.

Erkennung von KI-Unterstützung in der Praxis

Hier ist ein von einem Menschen verfasster Absatz über den Autor Kazuo Ishiguro:

Wer die Werke des britischen Autors Kazuo Ishiguro liest, erlebt Frustration auf vielen verschiedenen Ebenen. Das Geniale an Ishiguros frustrierendem Schreibstil ist, dass die Frustration allgegenwärtig ist, ganz gleich, wie sehr sich der Leser emotional in die Figuren und die Handlung hineinversetzt. Auf der Ebene der Sprache selbst stößt der Leser auf Wiederholungen, Weitschweifigkeit und eine großzügige Prise einschränkender Adjektive. Ishiguro hat mich darauf konditioniert, jedes Mal eine körperliche Abneigung zu verspüren, wenn eine seiner Figuren etwas in der Art von „Ich fasse mich kurz“ sagt. Die Erzähler sind alle berufstätig, aber keiner von ihnen ist ein professioneller Geschichtenerzähler. Informationen werden langsam, ungenau und in nicht chronologischer Reihenfolge vermittelt. Dies entzieht dem Leser konkrete Fakten, die das Verständnis der Handlung erleichtern würden.

So charakterisiert Pangram 3.0 die von KI bearbeiteten Versionen dieses Absatzes aus ChatGPT, nachdem wir verschiedene Eingabeaufforderungen verwendet haben:

Fallstudie zu Grammarly

Grammarly ist ein abonnementbasierter KI-Schreibassistent, der es Nutzern ermöglicht, Texte mithilfe von LLMs direkt in ihrem gewohnten Textverarbeitungsprogramm zu bearbeiten. Wir haben einen Datensatz zusammengestellt, in dem wir Grammarly verwendet haben, um 9 der voreingestellten Bearbeitungsanweisungen auf 197 von Menschen verfasste Texte anzuwenden. Dazu gehörten Anweisungen wie „Vereinfachen“, „Fließender formulieren“ und „Beschreibender formulieren“. Anschließend haben wir alle bearbeiteten Texte mit Pangram 3.0 bewertet. In Abbildung 4 stellen wir die Verteilungen der KI-Unterstützungswerte dar, gruppiert nach Bearbeitungshinweis. Wir können sehen, dass Pangram 3.0 – vielleicht entgegen der Intuition – „Korrigiere alle Fehler“ als die geringfügigsten Bearbeitungen einstuft, während „Fasse es zusammen“ und „Mach es detaillierter“ als wesentlich eingreifendere Bearbeitungen angesehen werden.

Abbildung 4: Verteilung der Pangram 3.0 (EditLens)-Werte auf einen von Grammarly gesammelten Datensatz. Die Werte sind nach den darauf angewendeten Korrekturen gruppiert. Alle Korrekturen sind Standardoptionen, die in der Textverarbeitungsfunktion von Grammarly verfügbar sind.

Der KI-Unterstützungswert steigt, je mehr KI-Bearbeitungen Sie vornehmen

Wir haben ein Experiment durchgeführt, bei dem wir denselben Text fünfmal mit einem LLM überarbeiten ließen und den Text nach jeder Überarbeitung erneut mit Pangram 3.0 bewerteten. In Abbildung 5 ist zu erkennen, dass der KI-Unterstützungswert (EditLens) im Allgemeinen mit jeder weiteren Überarbeitung steigt.

Abbildung 5: Pangram-3.0-Werte nach jeweils einer von fünf aufeinanderfolgenden KI-Bearbeitungen desselben Dokuments.

Fallstudie zur Internationalen Konferenz über Lernrepräsentationen (ICLR)

Im November äußerten KI-Forscher Bedenken hinsichtlich des hohen Anteils an Beiträgen und Begutachtungen, bei denen der Verdacht bestand, dass sie von KI generiert worden seien, auf der International Conference on Learning Representations (ICLR), einer der führenden Konferenzen im Bereich KI und maschinelles Lernen. Graham Neubig, Professor an der Carnegie Mellon University, setzte eine Belohnung für jeden aus, der die diesjährigen ICLR-Beiträge und -Begutachtungen einer KI-Erkennung unterzog, und wir von Pangram nahmen diese Herausforderung gerne an.

Im Rahmen dieser Analyse haben wir Pangram 3.0 auf alle Peer-Reviews angewendet, die in diesem Bewertungszyklus bei der ICLR eingereicht wurden, sowie auf Bewertungen aus dem Jahr 2022, um unsere Falsch-Positiv-Rate (FPR) zu überprüfen. Bei den Gutachten aus dem Jahr 2022 wies Pangram 3.0 eine FPR von etwa 1 zu 1.000 bei „leicht bearbeitet“ im Vergleich zu „vollständig menschlich“, eine FPR von 1 zu 5.000 bei „mäßig bearbeitet“ im Vergleich zu „vollständig menschlich“ und eine FPR von 1 zu 10.000 bei „stark bearbeitet“ im Vergleich zu „vollständig menschlich“ auf. Wir konnten keine Verwechslungen zwischen „vollständig KI-generiert“ und „vollständig menschlich“ feststellen. Bei den diesjährigen Bewertungen stellte Pangram 3.0 fest, dass über die Hälfte der Bewertungen in irgendeiner Form KI-Unterstützung enthielt. Abbildung 6 zeigt die Verteilung der Pangram 3.0-Werte über alle 2026 ICLR-Bewertungen.

Abbildung 6: Verteilung der Vorhersagen von Pangram 3.0 in den ICLR-Bewertungen von 2026

Wenn Sie mehr über unsere Methodik und Ergebnisse erfahren möchten, lesen Sie doch unseren Blogbeitrag zu unserer Analyse.

Wie geht Pangram 3.0 mit KI-gestützten Texten um, die von Nicht-Muttersprachlern verfasst wurden?

Wir haben die Ergebnisse unserer Analyse sowie die Pangram-3.0-Werte für alle Rezensionen veröffentlicht, sodass die Rezensenten überprüfen konnten, wie Pangram 3.0 die von ihnen verfassten Rezensionen bewertet hat. Auf diese Weise erhielten wir Erfahrungsberichte darüber, wie sich Pangram 3.0 bei der Bewertung von Texten aus der Praxis bewährt.

Ein häufiges Thema in den Antworten auf X zu unserer Analyse war die Frage, wie KI-Assistenten Texte bewerten, die von Nicht-Muttersprachlern verfasst und anschließend mithilfe von LLMs übersetzt oder überarbeitet wurden. Im Folgenden geben wir einige Antworten von Gutachtern wieder, die der Einschätzung ihrer Bewertungen durch Pangram im Großen und Ganzen zustimmten:

Ich habe meine Rezensionen überprüft, die von LLMs ins Englische überarbeitet wurden, und sie alle als „keine KI erkannt / vollständig von Menschen verfasst“ markiert

— Ana Marasović (@anmarasovic) 15. November 2025

Ich habe meine Bewertungen überprüft. Das Ergebnis: 2 mäßig von KI bearbeitet, 2 stark und 1 leicht. Da ich die Bewertung auf Chinesisch verfasst habe und GPT mir bei der Übersetzung ins Englische hilft, ist dieses Ergebnis nicht überraschend. Aber ich halte mich für einen verantwortungsbewussten Rezensenten :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16. November 2025

Mittlerweile vertrauen wir der KI bei der Erkennung von KI-generierten Inhalten mehr als den KI-generierten Inhalten selbst, haha.
Um es klar zu sagen: Ich habe größten Respekt vor den Menschen, die sich die Mühe gemacht haben, diese Analyse zu ermöglichen.

Aus eigener Erfahrung: Ich habe einen Beitrag, bei dem alle vier Bewertungen… https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17. November 2025

Wir freuen uns, Ihnen dieses Produkt-Update vorstellen zu dürfen. Weitere technische Details zur KI-gestützten Erkennung von Pangram 3.0 (EditLens) finden Sie in unserem Forschungsbericht unter folgendem Link: https://arxiv.org/abs/2510.03154