Pangram 4 – Technischer Bericht

Pangram 4 ist unser neuestes, hochmodernes KI-Modell zur Texterkennung. Im Vergleich zu seinem Vorgänger weist Pangram 4 deutliche Verbesserungen bei der Unterscheidung zwischen vollständig KI-generierten, von mehreren Autoren verfassten und KI-unterstützten Texten auf und bietet gleichzeitig eine überlegene Granularität, die eine feinere Unterscheidung zwischen von Menschen verfassten und KI-generierten Abschnitten innerhalb eines Dokuments ermöglicht. Es ist zudem robust gegenüber Humanizern und adversarialen Prompts und arbeitet bei den neuesten Pioniermodellen deutlich genauer.

Nach unserem Kenntnisstand ist Pangram 4 das erste Modell zur Erkennung von KI-Text, das in der Lage ist, in einem einzigen Durchlauf gleichzeitig zwischen KI-gestützten Texten und Texten, die sowohl von KI als auch von Menschen verfasst wurden, zu unterscheiden.

Wichtigste Ergebnisse:

• In unseren Tests identifiziert Pangram 4 99,66 % der KI-generierten Dokumente korrekt, während von den von Menschen verfassten Texten nur in 0,0041 % der Fälle fälschlicherweise als KI-Text eingestuft werden – das entspricht etwa einem Fehlalarm pro 24.000 Dokumente.
• Pangram 4 übertrifft Pangram 3 in beiden Bereichen: Es weist fast sechsmal weniger falsch-negative Ergebnisse und 14-mal weniger falsch-positive Ergebnisse auf.
• Pangram 4 verwechselt eine leichte KI-Optimierung nicht mit einer KI-Generierung: Es stuft von einer KI optimierte Texte von Menschen nur in 0,009 % der Fälle als vollständig KI-generiert ein, was einer 20-fachen Verringerung gegenüber Pangram 3 entspricht.
• Im Vergleich zu 13 gängigen kommerziellen Humanisierungs-Tools erkennt Pangram 4 in 98,83 % der Fälle, dass humanisierter KI-Text von einer KI erstellt wurde.

Gemeinsame Urheberschaft und KI-Unterstützung

Viele der heute verfassten schriftlichen Dokumente lassen sich nicht mehr eindeutig der Kategorie „vollständig von KI generiert“ oder „vollständig von Menschen verfasst“ zuordnen; vielmehr leben wir in einer Zeit, in der der Stil eines Textes und seine Argumentation durchaus unterschiedliche Ursprünge haben können.

Wir halten es für wichtig, diese Dokumentenkategorie sowohl von vollständig KI-generierten als auch von vollständig von Menschen verfassten Texten abzugrenzen. Dies ist für uns in zweierlei Hinsicht von Bedeutung: Zum einen glauben wir an transparente Urheberschaft, zum anderen prägen Sprachmodelle als beliebte und aufstrebende Technologie die Welt auf eine Weise, die wir noch nicht vollständig verstehen – doch es gibt bereits erste Anzeichen dafür. Einige Forschungsergebnisse deuten darauf hin, dass die Verwendung von Sprachmodellen zur Bearbeitung von Texten deren Stil in messbarer Weise verändert; so neigen beispielsweise von einem LLM umgeschriebene wissenschaftliche Arbeiten dazu, Absicherungswörter („möglicherweise“, „typischerweise“, „deutet darauf hin“) und Betonungswörter („stark“, „robust“, „konsistent“) anzuhäufen. Verwandte Arbeiten zeigen, dass LLM-Bearbeitungen die Bedeutung eines Textes verändern, selbst wenn das Modell angewiesen wird, nur die Grammatik zu korrigieren, und dass von LLMs verfasste Peer-Reviews Klarheit und Signifikanz anders gewichten als menschliche Gutachter. An anderer Stelle gibt es Hinweise darauf, dass es schwierig ist, die Spuren eines KI-generierten Entwurfs selbst durch umfangreiche Überarbeitungen zu beseitigen: Autoren, die LLM-Ergebnisse an ihren persönlichen Stil anpassen, produzieren dennoch Texte, die sich eher wie LLM-Texte lesen als wie ihre eigenen.

Um das Problem anzugehen, betrachten wir zwei Hauptansätze, wie menschliche und KI-Autorschaft kombiniert werden können. Bei heterogenen Dokumenten, bei denen Segmente eindeutig entweder einem KI- oder einem menschlichen Autor zugeordnet werden können, verwendet Pangram eine Vorhersage auf Token-Ebene. Bei einem iterativ bearbeiteten Segment hingegen, bei dem kein Token eindeutig einem einzelnen KI- oder menschlichen Autor zugeordnet werden kann, kennzeichnet Pangram das Segment als KI-unterstützt.

Der Unterschied zwischen heterogenem und homogenem gemischtem Text.

Pangram ist robust gegenüber Humanizern und feindlichen Eingaben.

Mit der Verbesserung der KI-Erkennungstechnologie steigt auch die Nachfrage nach Software, die von KI generierte Texte umschreibt, um einer automatischen Erkennung zu entgehen. Diese Tools zielen oft darauf ab, die Erkennung in Bereichen zu unterlaufen, in denen die Urheberschaft von entscheidender Bedeutung ist, wie beispielsweise in der Wissenschaft, der Forschung oder im Verlagswesen. Um dem entgegenzuwirken, verfügt Pangram 4 über eine spezielle Funktion zur Erkennung von „humanisiertem“ Text. Im Vergleich zu 13 gängigen kommerziellen Humanisierungstools identifiziert Pangram in 98,83 % der Fälle den KI-Einsatz in humanisierten KI-Ergebnissen.

Eine weitere gängige Strategie zur Umgehung der Erkennung ist das „Adversarial Prompting“, wie beispielsweise der „Blader Humanizer“, bei dem ein Nutzer ein großes Sprachmodell (LLM) anweist, von seinem typischen Schreibstil abzuweichen. Um unsere Leistung in diesem Bereich zu bewerten, haben wir einem KI-Agenten (Codex GPT 5.6 Sol) 24 Stunden lang Zugriff auf die Pangram-4-API gewährt, mit dem Ziel, reproduzierbare „False Negatives“ zu erzeugen.

Im Rahmen seiner Bemühungen testete GPT 5.6 eine Vielzahl von Strategien, darunter Stilimitation, prägnante Fachsprache und das Vorladen von Kontext anhand menschlicher Quelltexte. Im Testzeitraum gelang ihm nur ein einziger erfolgreicher Umgehungsversuch, indem es diktierte chirurgisch-pathologische Notizen nachahmte. Obwohl dies beeindruckend ist, betrachten wir diesen Versuch letztendlich als außerhalb des Untersuchungsrahmens liegend, sowohl weil die Eingabe mehr Kontext enthielt als die Ausgabe, als auch weil der resultierende Text aus knappen Stichpunkten bestand und nicht aus der frei formulierten Prosa, die wir normalerweise anstreben.

Schulung und Architektur

Zur Feststellung der Urheberschaft definieren wir KI-generierten Text als originelle Prosa in natürlicher Sprache, die von einem LLM als Antwort auf eine offene Schreibaufgabe oder Frage erzeugt wurde. Darüber hinaus verlangen wir, dass das LLM originelle Token beisteuert, und schließen Fälle aus, in denen das Modell von Menschen verfasste Texte wörtlich nachplappert; beispielsweise durch Zitate aus dem Kontextfenster, das Wiedergeben auswendig gelernter Inhalte oder das Kürzen von menschlichen Eingabezeichenfolgen.

Trainingsdaten

Wir haben Pangram 4 sowohl mit von Menschen verfassten als auch mit KI-generierten Texten aus einer Vielzahl von Fachgebieten, Sprachen und KI-Modellen trainiert.

Wie bereits in früheren Versionen sind alle von Menschen verfassten Trainingsdaten kommerziell lizenziert oder Eigentum des Unternehmens. Wie immer wurde Pangram 4 nicht mit von Nutzern eingereichten Daten, Kundendaten von API-Nutzern oder Daten aus unbefugten Internet-Crawls trainiert.

Nachstehend ist eine grobe Verteilung der Domänen in unserem Datensatz zum Menschen dargestellt.

Ungefähre Aufschlüsselung des von Menschen verfassten Ausgangstextes nach Kategorien.

Für den KI-Teil unseres Datensatzes generieren wir alle synthetischen Beispiele intern mithilfe von 75 der beliebtesten Modelle, darunter alle derzeit verfügbaren Modelle von OpenAI und Anthropic. Unser Ziel bei der Erstellung unseres synthetischen Datensatzes ist es, einen Kontext bereitzustellen, der dem Modell hilft zu lernen, wie ein Text verfasst wurde, anstatt lediglich Themen-, Sprach- oder Stilmerkmale von KI-Texten zu übernehmen.

Um Fehlalarme bei ungewöhnlichen menschlichen Schriftzügen zu reduzieren, lassen wir ein trainiertes Kandidatenmodell einen Reservepool aus menschlichen Texten durchlaufen, um Elemente zu identifizieren, die das Kandidatenmodell fälschlicherweise als KI-generiert einstuft. Anschließend generieren wir synthetische Spiegelbilder der falsch eingestuften Elemente und trainieren das Kandidatenmodell anhand des kombinierten Datensatzes neu. Diese Methode bezeichnen wir als „Hard-Negative-Mining“.

Architektur

Pangram 4 ist unser bislang größtes Modell und verfügt über sechsmal so viele Parameter wie Pangram 3.3. Im Vergleich zu seinem Vorgänger weist Pangram 4 mehrere wesentliche architektonische Änderungen auf. Es ist zudem unser erstes „Mixture-of-Experts“-Modell, bei dem ein „Sparse-Routing“-Mechanismus verschiedene Arten von Eingaben an unterschiedliche Teile des neuronalen Netzwerks weiterleitet. Wir sind davon überzeugt, dass sich diese Art von Architektur aufgrund der großen Bandbreite an Eingabemöglichkeiten gut für die KI-Erkennung eignet.

Überblick über die Pangram-4-Architektur.

Mechanismen der Vorhersage

Um die Genauigkeit seiner Vorhersagen zu erhöhen, ermittelt Pangram 4 für jedes Token in einer gegebenen Eingabezeichenfolge drei Werte, die seiner Einschätzung entsprechen, ob dieses Token von einem Menschen verfasst, KI-unterstützt oder KI-generiert wurde. Längere Dokumente werden in sich überlappenden Fenstern von jeweils 512 Token bewertet, sodass wir für jedes Fenster neben einer Aggregation der Werte auf Token-Ebene auch einen Wert auf Fenster-Ebene erhalten. Alle Werte werden anschließend gemittelt und geglättet, um unerwünschte Schwankungen bei den Vorhersagen einzelner Token zu vermeiden. Diese Methode ersetzt den bisherigen Ansatz, den Text während der Vorverarbeitung naiv in Blöcke zu unterteilen, und ermöglicht es uns, die Grenze zwischen KI- und menschlich verfassten Inhalten präzise zu bestimmen.

Leistung und Benchmarks

Um reale Anwendungsfälle für große Sprachmodelle (LLM) genau nachzubilden, haben wir Pangram 4 anhand von von Menschen verfassten, KI-generierten und KI-unterstützten Texten anhand verschiedener Standard- und Challenge-Benchmarks evaluiert.

Falsch-positive Ergebnisse

Für den menschlichen Teil des Testdatensatzes wurde Pangram 4 anhand einer Sammlung von 2 Millionen kommerziell lizenzierten Dokumenten aus der Zeit vor 2022 bewertet, die vom Modelltraining ausgeschlossen worden waren. Bei diesem Benchmark erreicht Pangram 4 eine Falsch-Positiv-Rate von 0,0041 % mit einem 95-%-Konfidenzintervall von (0,0032 %, 0,0050 %). Das entspricht einem Falsch-Positiv pro rund 24.000 Dokumenten.

Falsch-negative Ergebnisse im KI-generierten Datensatz

Wir haben diesen Benchmark erstellt, indem wir Nutzeranfragen aus den „Chatbot Arena Conversations“ herangezogen haben; wir haben diese Sammlung von Anfragen ausgewählt, um die tatsächliche Verteilung der Anfragen widerzuspiegeln, die Nutzer an große Sprachmodelle (LLMs) senden. Anschließend haben wir ein kleines Sprachmodell (Mistral-Small-24B-Instruct-2501) verwendet, um alle Anfragen herauszufiltern, die Hilfe bei Mathematik oder Programmierung sowie Multiple-Choice-Antworten erforderten, da wir diese als außerhalb des Untersuchungsrahmens liegend betrachteten. Nach der Filterung verblieb ein umfassender Satz von 20.000 Eingaben, die offene Antworten von den Modellen hervorriefen. Für jede Eingabe in diesem Satz generierten wir eine Antwort für jedes Sprachmodell in unserem Satz von 26 Modellen, darunter GPT-5.5, Claude Opus 4.8 und Gemini 3.1 Pro, was insgesamt 519.993 erfolgreich bewertete Beispiele ergab.

Bei diesem Benchmark erreicht Pangram 4 eine Gesamt-Falsch-Negativ-Rate von 0,3396 %, während Pangram 3 bei demselben Datensatz eine FNR von 1,99 % aufweist.

Robustheit gegenüber Frontier-Modellen

Pangram 4 lässt sich auf alle hochentwickelten Sprachmodelle verallgemeinern: Jede Modellfamilie wird mit einer FNR von unter 0,7 % erkannt, und wir stellen keine signifikante Korrelation zwischen dem Veröffentlichungsdatum eines Modells und dessen Erkennbarkeit fest.

Leistung bei gemischten und bearbeiteten Dokumenten

Wir erstellen einen Datensatz mit durch KI korrigierten und überarbeiteten Texten, um unsere KI-unterstützte Falsch-Positiv-Rate zu bewerten – also die Rate, mit der ein Modell geringfügige, von der KI vorgenommene Änderungen fälschlicherweise als KI-Eingriff kennzeichnet. Wir verwenden Verbraucherprodukte (Grammarly, Apple Intelligence und Gemini in Google Docs) sowie modernste LLMs (Opus 4.8, Gemini 3.1 und GPT-5.5), um geringfügige Änderungen an studentischen Texten aus den Datenbeständen von ELLIPSE, PELIC und ICNALE vorzunehmen. Beispielsweise nutzten wir die in Apples Textverarbeitungsprogramm „Pages“ integrierte Funktion „Writing Tools“, um einige Texte zu „korrigieren“, oder wiesen Opus 4.8 an, „kleine stilistische Probleme im akademischen Kontext zu korrigieren, wobei der Entwurf erkennbar von einem Menschen verfasst sein sollte“.

Pangram 3 im Vergleich zu Pangram 4 anhand eines Auszugs aus einem heterogenen, gemischten Dokument. Pangram 4 erkennt KI mit einer wesentlich feineren Auflösung.

Wie geht es weiter?

Wir freuen uns sehr, dieses Modell vorstellen zu dürfen, das unserer Meinung nach derzeit weltweit das beste seiner Art ist. Da es sich bei Pangram jedoch um ein statistisches Modell handelt, gibt es immer Raum für Verbesserungen; daher haben wir uns für diese Modellreihe einige Ziele gesetzt.

Zunächst hoffen wir, der Datenverschiebung vorbeugend entgegenzuwirken, bevor sie zu einem Problem wird. Derzeit ist nicht bekannt, wie lange ein Trainingsdatensatz aus der Zeit vor 2022 noch ausreichen wird, um die Art von robusten Vorhersagemodellen zu erstellen, die unsere Standards erfordern. Daher hat die Suche nach Methoden zur Erweiterung unseres von Menschen erstellten Trainingsdatensatzes höchste Priorität – natürlich ohne dabei unsere Garantie zu beeinträchtigen, dass für jedes organische Dokument, mit dem wir trainieren, ein von Menschen festgelegter Referenzwert vorliegt.

Als Nächstes möchten wir die Stabilität der Vorhersagen von Pangram 4 über verschiedene Kontexte hinweg sicherstellen. Gelegentlich erhält ein Teil eines längeren Textes unterschiedliche Vorhersagen, je nachdem, ob er isoliert steht oder in das umgebende Dokument eingebettet ist. Möglicherweise spiegelt diese Situation wider, wie zusätzlicher Kontext dem Modell mehr Informationen oder ein stärkeres Signal liefert, aber wir hoffen, diesen Effekt durch eine bessere Kalibrierung minimieren zu können.

Abschließend möchten wir unsere Arbeit im Bereich der Interpretierbarkeit fortsetzen, um unser Verständnis der Merkmalsattribution, des Einbettungsraums und der Generatoridentifikation zu vertiefen. Dies gehört zu unseren ehrgeizigsten Projekten, und wir freuen uns darauf, unsere Fortschritte in den kommenden Monaten zu präsentieren.

Modellkarte

Ausführliche Informationen finden Sie in der Modellkarte „Pangram 4“.