Wie funktioniert Pangram?

Wir halten es für wichtig, KI-generierte Texte zuverlässig erkennen zu können, und haben daher einen Detektor entwickelt, der genau das leistet. Da dieses Thema von so großer Bedeutung ist, ist es nur vernünftig, transparent darzulegen, wie dieser Detektor funktioniert.

Wenn ein Autor einen Satz schreibt, trifft er dabei Tausende bewusster und unbewusster Entscheidungen darüber, wie dieser Satz aufgebaut sein soll. Im Grunde genommen ist die KI-Erkennung ein Problem der Autorenidentifizierung – es geht darum, zu kategorisieren, welche Entscheidungen für welche Art von Autor typisch sind. Das ist möglich, weil LLMs wie ChatGPT zwar keine Menschen sind, aber dennoch als einzelner Autor Entscheidungen treffen. Die Art der Entscheidungen, die sie treffen, ist zudem begrenzt: Assistenzmodelle müssen hilfreiche, klare Texte verfassen, um Fragen effektiv zu beantworten. Diese Präferenzen werden dem Modell während des Trainings eingeprägt, und sobald sie vorhanden sind, lässt es sich nur sehr schwer verhindern, dass sie zum Vorschein kommen.

Was ist ein Pangram?

Pangram ist eine Art neuronales Netzwerk, das als Klassifikationsmodell bezeichnet wird. Im weitesten Sinne liest Pangram einen Textabschnitt und schätzt – unter Verwendung einer riesigen Menge an erlernten Mustern – ein, ob dieser von einer KI generiert wurde.

Pangram lernt, zwischen von Menschen verfassten Texten und solchen aus LLM-Modellen zu unterscheiden, indem es eine Art Karte erstellt, auf der Autoren mit ähnlichen Schreibstilen nahe beieinander platziert werden, während diejenigen, deren Stile sich unterscheiden, weiter voneinander entfernt positioniert werden. Auf dieser Karte bilden von Menschen verfasste und KI-generierte Texte unterschiedliche Cluster, und unsere Forschung zeigt, dass Pangram sogar große kommerzielle Sprachmodelle wie ChatGPT und Claude in verschiedenen Bereichen lokalisieren kann.

Wenn Pangram auf einen Text stößt, den es noch nie gesehen hat, ermittelt es dessen Platz auf der Karte, indem es ihn mit den Texten vergleicht, die es bereits kennt. Kein einzelner Aspekt des Textes bestimmt, wo er eingeordnet wird; daher besteht für einen menschlichen Autor keine Gefahr, falsch klassifiziert zu werden, nur weil ChatGPT eines seiner bevorzugten Stilmittel übernommen hat, wie beispielsweise den Gedankenstrich. Sichtbare LLM-typische Merkmale sind nur eines von Hunderttausenden Signalen, die Pangram berücksichtigt.

Fallen die resultierenden Koordinaten in einen Bereich, der von Menschen verfasst wurde, geht Pangram davon aus, dass der Text von Menschen stammt; fallen sie in einen eher mehrdeutigen Bereich oder weisen verschiedene Passagen desselben Textes in unterschiedliche Richtungen, hegt Pangram den Verdacht, dass es sich um KI-Text handeln könnte. Aus diesem Grund hat Pangram eine Mindestwortanzahl festgelegt: Je mehr Wörter, desto präziser die Koordinaten. Derselbe Ansatz hilft Pangram auch dabei, auf neue Versionen von KI-Modellen zu verallgemeinern, die in der Regel einen Großteil des Stils und der Sprachfarbe ihrer Vorgänger übernehmen und somit sehr ähnliche Bereiche auf der Karte einnehmen.

Pangram ist besser als andere KI-Detektoren

Bisherige Versuche, von KI verfasste Texte zu erkennen, waren klägliche und öffentliche Fehlschläge. Das liegt daran, dass dabei versucht wurde, die Art und Weise, wie große Sprachmodelle Texte erzeugen, nachzuvollziehen. Nach jedem Wort eines Satzes fragten diese Erkennungssysteme: Wenn ich ein großes Sprachmodell wäre, welches Wort würde ich als Nächstes erwarten?

Nimmt man beispielsweise einen Satzausschnitt wie „Ich werde mit meinem Hund … gehen“, könnte ein KI-Modell „spazieren“ oder „laufen“ als sehr wahrscheinliche Folgewörter betrachten, während zusammenhangslose Begriffe wie „Vorzeichen“ oder „Verglas“ keine wahrscheinlichen Kandidaten wären. Frühe Erkennungsverfahren versuchten, die Rangfolge wahrscheinlicher Wörter eines LLM zu rekonstruieren und diese mit dem tatsächlich auftretenden Wort zu vergleichen. Je häufiger der Text der vorhersehbaren Wahl folgte, desto wahrscheinlicher war es, dass das Erkennungsverfahren ihn als KI-generiert einstufte. Im Wesentlichen spiegelt dies wider, wie verwirrt ein LLM wäre, wenn es auf ein bestimmtes Wort als Nächstes in einem Satz stoßen würde; daher wurde diese Methode der KI-Erkennung als „Perplexity-Analyse“ bezeichnet.

Die Perplexitätsanalyse weist zahlreiche Probleme auf. Sie eignet sich nicht gut als Maß für das, was sie eigentlich unterscheiden soll, da menschliche Sätze häufig genauso „kanalisiert“ sind wie die Prosa von großen Sprachmodellen (LLM). So werden vorhersehbare oder strukturierte menschliche Texte oft fälschlicherweise von Perplexitätsdetektoren als verdächtig markiert, während diese Detektoren gleichzeitig durch offensichtliche Strategien wie das Ersetzen von Wörtern durch weniger gebräuchliche Synonyme mühelos umgangen werden können.

Bekanntlich versagen Perplexity-Modelle auch bei vielen Texten, die aus der Zeit vor dem Aufkommen des Computers stammen. Perplexity-basierte Erkennungsverfahren behaupten gerne, dass die Bibel, die Unabhängigkeitserklärung oder Mary Shelleys „Frankenstein“ zu 100 % von einer KI generiert wurden. Das liegt daran, dass große Sprachmodelle (LLMs) die Unabhängigkeitserklärung im Laufe ihres Trainings tausende Male gelesen haben, sodass jedes darin enthaltene Wort aus Sicht des LLMs kaum überraschend ist. Der Detektor interpretiert diese Wahrscheinlichkeit fälschlicherweise als Beweis dafür, dass der Text von einer KI generiert wurde.

Pangram umgeht dieses Problem, da es nicht versucht, die Funktionsweise eines LLM bei der Textgenerierung nachzuvollziehen. Anstatt jedes einzelne Wort zu betrachten und zu fragen: „Was würde ein LLM hier schreiben?“, betrachtet Pangram den gesamten Text und fragt: „Wem klingt das ähnlich?“ Auf diese Weise könnte das Maß an Vertrautheit von ChatGPT niemals dazu führen, dass Pangram historische Dokumente fälschlicherweise als KI-generiert einstuft – doch nicht jeder Fall ist so einfach.

Wie wir Pangram trainiert haben

Es ist nicht schwer, einen Klassifikator so zu trainieren, dass er eine Genauigkeit von 98 % erreicht. Die meisten von KI verfassten Texte lassen sich leicht erkennen, und ein neuronales Netzwerk kann die offensichtlichsten Merkmale schnell erlernen. So wie fast jeder ein Gedicht von E. E. Cummings mit einem Zitat aus „Die Brüder Karamasow“ vergleichen und zu dem Schluss kommen könnte, dass sie von verschiedenen Autoren stammen, kann ein einfacher Klassifikator mühelos ein von einer KI generiertes Nudelrezept von einem Tagebucheintrag eines Menschen unterscheiden. Doch bei der KI-Erkennung ist eine Genauigkeit von 98 % eklatant schlecht: Eine Fehlerquote von 2 % würde bedeuten, dass jedes 50. Dokument falsch klassifiziert wird, was jede einzelne Vorhersage in Frage stellen würde. Überlegen Sie also: Wenn Sie zu den besten 2 % der Dostojewski-Kenner gehörten, welche Strategie würden Sie anwenden, um zu den besten 0,01 % zu gehören?

Auf dieser Ebene führt das erneute Lesen von Dostojewski unmittelbar zu abnehmenden Erträgen – um die Lücke zu schließen, müssen die Merkmale gefunden werden, die niemand außer Dostojewski hervorbringen könnte. Eine gute Strategie könnte darin bestehen, einige professionelle Imitatoren zu engagieren, um möglichst überzeugende Dostojewski-Klone zu verfassen, und die Unterschiede zu untersuchen. Genau so trainieren wir Pangram: Für jedes Element unseres Datensatzes aus kommerziell lizenzierten, von Menschen verfassten Texten generieren wir ein KI-Double, das der Quelle so nahe wie möglich kommt. Die Doubles haben dieselbe Länge, denselben Tonfall und dasselbe Thema, sind jedoch KI-generiert. Anschließend trainieren wir das Pangram-Modell anhand dieser Textpaare aus menschlicher und KI-generierter Schrift.

Indem Pangram lernt, zwischen diesen Paaren zu unterscheiden, erhöht es effektiv die Auflösung der Grenzbereiche auf seiner internen Karte. Um sicherzustellen, dass Pangrams Karte so genau wie möglich ist, gehen wir äußerst sorgfältig mit dem Problem der Datenverfälschung um: Unser Datensatz bekannter menschlicher Texte stammt aus dem Jahr 2021 und früher, also aus einer Zeit, bevor KI im Internet Einzug hielt. Das funktioniert vorerst gut, aber wir sind uns der Tatsache bewusst, dass wir uns an die Entwicklung der Sprache anpassen müssen. Die vorausschauende Bekämpfung von Datenverschiebungen, bevor sie zu einem Problem werden, ist eine unserer obersten Forschungsprioritäten.

Woher wissen wir, dass Pangram richtig liegt?

Pangram ist ein statistisches Modell, das Vorhersagen ausschließlich auf der Grundlage von Text trifft; daher muss auch seine Genauigkeit statistisch überprüft werden. Genau das tun wir. Wir veröffentlichen interne Benchmark-Ergebnisse für jedes Pangram-Modell, das wir auf den Markt bringen, sowie jedes Mal, wenn ein KI-Labor seine LLMs aktualisiert. Außerdem wurden wir von unabhängigen Dritten, wie beispielsweise Teams der University of Chicago und der University of Maryland, getestet und verifiziert.

Wenn Sie Forscher sind – oder wenn Sie eine wirklich gute Idee haben und versprechen, Ihre Ergebnisse zu veröffentlichen –, können Sie sich für eines unserer API-Guthaben-Stipendien bewerben und unsere Modelle selbst testen. Wir sind stets auf der Suche nach Möglichkeiten, uns zu verbessern.