Wir stellen „AI Identification“ vor: Pangram kann die verschiedenen LLMs voneinander unterscheiden

Pangram ist die führende Software zur Erkennung von KI-generierten Texten, die von ChatGPT, Claude, Gemini und anderen Systemen verfasst wurden, sowie zur Unterscheidung von KI-Texten und von Menschen verfassten Texten.

Wir gehen nun noch einen Schritt weiter und bringen ein fortschrittliches Modell auf den Markt, das nicht nur KI-generierte Inhalte erkennen, sondern auch feststellen kann, aus welchem LLM ein KI-generierter Text stammt. Wir nennen unsere neue Technologie „AI Identification“.

KI-Identifizierung

Intuitiv erkennen die Menschen allmählich, dass die verschiedenen LLMs unterschiedliche Schreibstile haben. So ist ChatGPT beispielsweise dafür bekannt, recht direkt und schnörkellos zu sein, Claude dafür, flüssiger und gesprächiger zu sein, Grok dafür, unzensiert und provokativ zu sein, und Deepseek-R1 macht sich zunehmend einen Namen dafür, ausschweifend und wortreich zu sein.

Graham Neubig macht sich über die stilistischen Tendenzen der verschiedenen LLMs lustig

Ethan Mollick schwärmt von Claude Sonnets sympathischer Art.

Eine aktuelle Studie von Lisa Dunlap und ihren Kollegen an der UC Berkeley untersuchte die qualitativen Unterschiede (oder umgangssprachlich die „Stimmung“) verschiedener LLMs. Sie stellten viele interessante Dinge fest, wie zum Beispiel: „Llama ist humorvoller, verwendet mehr Formatierungen, liefert mehr Beispiele und äußert sich deutlich seltener zu ethischen Fragen als GPT und Claude“. Daraus lässt sich ableiten, dass die Modellleistung nicht immer mit den menschlichen Vorlieben übereinstimmt: Obwohl GPT-4 und Claude-3.5 fortschrittlichere Modelle sind als die Llama-Serie, scheint Llama auf Chatbot Arena – einem crowdsourced, Elo-basierten Ranking von LLMs, das auf den Vorlieben für Antworten auf dieselben Eingabeaufforderungen basiert – stets über seinen Möglichkeiten zu punkten. Sind Modelle, die auf Chatbot Arena gut abschneiden, intelligenter und leistungsfähiger, oder versuchen sie lediglich, die menschliche Psychologie so zu manipulieren, dass sie einfach „sympathischer“ wirken? Und da manche Modelle hilfreicher und sympathischer sind als andere, ist es überhaupt wichtig, dass sie bei der Lösung von Denkproblemen auf Doktoranden-Niveau möglicherweise weniger leistungsfähig sind? Dies sind Fragen, die es wert sind, untersucht zu werden, und die wichtig sind, um den Nutzen von Systemen wie Chatbot Arena gegenüber traditionellen Modellbewertungen zu verstehen.

Wir haben uns bei Pangram gefragt, ob es möglich ist, dass unser Modell diese „Vibes“ nutzen könnte, um diese LLMs zu identifizieren und voneinander zu unterscheiden.

Das KI-Erkennungssystem von Pangram

Ähnlich wie wir unser grundlegendes KI-Erkennungsmodell darauf trainieren, KI-Texte von menschlichen Texten zu unterscheiden, trainieren wir dasselbe Erkennungsmodell mithilfe einer Technik namens „Multi-Task-Learning“ auch darauf, KI-Texte zu identifizieren. In der Praxis ordnen wir die verschiedenen Sprachmodelle neun Familien zu, die wir durch umfangreiche Experimente ermittelt haben.

Es handelt sich um folgende Familien:

1. GPT-3.5
2. GPT-4 (einschließlich GPT-4o, GPT-4-Turbo und GPT-4o-Mini)
3. OpenAI-Modelle für logisches Denken
4. Claude
5. Google (einschließlich der beiden Gemini-Varianten und Gemma)
6. Grok
7. DeepSeek
8. Amazon Nova
9. Sonstige (einschließlich LLaMA, Mistral, Qwen und anderer Open-Source-Derivate dieser Modelle)

In der Praxis erreichen wir dies, indem wir unserem neuronalen Netzwerk einen weiteren „Kopf“ hinzufügen. Wenn wir die KI-Erkennungsaufgabe überwachen, überwachen wir gleichzeitig auch die KI-Identifizierungsaufgabe, indem wir die Modellkennzeichnung an das Netzwerk weiterleiten und den Fehler sowohl bei der KI-Identifizierung als auch bei der Erkennungsvorhersage rückwärtsverbreiten.

Bildquelle: GeeksForGeeks

Fast alle Schichten des Modells werden von beiden Aufgaben gemeinsam genutzt, lediglich die letzte Vorhersageschicht ist aufgeteilt.

Beim Multi-Task-Lernen stellen wir fest, dass sich manche Aufgaben gegenseitig unterstützen, wenn sie gemeinsam erlernt werden, während andere Aufgaben sich gegenseitig behindern. In der Biologie gibt es ein ähnliches Konzept: das der Symbiose im Gegensatz zum Parasitismus. Ein Clownfisch, der in einer Seeanemone lebt, ist beispielsweise ein Beispiel für Symbiose: Der Clownfisch ernährt sich von Raubtieren, die der Anemone schaden könnten, während er selbst durch Tarnung und Verstecken in der Anemone vor seinen eigenen Feinden geschützt ist.

Wir stellen fest, dass die Ergänzung der LLM-Identifizierungsaufgabe eine Synergie mit der LLM-Erkennungsaufgabe bildet. Mit anderen Worten: Unser Modell nicht nur dazu aufzufordern, KI-generierten Text zu erkennen, sondern auch das Modell zu identifizieren, aus dem er stammt, trägt insgesamt dazu bei, KI besser erkennen zu können. Andere Forscher haben ebenfalls bestätigt, dass sich die verschiedenen LLMs nicht nur von menschlich verfassten Texten unterscheiden, sondern auch voneinander.

Eine Einbettung ist eine Darstellung eines Textabschnitts als numerischer Vektor. Die einzelnen Werte der Einbettung sind für sich genommen nicht aussagekräftig, doch wenn zwei Einbettungen nahe beieinander liegen, bedeutet dies, dass sie entweder eine ähnliche Bedeutung oder einen ähnlichen Stil aufweisen. Mithilfe einer Technik namens UMAP können wir die Einbettungen, die sehr hochdimensional sind, im zweidimensionalen Raum visualisieren. Diese Autoren stellen fest, dass, wenn von Menschen und LLMs verfasste Dokumente in Stil-Einbettungen umgewandelt werden, wie Sie in der Abbildung oben sehen können, alle Dokumente, die demselben LLM entsprechen, im Einbettungsraum voneinander getrennt werden können! Das bedeutet, dass insgesamt alle Dokumente, die vom selben LLM verfasst wurden, stilistisch näher beieinander liegen als solche, die von verschiedenen LLMs oder von LLMs und Menschen verfasst wurden.

Dieses Ergebnis gab uns die Zuversicht, dass ein Klassifikator, der das ursprüngliche LLM identifizieren kann, realisierbar ist.

Genauigkeit der KI-Identifizierung

Unser Modell erkennt mit einer Genauigkeit von 93 % die richtige LLM-Familie, aus der ein KI-generierter Text stammt. Unten sehen Sie die Verwechslungsmatrix, die zeigt, wie oft unser Modell jede LLM-Familie korrekt identifiziert (Zellen auf der Diagonalen) und wie oft es eine LLM mit einer anderen verwechselt (Zellen außerhalb der Diagonalen). Je dunkler die Farbe, desto mehr Vorhersagen fallen in diese Zelle. Ein perfektes Modell hätte nur dunkle Quadrate entlang der Diagonalen und weiße Quadrate überall sonst.

Ein paar interessante Beobachtungen zu unserer Verwechslungsmatrix:

• Verwechslungen treten häufiger zwischen verschiedenen Modellfamilien auf. So wird beispielsweise GPT-4 oft mit der OpenAI-Reasoning-Reihe verwechselt. Das ist durchaus nachvollziehbar, da GPT-4 wahrscheinlich eine Komponente oder ein Ausgangspunkt für die Reasoning-Modelle von OpenAI ist!

• Das Modell ordnet LLMs häufiger der Kategorie „Sonstige“ zu als bestimmten LLMs. Dies zeigt, dass das Modell in Fällen, in denen es sich nicht sicher ist, eher auf „Sonstige“ zurückgreift, als sich auf ein bestimmtes LLM festzulegen.

Der LLM-Klassifikator ist zwar nicht perfekt, liefert jedoch oft genaue Ergebnisse. Vor allem aber verwechselt er, wenn er einmal falsch liegt, bestimmte KI-Systeme mit anderen KI-Systemen, verwechselt jedoch nicht die Ergebnisse von KI-Systemen mit echten menschlichen Texten.

Warum ist die Identifizierung mittels KI wichtig?

Wir hielten es aus mehreren Gründen für wichtig, über die Erkennung von KI hinauszugehen und auch die Identifizierung von KI zu lösen.

• Erstens sind wir der Ansicht, dass es zur Verbesserung der Leistungsfähigkeit des KI-Detektors selbst beiträgt, wenn man dem Modell beibringt, die Schreibstile verschiedener großer Sprachmodelle (LLMs) zu unterscheiden – eine Aufgabe, die schwieriger ist, als lediglich festzustellen, ob es sich um KI handelt oder nicht. Indem man das Modell dazu auffordert, über das Übliche hinauszugehen, eignet es sich gewissermaßen fortgeschrittene Fähigkeiten und latentes Wissen an, die ihm helfen, KI-generierte Texte mit höherer Genauigkeit zu erkennen.

• Die Interpretierbarkeit ist ein weiterer Grund, warum wir die Ergebnisse des LLM-Klassifikators anzeigen möchten. Wir möchten das Vertrauen stärken, dass das Modell tatsächlich weiß, was es im Hintergrund tut, und nicht nur willkürlich rät (wie viele andere Zufallsdetektoren). Indem wir nicht nur den KI-Wert anzeigen, sondern auch, aus welchem LLM der Text stammt, hoffen wir, das Vertrauen in die Fähigkeit des Modells zu stärken, die Feinheiten des KI-Schreibstils zu verstehen.

• Schließlich möchten wir zeitliche Muster aufdecken: Welche LLMs werden in der Praxis eingesetzt und wie häufig? Welche LLMs bevorzugen Studierende, Betrüger und Programmierer? Das sind die Fragen, auf die wir in künftigen Studien hoffentlich Antworten finden werden.

Fazit

Wir hoffen, dass Ihnen unsere KI-Identifizierungsfunktion gefällt und dass sie dazu beiträgt, die jeweiligen Eigenschaften und Arbeitsweisen der verschiedenen LLM-Familien besser zu verstehen. Für weitere Informationen wenden Sie sich bitte an info@pangram.com!