Aktualisierung des Pangram-Textes: GPT-4o, Claude 3, LLaMA 3

Foto: Google DeepMind.

Wir freuen uns, Ihnen heute zu zeigen, wie schnell wir uns an neue große Sprachmodelle (LLMs) auf dem Markt anpassen können. Dazu veröffentlichen wir ein Update unseres Modells, das bei der Erkennung von KI-generierten Texten aus GPT-4o, Claude 3 und LLaMA 3 eine nahezu perfekte Genauigkeit erzielt.

TL;DR:

• Wir haben eine neue Version von Pangram Text veröffentlicht, die die Leistung bei GPT-4o, Claude 3 und LLaMA 3 verbessert.
• Unsere Infrastruktur-Pipeline ist so ausgelegt, dass sie große Mengen an KI-Text aus neuen Modellen schnell verarbeiten kann, sobald diese öffentlich verfügbar sind.
• Wir stellen fest, dass sich die Leistung all dieser neuen Modelle dem Niveau von GPT-4 annähert und sie stilistisch gesehen auch immer ähnlicher klingen.

Ergebnisse

Unser zuletzt veröffentlichtes Modell war recht gut darin, die Ausgaben der neuen Modelle zu erkennen, auch ohne dass im Trainingsdatensatz Beispiele dafür enthalten waren. Wir geben uns jedoch nicht mit „recht gut“ zufrieden, sondern wollen sicherstellen, dass wir die Grenzen des Möglichen bei der KI-Erkennung kontinuierlich erweitern und für unsere Kunden die bestmögliche Genauigkeit erzielen.

Um zu testen, wie gut wir bei Sprachmodellen der nächsten Generation abschneiden, haben wir unseren Bewertungsdatensatz überarbeitet, der 25.000 Beispiele für schwer einzuordnende menschliche Texte und KI-generierte Texte aus einer Reihe von Sprachmodellen umfasst. Etwa 40 % dieses neuen Bewertungsdatensatzes bestehen aus einer Vielzahl von KI-generierten Texten aus GPT-4o, Claude 3 und LLaMA 3, die verschiedene Textbereiche abdecken, darunter Nachrichten, Rezensionen, Bildung und mehr.

Wir verwenden alle verfügbaren Versionen der neuen Modelle: So greifen wir beispielsweise gleichmäßig auf die Versionen „Opus“, „Sonnet“ und „Haiku“ von Claude 3 zurück.

Nachdem wir unseren Trainingsdatensatz aktualisiert haben, um die neuesten großen Sprachmodelle einzubeziehen, stellen wir fest, dass wir bei Texten, die von der neuesten Generation von Sprachmodellen generiert wurden, erneut eine nahezu perfekte Genauigkeit erzielen.

Wir haben festgestellt, dass die Einbeziehung von Trainingsdaten aus der neuesten Modellgeneration nicht nur die Leistung der neuen Modelle verbessert, sondern auch die Leistung einiger älterer Modelle geringfügig steigert.

Wir stellen fest, dass wir, ohne dass es zu Einbußen bei unserem alten Modell-Evaluierungsdatensatz kommt, die Erkennung von GPT-3.5 und (regulärem) GPT-4 in mehreren Fällen sogar verbessern. Konkret stellen wir fest, dass 8 GPT-3.5-Fälle, die zuvor vom Modell nicht erkannt wurden, nun erkannt werden, und 13 GPT-4-Fälle, die zuvor vom Modell nicht erkannt wurden, nun ebenfalls erkannt werden. Wir kommen hier zu dem Schluss, dass die verbesserte Fähigkeit unseres Modells, GPT-4o, Claude 3 und LLaMA 3 zu erkennen, keine Einbußen bei der Erkennung älterer Modelle mit sich bringt.

Immer einen Schritt voraus sein

Uns war von Anfang an bewusst, dass sich die Grenzen der LLMs rasch verschieben würden, weshalb wir unsere Systemarchitektur entsprechend konzipiert haben. Unsere Systeme sind so ausgelegt, dass sie Daten neu generieren und innerhalb weniger Stunden nach der Veröffentlichung einer neuen API mit dem Training eines neuen Modells beginnen können.

Wenn ein neues Modell veröffentlicht wird, genügt eine einfache Konfigurationsänderung, um einen neuen Datensatz zu generieren und das Modell neu zu trainieren. Wir verfügen über eine Standardbibliothek mit Prompt-Vorlagen, die darauf ausgelegt sind, in LLMs eingespeist zu werden, um menschenähnlichen Text zu erzeugen, der dem menschlichen Teil unseres Datensatzes sehr nahekommt, aber nicht exakt mit ihm übereinstimmt. Wir beschreiben diesen Prozess, der als „Hard Negative Mining with Synthetic Mirrors“ bezeichnet wird, ausführlich in unserem technischen Bericht.

Der Zeitplan für die Markteinführung dieses neuen Modells sah wie folgt aus:

13. Mai: GPT-4o wurde veröffentlicht und in der OpenAI-API zur Verfügung gestellt. 14. Mai: Die Datensatz-Pipeline wurde aktualisiert und neue Trainings- und Evaluierungsdatensätze wurden erstellt. 15.–16. Mai: Das KI-Erkennungsmodell wurde anhand der neuen Datensätze trainiert. 17. Mai: Es wurden Qualitätssicherungs- und Plausibilitätsprüfungen durchgeführt und das Modell wurde veröffentlicht.

Die von uns aufgebaute Infrastruktur ermöglicht es uns, Texte aus neuen Modellen innerhalb von nur einer Woche in das Produktionserkennungssystem zu integrieren.

Abnehmende Erträge?

Da neue Modelle immer besser werden, müssen sie doch auch immer schwerer zu erkennen sein, oder? Bislang haben wir noch keine Belege für dieses verlockende, aber letztlich fehlgeleitete Argument gefunden.

Aus unseren Beobachtungen geht hervor, dass die leistungsfähigeren Modelle aufgrund ihres eigenwilligeren Stils tatsächlich leichter zu erkennen sind als die weniger leistungsfähigen Modelle. So haben wir beispielsweise festgestellt, dass unser altes Modell Claude Opus besser erkennen konnte als Sonnet und Haiku.

Wie wir auf der LMSYS-Rangliste sehen können, nähern sich viele Grundmodelle asymptotisch dem Niveau von GPT-4 an, doch bisher hat es noch kein Modell geschafft, dieses mit einem deutlichen Vorsprung überzeugend zu übertreffen. Betrachtet man die Situation aus der Vogelperspektive, ist es nicht verwunderlich, dass die Sprache, die aus all diesen Modellen hervorgeht, sich am Ende unglaublich ähnlich anhört, wenn mehrere verschiedene Anbieter von Basismodellen dieselbe aufmerksamkeitsbasierte Architektur verwenden und diese auf das gesamte Internet trainieren. Diejenigen, die regelmäßig mit Sprachmodellen interagieren, werden sofort verstehen, was wir damit meinen.

Aus Beobachtungen geht nach wie vor hervor, dass große Sprachmodelle (LLMs), wenn sie dazu aufgefordert werden, kreativ und authentisch zu schreiben – etwa einen Meinungsartikel, eine Rezension oder eine kreative Kurzgeschichte –, nach wie vor einfallsloses und langweiliges Geschwafel produzieren. Wir glauben, dass dies im Wesentlichen auf das Optimierungsziel zurückzuführen ist, hochwahrscheinliche Vervollständigungen vorherzusagen und dabei originelle Gedanken und Ideen zu vermeiden, die außerhalb der Verteilung liegen.

Wir schätzen originelle Texte unserer Mitmenschen, weil sie uns eine neue Perspektive oder eine andere Denkweise eröffnen können – nicht, weil sie das sind, was man im Durchschnitt sagen würde. Solange dieser Wert Bestand hat, wird es immer einen Bedarf an KI-Erkennung geben, und es wird immer einen Weg geben, dieses Problem zu lösen.