Wie gut kann Pangram Schlussfolgerungsmodelle erkennen?

Einer der wichtigsten Durchbrüche bei großen Sprachmodellen im Jahr 2025 war der Aufstieg der Schlussfolgerungsmodelle. Dabei handelt es sich um Modelle, die – salopp gesagt – gelernt haben, erst zu denken, bevor sie sprechen.

Was ist ein Schlussfolgerungsmodell?

Ein Schlussfolgerungsmodell entspricht einem normalen LLM, mit dem Unterschied, dass diese Modelle nicht nur Ausgabetoken erzeugen, sondern auch darauf trainiert sind, „Denktoken“ oder „Schlussfolgerungstoken“ zu erzeugen. In der Denkphase versucht das Modell, komplexe Aufgaben zu durchdenken, probiert dabei verschiedene Ansätze aus und hinterfragt sich selbst, bevor es eine Antwort gibt. In der Praxis zeichnen sich diese Modelle durch hervorragende Problemlösungsfähigkeiten aus, insbesondere in den Bereichen Mathematik und Programmierung, und schneiden in Benchmark-Ergebnissen deutlich besser ab, als man es aufgrund ihrer Größe erwarten würde.

Wie funktionieren Schlussfolgerungsmodelle?

Schlussfolgerungsmodelle durchlaufen vor dem Sprechen einen sogenannten „Gedankengang“. Hier ist ein Beispiel dafür, wie das aussieht, aus Deepseek-R1, dem derzeit einzigen Schlussfolgerungsmodell, das die „Gedanken“ des Modells öffentlich zugänglich macht.

Beispiel für eine Deepseek-R1-Denkkette

In diesem Beispiel überlegt Deepseek zunächst, was der Nutzer möchte, bevor es damit beginnt, Tokens auszugeben. Dadurch kann es die mögliche Ausgabe logisch besser strukturieren und durchdenken, um das bestmögliche Ergebnis zu erzielen.

Was sind die gängigsten Schlussfolgerungsmodelle?

Mehrere Anbieter haben Schlussfolgerungsmodelle entwickelt, die eine Leistung auf dem neuesten Stand der Technik erzielen.

OpenAI

Die Modellreihe von OpenAI für logisches Schlussfolgern heißt O-Serie. Die derzeit verfügbaren Modelle sind o1, o1-mini, o3, o3-pro und o4-mini. o3-pro ist das leistungsstärkste dieser Modelle.

Anthropisch

Anthropic hat die neuesten Versionen von Claude um Funktionen zum logischen Schlussfolgern erweitert. Sowohl Claude 4 Opus als auch Claude 4 Sonnet verfügen über einen Modus für „erweitertes Denken“, der es ihnen ermöglicht, vor der Antwort logische Schlussfolgerungen anzustellen.

Zwillinge

Die Modellreihe „Gemini 2.5“ von Google nutzt nun einen internen Denkprozess und umfasst zudem Modelle mit Schlussfolgerungsfähigkeiten. Gemini 2.5 Pro, Gemini 2.5 Flash und Gemini 2.5 Flash-Lite verfügen alle über Denkfähigkeiten.

Deepseek

Deepseek R1 war das erste Open-Source-Modell für logisches Schlussfolgern und wurde von dem chinesischen Unternehmen Deepseek veröffentlicht. Im Gegensatz zu anderen kommerziellen Closed-Source-Modellen kann man bei Deepseek neben der endgültigen Ausgabe auch die Denkprozesse des Modells einsehen.

Qwen

Darüber hinaus hat ein weiteres chinesisches Unternehmen, Qwen, ein Denkmodell namens Qwen-QWQ-32B vorgestellt. Es handelt sich um ein kleineres Denkmodell, das in einer größeren Bandbreite von Kontexten eingesetzt werden kann als Deepseek R1.

Wie schneidet Pangram bei diesen Schlussfolgerungsmodellen ab?

Wir haben kürzlich ein Update für das KI-Erkennungsmodell von Pangram veröffentlicht, das die Leistung der Schlussfolgerungsmodelle auf breiter Front verbessert.

Die stärkste Leistungssteigerung ist bei o3 und o3-pro zu verzeichnen. Wir haben festgestellt, dass sich o3 und o3-pro deutlich von den zuvor von OpenAI veröffentlichten Modellen unterscheiden und dass unser altes KI-Erkennungsmodell bei diesen Modellen nicht so gut generalisieren konnte – bei unseren ersten Tests lag die Recall-Rate bei nur 93 %.

Lösung von o3 und o3-pro

Ein weiteres Problem, mit dem wir konfrontiert waren, ist, dass o3 und o3-pro deutlich teurer sind als ihre Vorgänger, was bedeutet, dass wir mit ihnen keine Daten im gleichen Umfang generieren könnten wie mit den anderen Modellen. Erschwerend kam hinzu, dass diese Modelle auch länger brauchen, um zu laufen, da sie so viel Zeit damit verbringen, zu „nachdenken“, bevor sie Ausgabe-Token generieren.

Wir haben unsere Trainingsdaten neu generiert und dabei eine kleine Menge an o3- und o3-pro-Daten einbezogen. In unserem endgültigen Trainingssatz für die Juli-Version macht o3-Text nur 0,17 % der Trainingsdaten aus, o3-pro-Text nur 0,35 %. Wir haben dies ausgeglichen und auf eine bessere Generalisierung gehofft, indem wir auch den Anteil an o3-mini-Text auf 5 % der Trainingsdaten erhöht haben. Überraschenderweise hat dies sehr gut funktioniert! Mit nur einer geringfügigen Anpassung des Trainingsdatensatzes konnten wir den Recall von o3 und o3-pro an den Recall der anderen von uns evaluierten LLMs anpassen, ohne dabei Kompromisse bei den Falsch-Positiven eingehen zu müssen.

Pangram ist ein Modell, das mit wenigen Trainingsbeispielen auskommt

Dieses Verhalten von Pangram, bei dem wir es anhand einer kleinen Datenmenge aus neuen LLMs trainieren können, die sich qualitativ von ihren Vorgängern unterscheiden, macht Pangram zu einem sogenannten „Few-Shot-Learner“. Dieses Verhalten hat weitreichende Auswirkungen: Wenn neue LLMs veröffentlicht werden oder sogar neue LLM-basierte Produkte, die im Hintergrund auf feinabgestimmten LLMs basieren, die möglicherweise andere zugrunde liegende Schreibstile aufweisen, kann sich Pangram schnell und kostengünstig an diese anpassen, ohne dass eine umfangreiche Neugenerierung von Datensätzen erforderlich ist.

Viele fragen uns, warum wir glauben, dass wir dieses Spiel, das letztlich einem „Katz-und-Maus-Spiel“ gleicht, gewinnen können. Da Pangram ein „Few-Shot-Lerner“ ist, ist es gar nicht so schwer, zu den neuen LLMs aufzuschließen, wie es auf den ersten Blick erscheinen mag – wir brauchen nur wenige Beispiele, um Pangram zu trainieren, bevor es in der Lage ist, zu verallgemeinern und das Muster sehr effizient zu erlernen. Einfach ausgedrückt: Pangram ist extrem effektiv darin, zu „lernen, wie man lernt“, wie neue LLMs klingen, da es in der Vergangenheit bereits so viele LLMs gesehen hat.

Dies, zusammen mit der Tatsache, dass jedes LLM seinen eigenen, ganz eigenen Stil hat, hat es Pangram tatsächlich erleichtert, sich an neue LLMs anzupassen, sobald diese veröffentlicht werden – selbst wenn sich die LLMs ständig verbessern und immer leistungsfähiger werden. Unserer Ansicht nach steht die Leistungsfähigkeit eines LLM in keinem Zusammenhang mit seiner Erkennbarkeit.

Abschließende Gedanken: Warum unterscheiden sich o3 und o3-pro?

Wir haben von mehreren Leuten aus KI-Kreisen gehört, dass o3 und o3-pro tatsächlich eine andere Note haben als die anderen LLMs, die wir bisher gesehen haben. Unserer Erfahrung nach sind sie die ersten Modelle seit langer Zeit (seit Claude 2), bei denen Pangram den Zero-Shot-Test nicht mit einer Zuverlässigkeit von über 99 % besteht (ohne Daten aus dem Modell zu sehen). Es ist zwar schwer zu sagen, was genau sie auszeichnet, aber hier ist eine Sammlung einiger Hypothesen, warum sie etwas Besonderes sein könnten.

• o3 und o3-pro sind für den Einsatz als Tool überoptimiert. Wir wissen, dass Pangram KI-generierte Inhalte größtenteils anhand von Verhaltensweisen und Eigenheiten erkennt, die im Nachtrainingsprozess eingeführt wurden. OpenAI erklärt in seinem Blogbeitrag zur Veröffentlichung, dass sich o3 und o3-pro von ihren Vorgängern dadurch unterscheiden, dass sie mithilfe von bestärkendem Lernen trainiert wurden, um Tools als Teil ihres Nachtrainingsprozesses zu nutzen. Dieser Unterschied im Nachtrainingsalgorithmus könnte sich auch qualitativ auf den Stil der Ausgaben ausgewirkt haben.

• o3 und o3-pro neigen stärker zu „Halluzinationen“. Laut Nathan Lambert fügte o3 ein ungültiges Nicht-ASCII-Zeichen in den Code ein und bildete sich Aktionen ein, die es bei der Lösung von Aufgaben durchgeführt habe – beispielsweise die Halluzination, dass es auf einem Macbook Pro, das komplett erfunden war, Timing-Code ausgeführt habe. Unabhängige Bewertungen durch METR haben zudem ergeben, dass o3 dazu neigt, seine Ergebnisse zu „manipulieren“, anstatt agentenbezogene Aufgaben tatsächlich zu lösen.

Für weitere Informationen zu o3 und o3-pro empfehlen wir Ihnen, Nathans Blogbeitrag, Dan Shippers „Vibe Check“ sowie den Blogbeitrag von OpenAI zur Veröffentlichung zu lesen.

Fazit

Pangram ist bei Schlussfolgerungsmodellen genauso leistungsfähig wie jedes andere LLM, doch o3 und o3-pro scheinen sich in Bezug auf Schreibstil und Tonfall von ihren Vorgängern zu unterscheiden. Im Zuge der Leistungsoptimierung von Pangram für o3 und o3-pro haben wir erkannt, dass wir bei der Veröffentlichung der einzelnen LLMs möglicherweise gar nicht so viele Beispiele benötigen, wie wir ursprünglich angenommen hatten, da Pangram ein äußerst leistungsfähiges Modell für das Lernen mit wenigen Beispielen ist.

Wir erwägen Änderungen an unserer Trainingsarchitektur und -routine, die die Aktualisierung von Pangram deutlich schneller und einfacher machen und es uns ermöglichen, KI-Erkennungsmodelle bereitzustellen, die die neuesten LLMs noch schneller als bisher erkennen können. Bleiben Sie auf dem Laufenden!