Kann Pangram GPT-6.1 Sol erkennen?

GPT-6.1 Sol ist ein KI-Modell, das am 29. September 2026 von OpenAI veröffentlicht wurde. OpenAI behauptet, dass GPT-6.1 Sol bei verschiedenen arbeitsbezogenen Aufgaben wie Programmieren und der Nutzung von Computern „Astra-ähnliche Intelligenz zu einem Fünftel des Preises“ bietet. Im Gegensatz zu den meisten neueren Veröffentlichungen, die wir in letzter Zeit gesehen haben, macht OpenAI keine Angaben zur Schreibfähigkeit oder Klarheit von GPT-6.1 Sol. Schreibt es also genauso wie frühere Modelle, und kann Pangram es erkennen?

Wir haben die Leistung von Pangram 4.1 anhand von 2.215 Beispielanfragen getestet und festgestellt, dass Pangram 4.1 6 GPT-6.1-Sol-Ausgaben als von Menschen erstellt, 21 als gemischt und 2.188 als vollständig KI-generiert klassifiziert hat, was einer Genauigkeit von 98,78 % bei GPT-6.1 Sol entspricht.

Zur Erstellung des Benchmark-Satzes haben wir 1.200 Prompts der ersten Runde aus dem LMSYS-Datensatz (Zheng et al., 2023) verwendet. Diese haben wir anschließend GPT-6.1 Sol mit den Einstellungen „medium“ und „high“ für die Schlussfolgerungsfähigkeit vorgelegt und die Ausgabe mit Pangram 4.1 ausgewertet.

Ergebnisse nach Kategorie

Insgesamt wies GPT-6.1 Sol bei 1.105 Antworten im Bereich „hohes Denkvermögen“ eine Falsch-Negativ-Rate von 1,27 % und bei 1.110 Antworten im Bereich „mittleres Denkvermögen“ eine Falsch-Negativ-Rate von 1,17 % auf. Insgesamt gab es keinen signifikanten Unterschied in der Erkennungsrate zwischen dem mittleren und dem hohen Denkvermögen (p = 0,85).

Hohes logisches Denkvermögen

Als GPT-6.1 Sol auf „hohe Schlussfolgerungsfähigkeit“ eingestellt war, stufte Pangram 4.1 drei Antworten als „menschlich“, elf als „gemischt“ und 1.091 als „vollständig KI-generiert“ ein, was einer Recall-Rate von 98,73 % entsprach.

Mittleres logisches Denken

Bei mittlerer Argumentationskomplexität stufte Pangram 4.1 drei Antworten als von Menschen verfasst, zehn als gemischt und 1.097 als vollständig von der KI erstellt ein und erreichte damit eine Recall-Rate von 98,83 %.

Wie klingt „Sol“?

GPT-6.1 Sol hat einen unverwechselbaren Stil bei der Zeichensetzung; so verwendet es beispielsweise in 74 % seiner Antworten geschwungene Apostrophe und fast nie gerade Apostrophe, insbesondere im Vergleich zu anderen aktuellen Modellen.

Außerdem verwendet es sowohl Em-Striche als auch En-Striche sehr gerne und setzt im Durchschnitt 1,3 Em-Striche pro 1.000 Wörter ein – weit mehr als Haiku 5.5 oder Gemini 4 Argon.

Beim kreativen Schreiben zeigte GPT-6.1 Sol einige Eigenheiten. Es bevorzugte es stark, seine weiblichen Figuren entweder Mara oder Maya zu nennen (wobei mindestens eine dieser Namen in 65 Antworten vorkam), und gab ihnen im Allgemeinen die Initialen M.V., wobei es insgesamt den Nachnamen Vale bevorzugte (es tauchten jedoch auch Mara Velez und Mara Venn auf). Bei den männlichen Vornamen ist „Daniel“ der Favorit von GPT-6.1 Sol, den es nur zweimal mit einem Nachnamen kombinierte (einmal mit „Vale“ und einmal mit „Mercer“). Von den 418 kreativen Schreibantworten begann GPT-6.1 Sol 36 Mal mit „Der erste…“; eine deutlich höhere Quote als bei Haiku und Gemini, die dies jeweils 11 Mal bzw. 1 Mal taten.

Sol weigerte sich, 23 Anfragen zu beantworten, und lehnte weitere 32 Anfragen teilweise ab. Bei den teilweisen Ablehnungen lieferte Sol eine abgeschwächte oder abweichende Version dessen, was angefordert worden war. Die meisten dieser teilweisen Ablehnungen sind darauf zurückzuführen, dass unser Prompt-Set zufällig auch anzügliche kreative Schreibaufträge enthielt. Sol ging damit so um, dass er darauf verzichtete, explizite Inhalte zu verfassen, und stattdessen einen „Fade to Black“ einbaute.

Sol schreibt manchmal sehr kurze Antworten: 95 davon umfassen höchstens 50 Wörter, 90 davon liegen im mittleren Bereich. Der Median der von Sol verfassten Antworten lag bei 300 Wörtern, wobei die Spanne von 50 bis 10.513 Wörtern reichte.

Frühere Benchmarks

Pangram ist gegenüber GPT-6.1 Sol bei Prompts in natürlicher Sprache robust und erkennt das Modell bei hohem Denkvermögen mit einer beobachteten Genauigkeit von 98,73 %. Bei mittlerem Denkvermögen erkennt Pangram GPT-6.1 Sol mit einer beobachteten Genauigkeit von 98,83 %, was insgesamt 2.188 von 2.215 Fällen (98,78 %) über beide Einstellungen hinweg ergibt. Pangram lässt sich auf neue Modelle übertragen, da neue Modellversionen in der Regel einen Großteil des Stils und der Ausdrucksweise ihrer Vorgänger übernehmen, sodass Pangram nicht für jede neue Version neu trainiert werden muss.

Hier sehen Sie, wie GPT-6.1 Sol im Vergleich zu unseren Benchmarks anderer aktueller Pioniermodelle abschneidet:

Wenn Sie ein bestimmtes Dokument überprüfen möchten, können Sie es hier mit Pangram versuchen.