Kann Pangram „Gemini 4 Argon“ aufspüren?

Gemini 4 Argon ist Googles neuestes KI-Modell, das am 13. Oktober 2026 veröffentlicht wurde. Google gibt an, dass Gemini 4 Argon eher für komplexe, mehrstufige Aufgaben als für den Chat entwickelt wurde und dass es sich in einem geradlinigen Stil ausdrückt und seltener Ausweichformulierungen verwendet als seine Vorgänger.

Erkennt Pangram diese Änderungen im Schreibstil immer noch? Wir haben die Leistung von Pangram 4.1 anhand von 2.341 Beispielanfragen getestet und festgestellt, dass Pangram 4.1 16 von Gemini 4 Argon generierte Ausgaben als von Menschen verfasst, 7 als gemischt und 2.318 als vollständig KI-generiert klassifiziert hat, was einer Genauigkeit von 99,02 % bei Gemini 4 Argon entspricht.

Zur Erstellung des Benchmark-Satzes haben wir 1.200 Erstrunden-Prompts aus dem LMSYS-Chat-1M-Datensatz (Zheng et al., 2023) verwendet. Anschließend haben wir diese an Gemini 4 Argon mit mittlerer und hoher Schlussfolgerungsstufe übergeben und die Ausgabe mit Pangram 4.1 ausgewertet.

Ergebnisse nach Kategorie

Insgesamt wies „Gemini 4 Argon“ bei den 1.174 Antworten im Bereich „hohe Denkfähigkeit“ eine Falsch-Negativ-Rate von 1,28 % und bei den 1.167 Antworten im Bereich „mittlere Denkfähigkeit“ eine Falsch-Negativ-Rate von 0,69 % auf. Insgesamt gab es keinen signifikanten Unterschied in der Erkennungsrate zwischen den Bereichen „mittlere“ und „hohe“ Denkfähigkeit (p = 0,21).

Hohes logisches Denkvermögen

Als „Gemini 4 Argon“ auf eine hohe Schlussfolgerungsfähigkeit eingestellt war, stufte „Pangram 4.1“ 11 Antworten als von Menschen stammend, 4 als gemischt und 1.159 als vollständig von der KI generiert ein und erreichte dabei eine Wiederauffindungsrate von 98,72 %.

Mittleres logisches Denken

Bei mittlerer Argumentationskomplexität stufte Pangram 4.1 5 Antworten als von Menschen verfasst, 3 als gemischt und 1.159 als vollständig von der KI generiert ein und erreichte dabei eine Recall-Rate von 99,31 %.

Wie schreibt „Gemini 4 Argon“?

Google behauptet, dass Gemini 4 Argon weniger umschreibend formuliert und sich direkter ausdrückt. Um dies grob zu überprüfen, haben wir eine Liste von 101 umschreibenden Wörtern aus Hyland (2005) herangezogen und deren Vorkommen mit dem in Haiku (7,0 pro 1.000 Wörter) und GPT-6.1 Sol (7,5 pro 1.000 Wörter) verglichen.

Nachfolgend finden Sie eine Liste der von uns verwendeten Ausweichbegriffe:

etwa, fast, scheinbar, anscheinend, erscheinen, erschien, erscheint, ungefähr, argumentieren, argumentierte, argumentiert, um, annehmen, annahm, im Großen und Ganzen, in gewissem Maße, in gewissem Umfang, auf einem gewissen Niveau, behaupten, behauptete, behauptet, könnte, könnte nicht, bezweifeln, zweifelhaft, im Wesentlichen, schätzen, schätzte, ziemlich, empfinden, empfindet, empfand, häufig, aus meiner Sicht, aus unserer Sicht, aus dieser Sicht, allgemein, vermuten, deuten, deutete, deutet, im Allgemeinen, in den meisten Fällen, in den meisten Fällen, meiner Meinung nach, meiner Ansicht nach, aus dieser Sicht, unserer Meinung nach, unserer Ansicht nach, weitgehend, wahrscheinlich, hauptsächlich, könnte, vielleicht, möglicherweise, meistens, oft, im Großen und Ganzen, sollte, vielleicht, plausibel, plausibel, möglich, möglicherweise, postulieren, postulierte, postuliert, vermutlich, vermutlich, wahrscheinlich, wahrscheinlich, ziemlich, eher x, relativ, ungefähr, scheint, sollte, manchmal, etwas, vermuten, vermutete, vermutet, annehmen, angenommen, annimmt, vermuten, vermutet, neigt dazu, neigte dazu, neigt dazu, meines Wissens, typisch, typischerweise, ungewiss, ungewiss, unklar, unklar, unwahrscheinlich, gewöhnlich, würde, würde nicht

Gemini 4 Argon verwendete pro 1.000 Wörter 51 % weniger Ausweichformulierungen als Haiku und 54 % weniger als Sol. Witzigerweise wird diese Wortliste von Pangram 4.1 als vollständig menschlich erkannt, obwohl Modelle im Allgemeinen dazu neigen, Hedge-Wörter viel häufiger zu verwenden als Menschen. Aus Spaß habe ich ChatGPT außerdem gebeten, diese Liste nach Belieben neu anzuordnen, und auch diese Liste wurde als vollständig menschlich erkannt.

Gemini 4 Argon lieferte die längsten Antworten dieser drei Modelle mit einem Median von 447 Wörtern (mittlerer Komplexitätsgrad: 418 Wörter, hoher Komplexitätsgrad: 447 Wörter), verglichen mit 371 bei Haiku und 313 bei Sol. Gemini weigerte sich zudem, 31 Eingabeaufforderungen aus den insgesamt 2.400 Anfragen zu beantworten; hinzu kamen 3 Anfragen, die vom Google-Filter blockiert wurden – im Vergleich zu 35 Verweigerungen bei Haiku und 23 bei Sol.

Frühere Benchmarks

Pangram ist gegenüber Gemini 4 Argon bei Prompts in natürlicher Sprache robust und erkennt das Modell bei hohem Denkvermögen mit einer beobachteten Genauigkeit von 98,72 %. Bei mittlerem Denkvermögen erkennt Pangram Gemini 4 Argon mit einer beobachteten Genauigkeit von 99,31 %, was insgesamt 2.318 von 2.341 Fällen (99,02 %) über beide Einstellungen hinweg ergibt. Pangram lässt sich auf neue Modelle übertragen, da neue Modellversionen in der Regel einen Großteil des Stils und der Ausdrucksweise ihrer Vorgänger übernehmen, sodass Pangram nicht für jede neue Version neu trainiert werden muss.

Hier sehen Sie, wie sich das Gemini 4 Argon im Vergleich zu unseren Benchmarks anderer aktueller Spitzenmodelle schlägt:

Wenn Sie ein bestimmtes Dokument überprüfen möchten, können Sie es hier mit Pangram versuchen.