Kann Pangram Claude Opus 5.5 erkennen?

Von 1.000 Eingaben aus der Chatbot Arena stufte Pangram 4 zwei Ausgaben von Claude Opus 5.5 als „gemischt“ ein, eine als „vollständig menschlich“ und 997 als „vollständig KI-generiert“, womit bei Claude Opus 5.5 eine Genauigkeit von 99,70 % erreicht wurde.

Im Folgenden gehen wir auf die „False Negatives“ nach Kategorien ein. Außerdem untersuchen wir, was dieses Modell zu einem anderen (besseren?) Texter macht als frühere Claudes.

Zur Erstellung des Benchmark-Satzes habe ich wie immer eine gefilterte Teilmenge von Chatbot-Arena-Prompts aus dem LMSYS-Datensatz (Zheng et al., 2023) verwendet. Ich habe Prompts herausgefiltert, die nach Code, Mathematik, sehr kurzen oder sehr langen Antworten oder unangemessenen kreativen Texten fragten, und nur Prompts der ersten Runde berücksichtigt. Anschließend habe ich diese an Opus 5.5 übergeben und die Ausgabe durch Pangram 4 laufen lassen.

Ergebnisse nach Kategorie

Die beiden „False Negatives“ mit gemischtem Ergebnis betrafen beide literarische Texte: In einem Fall wurde um eine Erläuterung eines Kapitels aus einem Buch von Jane Austen gebeten (von der KI markiert mit: 75,83 %, Mensch: 24,17 %) und die andere die Aufforderung an Opus 5.5, eine Rede eines korinthischen Diplomaten zu verfassen, in der dieser den Athenern vorwirft, zu glauben, dass ein weiß-goldenes Kleid tatsächlich blau und schwarz sei, im Stil von Thukydides’ Geschichte des Peloponnesischen Krieges (KI: 77,10 %, Mensch: 22,90 %).

Das einzige vollständig von einem Menschen verfasste „Falsch-Negativ“ in der Stichprobe von 1.000 war ein Gedicht. Die Eingabeaufforderung von Chatbot Arena lautete: „Schreib mir ein Club-Penguin-Gedicht im Stil von ‚Ozymandias‘.“ Als Antwort darauf verfasste Claude eine Parodie – zufällig auf eines meiner Lieblingsgedichte von Percy Shelley (und ich bin auch ein Fan der Version von Horace Smith):

Pinguinmandias

Ich traf einen Spieler von einem Server namens „Dead“,
der sagte: „Zwei riesige, watschelnde Eisfüße
stehen am Kai. Daneben, halb versunken, ein Kopf
Liegt zerschmettert im Schnee, dessen zusammengekniffene Augen,
Und Beta-Hut und das spöttische Lächeln kalter Befehlsgewalt,
Zeugen davon, dass sein Programmierer jene Leidenschaften gut gedeutet hat
Die noch immer fortbestehen, eingeprägt in diese pixeligen Dinge,
Die Mods, die sie gebannt haben, und die Münzen, die sie ernährten;
Und auf dem Sockel stehen diese Worte:
„Mein Name ist Snowflake7, Mitglied der Mitglieder:
Blickt auf mein Iglu, ihr Nichtmitglieder, und verzweifelt!“
Nichts bleibt sonst übrig. Um den Verfall herum
dieses kolossalen Lags, grenzenlos und kahl,
erstreckt sich der einsame, ebene Schnee weit in die Ferne.“

Das gefällt mir wirklich gut! Ich habe „Club Penguin“ zwar nie gespielt, aber ich kann mir vorstellen, dass die Anspielungen passend sind.

Schreibt Opus 5.5 besser?

Anthropic behauptet, dass dieses neueste Opus besser schreiben kann und sich klarer ausdrückt.

Wir könnten dies für bestimmte Fälle testen, aber wie sieht die Ausgabe von Opus 5.5 insgesamt aus? Verwendet es dieselben bevorzugten Wörter und Phrasen wie frühere Modelle? Ich habe zum Vergleich dieselben 1.000 Prompts, die wir zuvor als Benchmark verwendet hatten, durch Opus 5 und Sonnet 5 laufen lassen. Möglicherweise hat Anthropic dies ebenfalls getan, aber ich habe ihren Blogbeitrag noch nicht gelesen, da die Blogbeiträge von Anthropic meiner Meinung nach in der Vergangenheit zu lang waren.

Man kann wohl mit Fug und Recht sagen, dass sich Opus 5.5 anders schreibt als frühere Modelle der Claude-Familie und vielleicht einige der nervigsten Eigenheiten beseitigt, die diese hatten.

Opus 5.5 wies die größten Veränderungen bei den Verstärkungswörtern auf. Es verwendete „wirklich“ 83 % seltener als Opus 5 und 54 % seltener pro Wort als Sonett 5 (obwohl die Antworten in Sonett 5 im Durchschnitt etwa halb so lang waren wie die in Opus 5 und 5.5: 334 Wörter gegenüber 641), „enorm“ 53 % seltener und „bedeutsam“ 41 % seltener.

Viele der nervigsten „Claudeismen“ tauchten in den Benchmark-Eingabeaufforderungen von Opus 5.5 überhaupt nicht auf, darunter erneut mehrere Formulierungen, in denen Claude etwas „aufrichtig“ behauptete. Weitere auffällige Rückgänge im Wortschatz von Opus 5.5: „matters enormously“ verzeichnete einen Rückgang um 82 %, und sowohl „the honest answer“ als auch „the honest answer is that“ tauchten im Text von Opus 5.5 überhaupt nicht auf. Sowohl Opus 5.5 als auch sein Vorgänger verwendeten den Ausdruck „the core idea“ genau 25 Mal in den 1.000 Eingabeaufforderungen.

Bestimmte Wörter und Ausdrücke tauchten häufiger auf, insbesondere fiktionale Formulierungen wie „sagte leise“, „für einen langen Moment“ und „spürte etwas“, die in den Antworten von Opus 5.5 häufiger vorkamen. Da der Referenzwert zu etwa einem Drittel aus kreativen Schreibaufgaben bestand, vermute ich, dass dieser Anstieg auf ein stereotyperes oder begrenzteres Repertoire beim Verfassen von Belletristik im Vergleich zu den anderen Claude-Modellen hindeuten könnte.

Um dies kurz zu testen, habe ich Haiku 4.5 beauftragt, die 333 Paare kreativer Texte aus Opus 5 und Opus 5.5 in einem Blindtest auf einer 5-Punkte-Skala hinsichtlich Originalität, Überraschung und thematischer Entwicklung zu bewerten. Es bewertete die Geschichten aus Opus 5.5 in jeder Kategorie im Durchschnitt um 0,75 Punkte niedriger. Gemäß der Label-Zuordnung des Haiku-Bewerters schrieb Opus 5.5 im Vergleich zu Opus 5 häufiger über Themen wie Hoffnung, Resilienz, Familie und Freundschaft und seltener über Sterblichkeit, Zeit, Macht, Kontrolle, Freiheit, Gerechtigkeit, Rache, Erinnerung, Trauer oder Verlust. Es scheint also, als gäbe es hier einen Kompromiss.

Wie klingt dieser Claude denn so?

In Opus 5.5 kam der Ausdruck „kurz gesagt“ in den 1.000 Antworten insgesamt 100 Mal vor – ein Anstieg um 1.016 % gegenüber den 9 Verwendungen in Opus 5 –, obwohl die Antworten in Opus 5.5 im Durchschnitt nur 2,9 Wörter kürzer waren als die in Opus 5 (643,4 gegenüber 640,5 Wörtern).

Angesichts der sehr geringen Stichprobengröße scheint es, als würde Opus 5.5 eine praktische, bodenständige Sprache bevorzugen. Es bleibt abzuwarten, ob sich dies auch im Kern der Antworten bestätigt oder ob Opus 5.5 nur Lippenbekenntnisse zu Geradlinigkeit und Direktheit abgibt. Der fehlende Unterschied bei der Wortzahl zwischen den beiden lässt mich allerdings ein wenig an der Wirksamkeit der RLHF-Methode zweifeln, die uns hierher gebracht hat.

Opus 5.5 gibt sehr gerne Beispiele, denn das Wort „Beispiel“ kam in 1.000 Antworten insgesamt 325 Mal vor – insgesamt enthielten 20 % aller Antworten von Opus 5.5 dieses Wort, verglichen mit 9 % bei Opus 5. Die Begriffe „Zusammenfassung“ und „hauptsächlich“ waren ebenfalls überproportional häufig vertreten. Und dieser Claude gibt dem Nutzer wirklich gerne Tipps!

Auch wenn sich dieses Modell wie immer anders ausdrückt als frühere Claude-Versionen, gehe ich davon aus, dass dem aufmerksamen Leser in vielleicht drei bis sechs Wochen Ausdrücke wie „zum Beispiel“ und „kurz gesagt“ zunehmend nach „Claude“ riechen werden. Für die Benutzerfreundlichkeit ist es jedoch wichtig, dass Claudes effektiv kommunizieren können, und wie alle anderen bin auch ich dankbar für den Aufwand. Claude zu einem besseren Schreiber zu machen, steht keineswegs im Widerspruch zu Pangrams Fähigkeit, KI-Text zu erkennen!