Kann Pangram Claude Opus 5.5 erkennen?

Von 1.000 Eingaben, die von Chatbot Arena stammten, stufte Pangram 4 zwei Ausgaben von Claude Opus 5.5 als gemischt, eine als vollständig menschlich und 997 als vollständig KI-generiert ein, womit bei Claude Opus 5.5 eine Genauigkeit von 99,70 % erreicht wurde.

Im Folgenden gehen wir auf die „False Negatives“ nach Kategorien ein. Außerdem untersuchen wir, was dieses Modell zu einem anderen (besseren?) Texter macht als frühere Claudes.

Zur Erstellung des Benchmark-Satzes habe ich wie immer eine gefilterte Teilmenge der „First Turn“-Prompts aus der „Chatbot Arena“ des LMSYS-Datensatzes (Zheng et al., 2023) verwendet. Ich habe Prompts herausgefiltert, die nach Code, Mathematik, sehr kurzen oder sehr langen Antworten oder unangemessenem kreativem Schreiben fragten. Anschließend habe ich diese an Opus 5.5 übergeben und die Ausgabe durch Pangram 4 laufen lassen.

Ergebnisse nach Kategorie

Die beiden „False Negatives“ mit gemischtem Ergebnis betrafen beide literarische Texte: In einem Fall wurde um eine Erläuterung eines Kapitels aus einem Buch von Jane Austen gebeten (von der KI als 75,83 %, Mensch: 24,17 %), der andere war die Aufforderung an Opus 5.5, eine Rede eines korinthischen Diplomaten zu verfassen, in der dieser den Athenern vorwirft, zu glauben, dass ein weiß-goldenes Kleid eigentlich blau und schwarz sei – im Stil von Thukydides’ „Geschichte des Peloponnesischen Krieges“ (KI: 77,10 %, Mensch: 22,90 %).

Das einzige vollständig von einem Menschen verfasste „Falsch-Negativ“ in der Stichprobe von 1.000 war ein Gedicht. Die Eingabeaufforderung von Chatbot Arena lautete: „Schreib mir ein Club-Penguin-Gedicht im Stil von ‚Ozymandias‘.“ Als Antwort darauf verfasste Claude zufällig eine Parodie auf eines meiner Lieblingsgedichte von Percy Shelley (und ich bin auch ein Fan der Version von Horace Smith):

Pinguinmandias

Ich traf einen Spieler von einem Server namens „Dead“,
der sagte: „Zwei riesige, watschelnde Eisfüße
stehen am Kai. Daneben, halb versunken, ein Kopf
Liegt zerschmettert im Schnee, dessen zusammengekniffene Augen,
Und Beta-Hut und das spöttische Lächeln kalter Befehlsgewalt,
Zeugen davon, dass sein Programmierer jene Leidenschaften gut gedeutet hat
Die noch immer fortbestehen, eingeprägt in diese pixeligen Dinge,
Die Mods, die sie gebannt haben, und die Münzen, die sie ernährten;
Und auf dem Sockel stehen diese Worte:
„Mein Name ist Snowflake7, Mitglied der Mitglieder:
Blickt auf mein Iglu, ihr Nichtmitglieder, und verzweifelt!“
Nichts bleibt sonst übrig. Um den Verfall herum
dieses kolossalen Lags, grenzenlos und kahl,
erstreckt sich der einsame, ebene Schnee weit in die Ferne.“

Das gefällt mir wirklich gut! Ich habe „Club Penguin“ zwar nie gespielt, aber ich kann mir vorstellen, dass die Anspielungen passend sind.

Schreibt Opus 5.5 besser?

Anthropic behauptet, dass dieses neueste Opus besser schreiben kann und sich klarer ausdrückt.

Wir könnten dies für bestimmte Fälle testen, aber wie sieht die Ausgabe von Opus 5.5 insgesamt aus? Verwendet es dieselben bevorzugten Wörter und Phrasen wie frühere Modelle? Ich habe dieselben 1.000 Prompts, die wir zuvor im Benchmark-Test verwendet hatten, durch Opus 5 und Sonnet 5 laufen lassen, um sie zu vergleichen. Möglicherweise hat Anthropic dies ebenfalls getan, aber ich habe ihren Blogbeitrag noch nicht gelesen, da die Blogbeiträge von Anthropic meiner Meinung nach in der Vergangenheit immer zu lang waren.

Insgesamt erhielt ich eine Stichprobe von 1.618.289 Wörtern aus 3.000 Antworten von Opus 5.5, Opus 5 und Sonnet 5, die jeweils auf dieselben 1.000 Eingabeaufforderungen reagierten. Ausgehend von dieser (relativ kleinen) Stichprobe kann man meiner Meinung nach mit Fug und Recht sagen, dass Opus 5.5 anders schreibt als frühere Modelle der Claude-Familie und vielleicht einige der nervigsten Eigenheiten dieser Modelle beseitigt hat.

Opus 5.5 hat sich im Vergleich zu den klassischen Intensivierern am stärksten verändert. Es verbrauchte „tatsächlich“ 83 % weniger als Opus 5 und 54 % weniger pro Wort als Sonnet 5 (obwohl die Antworten von Sonnet 5 im Durchschnitt etwa halb so lang waren wie die von Opus 5 und 5.5: 334 Wörter gegenüber 641), „enorm“ 65 % weniger und „deutlich“ 46 % weniger.

Die Lieblingswörter aus „Sonett 5“ und „Opus 5“ in den Antworten zu „Opus 5.5“: prozentuale Veränderungen im Vergleich zum gepoolten Referenzwert aus „Sonett 5“ und „Opus 5“.

Unter den ausgewählten Wörtern waren die häufigsten in der zusammengefassten Auswertung von Sonett 5 und Opus 5 „genuinely“, „honest“, „genuine“, „patterns“ und „marcus“ (?), deren Häufigkeit in den Antworten zu Opus 5.5 jeweils zurückging.

Viele der nervigsten „Claudeismen“ tauchten in den Benchmark-Antworten von Opus 5.5 überhaupt nicht auf, darunter erneut mehrere Varianten, in denen Claude das Wort „genuinely“ verwendete. Weitere auffällige Rückgänge im Wortschatz von Opus 5.5: „matters enormously“ verzeichnete einen Rückgang von 82 % gegenüber Opus 5, und sowohl „the honest answer“ als auch „the honest answer is that“ tauchten im Text von Opus 5.5 überhaupt nicht auf. Sowohl Opus 5.5 als auch sein Vorgänger verwendeten den Ausdruck „the core idea“ genau 25 Mal bei den 1.000 Eingabeaufforderungen.

Die beliebtesten Ausdrücke aus „Sonett 5“ und „Opus 5“ in den Antworten zu „Opus 5.5“: prozentuale Veränderungen, wobei frühere Favoriten blau und aktuelle Favoriten bernsteinfarben dargestellt sind.

Einige Wörter und Ausdrücke kamen häufiger vor, darunter neue zusammenfassende und leitende Formulierungen. Überraschenderweise tauchten einige für Belletristik typische Formulierungen wie „sagte leise“, „für einen langen Moment“ und „spürte etwas“ in den Antworten von Opus 5.5 weitaus häufiger auf. Da etwa ein Drittel der Benchmark-Beispiele aus kreativen Schreibaufgaben bestand, vermute ich, dass dieser Anstieg auf ein stereotyperes oder begrenzteres Repertoire beim Verfassen von Belletristik im Vergleich zu den anderen Claude-Modellen hindeuten könnte.

Um dies kurz zu testen, habe ich Haiku 4.5 die 333 Paare von kreativen Schreibaufgaben aus Opus 5 und Opus 5.5 in einem Blindtest auf einer 5-Punkte-Skala hinsichtlich Originalität, Überraschung und thematischer Entwicklung bewerten lassen. Es bewertete die Geschichten aus Opus 5.5 in jeder Kategorie um durchschnittlich 0,75 Punkte schlechter. Gemäß der Label-Zuweisung des Haiku-Bewerters schrieb Opus 5.5 im Vergleich zu Opus 5 häufiger über Themen wie Hoffnung, Resilienz, Familie und Freundschaft und seltener über Sterblichkeit, Zeit, Macht, Kontrolle, Freiheit, Gerechtigkeit, Rache, Erinnerung, Trauer oder Verlust. Es scheint also, als gäbe es hier einen Kompromiss.

Themen für kreatives Schreiben: Opus 5 vs. Opus 5.5 – Gemeinsame Hauptthemen bei Haiku-Aufgaben über 333 gepaarte Aufgabestellungen hinweg.

Wie klingt dieser Claude denn so?

In Opus 5.5 wurde der Ausdruck „kurz gesagt“ in den 1.000 Antworten insgesamt 100 Mal verwendet – ein Anstieg um 1.016 % gegenüber den 9 Verwendungen in Opus 5 –, obwohl die Antworten in Opus 5.5 im Durchschnitt nur 2,9 Wörter kürzer waren als in Opus 5 (640,5 gegenüber 643,4 Wörtern).

Angesichts der sehr geringen Stichprobengröße scheint es, als würde Opus 5.5 eine praktische, bodenständige Sprache bevorzugen. Es bleibt abzuwarten, ob sich dies auch im Kern der Antworten bestätigt oder ob Opus 5.5 nur Lippenbekenntnisse zu Geradlinigkeit und Direktheit abgibt. Der fehlende Unterschied bei der Wortzahl zwischen den beiden lässt mich allerdings ein wenig an der Wirksamkeit der RLHF-Methode zweifeln, die uns hierher gebracht hat.

Opus 5.5 gibt auch sehr gerne Beispiele an, denn das Wort „Beispiel“ tauchte in 1.000 Antworten 325 Mal auf – insgesamt enthielten 20 % aller Antworten von Opus 5.5 dieses Wort, verglichen mit 9 % bei Opus 5. Die Begriffe „Zusammenfassung“ und „hauptsächlich“ waren ebenfalls überproportional häufig vertreten. Und dieser Claude gibt dem Nutzer wirklich gerne Tipps!

Dieses Modell schreibt zwar anders als das vorherige Claude Opus, scheint jedoch einen ähnlichen Schreibstil wie andere ältere Modelle zu haben, die stark auf Aufzählungslisten und kurze, abgehackte Sätze setzten: Die durchschnittliche Satzlänge von Opus 5.5 ist kürzer, und die Sätze sind in ihrer Länge einheitlicher als bei Opus 5.

Opus 5.5 fasst gerne zusammen, was nervig sein kann, wenn es in jeder Runde passiert – aber denken Sie daran, dass dieser Datensatz nur Prompt-Antwort-Paare aus der ersten Runde enthält. Leider hat sich eine der nervigsten Eigenheiten von Claude in diesem Modell noch etwas verschlimmert: Opus 5.5 fügt pro Wort noch mehr Vorbehalte ein als Opus 5. Obwohl beide Modelle in 82 % der Antworten mindestens einen Unsicherheitsmarker enthalten (817/1.000 gegenüber 818/1.000), verwendete Opus 5.5 pro 1.000 Wörter 23,0 % häufiger Vorbehaltswörter. Das Wort „Vorbehalt“ selbst ist jedoch auf dem Rückzug: Opus 5.5 verwendete es nur in 4 von 1.000 Antworten, gegenüber 22 bei Opus 5.

All das bedeutet jedoch nicht zwangsläufig, dass Opus 5.5 ein schlechter Autor sein wird. In der kurzen Zeit, in der ich es getestet habe, habe ich festgestellt, dass es ziemlich gut ist! Für die Benutzerfreundlichkeit ist es wichtig, dass Claudes effektiv kommunizieren können, und ich bin dankbar für die Bemühungen. Außerdem ist anzumerken, dass das Bestreben, Claude zu einem besseren Autor zu machen, keineswegs im Widerspruch zu Pangrams Ziel steht, KI-Texte zu erkennen – denn selbst gute Autoren verraten sich manchmal!