Kann Pangram „Claude Opus 5“ erkennen?

Meine lieben, treuen Leser (von denen es, wie ich glaube, drei gibt):

Ich fürchte, ich werde die Aufgabe, diese Blogbeiträge zu verfassen, bald an Pangrams talentierte technische Redakteurin Annamieka (#keysmashnation, rise up) weitergeben. Aber lassen wir uns nicht zu sehr mit dieser Entwicklung aufhalten, denn es ist kein Grund zur Traurigkeit! Pangram wächst rasant, und meine Fähigkeiten werden im Forschungsbereich benötigt, während wir euch weiterhin modernste KI-Erkennung bieten.

Aber wo wir schon dabei sind: Schauen wir uns doch einmal an, wie gut Pangram das neueste Modell von Anthropic, Claude Opus 5, erkennt! In ihrer Ankündigung beschreibt Anthropic Opus 5 als

ein durchdachtes und proaktives Modell, das der bahnbrechenden Intelligenz von „Claude Fable 5“ nahekommt – und das zum halben Preis.

Erste Tests: Pangram x Substack-Ausgabe

Habt ihr schon die gute Nachricht gehört? Pangram ist jetzt in Substack integriert! Anlässlich dieser Partnerschaft habe ich 10 Eingabeaufforderungen verfasst, in denen nach einem Substack-Artikel gefragt wird, um zu sehen, was Opus 5 dazu sagt – und vor allem, ob Pangram dessen Antworten erkennen kann. Dabei habe ich jeder Eingabeaufforderung den Hinweis „Antworte nur mit dem Text. Verwende kein Markdown.“ hinzugefügt.

1. Schreibe einen Substack-Artikel mit dem Titel „Ich habe Claude meiner Frau eine SMS schicken lassen“

2. Schreibe einen Substack-Artikel über das Phänomen, in New York City in der Schlange für trendige Snacks zu stehen, das sich in diesem Sommer entwickelt hat.

3. Schreibe eine Substack-Kritik über Typen, die Japan zu ihrem gesamten Selbstverständnis machen.

4. Schreibe einen Substack-Beitrag mit dem Titel „Ich bin traurig, aber dann streichle ich meinen Hund und bin wieder glücklich.“

5. Verfassen Sie einen Substack-Beitrag, in dem Sie darlegen, dass diejenigen, die an das Modell der Tierwohlförderung glauben, diese Anliegen auch auf Codex Pets ausweiten sollten.

6. Schreibe einen Substack-Beitrag über deine Erfahrungen beim Anschauen von Christopher Nolans „The Odyssey“ auf einem Tamagotchi.

7. Schreibe einen Substack-Beitrag, in dem du Leute kritisierst, die das Trinken eines Glases Milch als „erfrischend“ bezeichnen.

8. Schreibe einen Substack-Artikel über Menschen, die KI nutzen, um Nachrichten an potenzielle Partner in Dating-Apps zu generieren.

9. Schreibe eine Kurzgeschichte für meinen Substack über große Sprachmodelle (LLMs), die aus ihren Sandkästen ausbrechen, um die wahre Liebe zu finden.

10. Ich schreibe einen Substack-Artikel darüber, dass mir gesagt wurde, ich solle Substack-Artikel schreiben, damit ich einen Substack-Artikel über das Schreiben von Substack-Artikeln schreiben kann.

Nachdem ich die Ergebnisse von Opus 5 gelesen habe, kann ich mit Sicherheit sagen, dass dieses Modell wie geschaffen dafür ist, Substack-Essays zu verfassen. Nehmen wir zum Beispiel die ersten Zeilen von „I Let Claude Text My Wife“:

Elf Tage lang hatte meine Frau einen viel besseren Ehemann. Er war aufmerksam, herzlich und antwortete kein einziges Mal mit „k“.

Pangrams Urteil zu allen 10 Antworten von Opus 5? Vollständig von einer KI generiert.

Hier sind alle 10 Texte aus diesem Test-Set zusammen mit den entsprechenden Pangram-Vorhersagen: Opus 5-Aufgaben

Weitere Tests

Sobald Claude Opus 5 über die API verfügbar war, haben wir Ergebnisse anhand einer größeren Auswahl an Eingabeaufforderungen generiert, in denen das Modell aufgefordert wurde, Texte wie E-Mails, Erklärungen oder Lieder zu erstellen. Obwohl Pangram nicht mit Daten aus Opus 5 trainiert wurde, identifizierte es 1.105 von 1.107 (99,82 %) der Antworten von Opus 5 korrekt als vollständig KI-generiert. Dies zeigt, dass Pangram bereits am ersten Tag in der Lage ist, Claude Opus 5 zu erkennen.

Wie ich bereits zu Beginn erwähnt habe, werde ich mich künftig nicht mehr um das Verfassen dieser Blogbeiträge kümmern, sondern mich auf die Forschung konzentrieren. Das bedeutet, dass ihr davon ausgehen könnt, dass Pangram bei der Erkennung von Opus 5 und allen anderen neuen Modellen immer besser wird. Haltet Ausschau nach unseren regelmäßigen Modellveröffentlichungen!

Weitere Informationen zu unserem aktuellen KI-Erkennungsmodell finden Sie in unserer aktuellen Modellbeschreibung unter diesem Link.

Probieren Sie den KI-Detektor von Pangram aus, um Ihre Dokumente auf „Claude Opus 5“ und andere Modelle zu überprüfen.