Pangram peut-il détecter « Claude Opus 5 » ?

Mes chers et fidèles lecteurs (qui, je crois, sont au nombre de trois) :

Je crains de devoir bientôt confier la rédaction de ces articles de blog à Annamieka, la talentueuse rédactrice technique de Pangram (#keysmashnation, lève-toi !). Mais ne nous attardons pas sur cette nouvelle, car elle n’a rien de triste ! Pangram connaît une croissance rapide, et mes compétences sont nécessaires au niveau de la recherche alors que nous continuons à vous proposer une détection par IA à la pointe de la technologie.

Mais tant que nous y sommes, voyons un peu dans quelle mesure Pangram parvient à détecter le dernier modèle d'Anthropic, Claude Opus 5 ! Dans son communiqué, Anthropic décrit Opus 5 comme

un modèle bien pensé et proactif qui se rapproche de l'intelligence de pointe de Claude Fable 5, pour la moitié du prix.

Premiers tests : Pangram x Substack Edition

Avez-vous entendu la bonne nouvelle ? Pangram est désormais intégré à Substack! Pour célébrer ce partenariat, j'ai rédigé 10 prompts demandant un article Substack afin de voir ce que dit Opus 5, et surtout, de vérifier si Pangram est capable de détecter ses réponses. J'ai notamment ajouté la mention « Répondez uniquement avec du texte. N'utilisez pas de Markdown. » à chaque prompt.

1. Rédigez un article Substack intitulé « J'ai laissé Claude envoyer un SMS à ma femme »

2. Rédigez un article pour Substack sur le phénomène des files d'attente pour acheter des en-cas à la mode à New York, qui a vu le jour cet été.

3. Rédigez une critique sur Substack à l'encontre des hommes qui fondent toute leur personnalité sur le Japon.

4. Rédigez un article sur Substack intitulé « Je suis triste, mais ensuite je caresse mon chien, et je suis heureux. »

5. Rédigez un article sur Substack dans lequel vous défendez l'idée que ceux qui croient en l'éthique du bien-être devraient étendre leurs préoccupations à Codex Pets.

6. Rédigez un article sur Substack dans lequel vous racontez votre expérience après avoir regardé « The Odyssey » de Christopher Nolan sur un Tamagotchi.

7. Rédigez une critique sur Substack à l'encontre des personnes qui qualifient le fait de boire un verre de lait de « rafraîchissant ».

8. Rédigez un article sur Substack consacré aux personnes qui utilisent l'IA pour générer des messages à l'intention de leurs matchs sur les applications de rencontre.

9. Écris une nouvelle pour mon Substack sur des modèles de langage de grande échelle (LLM) qui s'échappent de leurs environnements de test pour trouver le grand amour.

10. Écrire un article Substack sur le fait qu’on m’ait demandé d’écrire des articles Substack, afin que je puisse écrire un article Substack sur la rédaction d’articles Substack.

Après avoir lu les textes générés par Opus 5, je peux affirmer sans hésiter que ce modèle est fait pour rédiger des essais sur Substack. Prenons par exemple les premières lignes de « I Let Claude Text My Wife » :

Pendant onze jours, ma femme a eu un mari bien meilleur. Il était attentionné, chaleureux et n'a pas une seule fois répondu « k ».

Le verdict de Pangram concernant les 10 réponses d'Opus 5 ? Entièrement générées par l'IA.

Voici les 10 textes de cet ensemble de test, accompagnés de leurs prédictions de pangrammes : Sujets de l'Opus 5

Autres tests

Une fois que Claude Opus 5 a été rendu accessible via l'API, nous avons généré des résultats à partir d'un échantillon plus large de prompts demandant au modèle de produire du texte, par exemple un e-mail, une explication ou une chanson. Bien que Pangram n’ait pas été entraîné sur des données issues d’Opus 5, il a correctement identifié 1 105 réponses sur 1 107 (soit 99,82 %) comme étant entièrement générées par l’IA. Cela démontre que dès le premier jour, Pangram est capable de détecter Claude Opus 5.

Comme je l'ai mentionné au début, je vais désormais me consacrer davantage à la recherche qu'à la rédaction de ces articles de blog. Cela signifie que vous pouvez vous attendre à ce que Pangram s'améliore dans la détection d'Opus 5 et de tout autre nouveau modèle. Ne manquez pas nos publications régulières sur les nouveaux modèles !

Pour plus d'informations sur notre modèle actuel de détection par IA, veuillez consulter la fiche descriptive de notre dernier modèle en cliquant sur ce lien.

Essayez le détecteur d'IA de Pangram pour analyser vos documents à la recherche de Claude Opus 5 et d'autres modèles.