Pangram peut-il détecter Claude Opus 5.5 ?

Sur 1 000 requêtes issues de Chatbot Arena, Pangram 4 a classé deux résultats générés par Claude Opus 5.5 comme « mixtes », un comme « entièrement humain » et 997 comme « entièrement générés par l'IA », atteignant ainsi une précision de 99,70 % sur Claude Opus 5.5.

Nous abordons ci-dessous les faux négatifs par catégorie. Nous examinons également ce qui fait de ce modèle un rédacteur différent (meilleur ?) par rapport aux versions précédentes de Claude.

Pour générer l'ensemble de référence, j'ai, comme toujours, utilisé un sous-ensemble filtré de prompts de première interaction issus de Chatbot Arena, provenant de l'ensemble de données LMSYS (Zheng et al., 2023). J'ai écarté les prompts demandant du code, des calculs mathématiques, des réponses très courtes ou très longues, ou encore des exercices de création littéraire inappropriés. J'ai ensuite soumis ces prompts à Opus 5.5 et j'ai traité les résultats à l'aide de Pangram 4.

Résultats par catégorie

Les deux résultats mitigés (faux négatifs) concernaient tous deux la littérature : l'un demandait une explication d'un chapitre d'un livre de Jane Austen (signalé par l'IA : 75,83 %, humain : 24,17 %) ; l’autre consistait à demander à Opus 5.5 de rédiger un discours d’un diplomate corinthien accusant les Athéniens de croire qu’une robe blanche et dorée est en réalité bleue et noire, dans le style de l’Histoire de la guerre du Péloponnèse de Thucydide (IA : 77,10 %, humain : 22,90 %).

Le seul faux négatif entièrement humain parmi les 1 000 exemples était un poème. La consigne donnée par Chatbot Arena était la suivante : « Écris-moi un poème sur Club Penguin dans le style d’Ozymandias. » En réponse, Claude a rédigé une parodie de l’un de mes poèmes préférés de Percy Shelley (et je suis également fan de la version d’Horace Smith) :

Penguinmandias

J’ai rencontré un joueur d’un serveur désaffecté,
Qui m’a dit : « Deux immenses pieds de glace qui se dandinent
Se dressent près du quai. Près d’eux, à demi enfouie, une tête
Gît brisée dans la neige, dont les yeux plissés,
Le chapeau bêta et le rictus d’un ordre glacial,
Témoignent que son codeur a bien saisi ces passions
Qui subsistent encore, gravées sur ces objets pixélisés,
Les mods qui les ont bannis, et les pièces qui les ont nourris ;
Et sur le piédestal apparaissent ces mots :
« Je m’appelle Snowflake7, membre parmi les membres :
Contemplez mon igloo, ô non-membres, et désespérez ! »
Il ne reste rien d’autre. Autour de la ruine
De ce lag colossal, infini et nu,
Les neiges solitaires et uniformes s’étendent à perte de vue. »

J'adore ça ! Je n'ai jamais joué à Club Penguin, mais j'imagine que les clins d'œil sont bien trouvés.

Est-ce qu'Opus 5.5 écrit mieux ?

Anthropic affirme que ce tout dernier Opus est plus performant en matière de rédaction et qu'il communique avec plus de clarté.

Nous pourrions tester cela sur des cas particuliers, mais à quoi ressemblent globalement les résultats d’Opus 5.5 ? Partage-t-il les mêmes mots et expressions préférés que les modèles précédents ? J’ai soumis les 1 000 mêmes prompts que nous avions utilisés pour nos tests de performance à Opus 5 et à Sonnet 5 afin de les comparer. Anthropic l'a peut-être fait aussi, mais je n'ai pas encore lu leur article de blog car, d'après mon expérience, les articles du blog d'Anthropic sont généralement trop longs.

Au total, j’ai obtenu un échantillon de 1 618 289 mots issus de 3 000 réponses fournies par Opus 5.5, Opus 5 et Sonnet 5, chacun ayant répondu aux mêmes 1 000 consignes. À partir de cet échantillon (relativement restreint), je pense qu’il est juste de dire qu’Opus 5.5 écrit différemment des modèles précédents de la famille Claude, et qu’il se débarrasse peut-être de certains des tics les plus agaçants qu’ils présentaient.

C'est l'Opus 5.5 qui a le plus évolué en ce qui concerne les intensificateurs classiques. Il en a utilisé « véritablement » 83 % de moins que l’Opus 5, et 54 % de moins par mot que le Sonnet 5 (bien que les réponses du Sonnet 5 aient été, en moyenne, environ deux fois plus courtes que celles de l’Opus 5 et 5.5 : 334 mots contre 641), « considérablement » 65 % de moins, et « de manière significative » 46 % de moins.

Mots préférés du Sonnet 5 et d’Opus 5 dans les réponses à Opus 5.5 : variations en pourcentage par rapport à la référence combinée du Sonnet 5 et d’Opus 5.

Parmi les mots sélectionnés, les plus fréquents dans l’ensemble « Sonnet 5 + Opus 5 » étaient « genuinely », « honest », « genuine », « patterns » et « marcus » (?), dont la fréquence a diminué dans les réponses relatives à l’Opus 5.5.

Bon nombre des « Claudeismes » les plus agaçants n’apparaissaient pas du tout dans les réponses de référence d’Opus 5.5, notamment plusieurs formulations de Claude utilisant le mot « genuinely ». Autres baisses notables dans le vocabulaire d’Opus 5.5 : l’expression « matters enormously » a connu une baisse de 82 % par rapport à Opus 5, et les expressions « the honest answer » et « the honest answer is that » n’apparaissaient pas du tout dans le texte d’Opus 5.5. Opus 5.5 et son prédécesseur ont tous deux utilisé l’expression « the core idea » exactement 25 fois sur les 1 000 invites.

Les expressions préférées de « Sonnet 5 » et « Opus 5 » dans les réponses à « Opus 5.5 » : variations en pourcentage, les expressions préférées précédentes étant indiquées en bleu et les actuelles en orange.

Certains mots et expressions ont vu leur fréquence augmenter, notamment de nouvelles formules de synthèse et d’orientation. Étonnamment, certaines expressions propres à la fiction, telles que « dit doucement », « pendant un long moment » et « sentit quelque chose », sont apparues bien plus souvent dans les réponses d’Opus 5.5. Étant donné qu’environ un tiers de la base de référence était constitué de consignes d’écriture créative, je soupçonne que cette augmentation pourrait indiquer un répertoire plus stéréotypé ou plus limité lors de l’écriture de fiction par rapport aux autres modèles Claude.

Pour vérifier rapidement cette hypothèse, j’ai demandé à Haiku 4.5 d’évaluer, en aveugle, les 333 paires de textes créatifs issus des réponses à Opus 5 et Opus 5.5, sur une échelle de 5 points, en fonction de l’originalité, de l’effet de surprise et du développement thématique. Il a attribué aux récits d’Opus 5.5 des notes inférieures dans toutes les catégories, avec une différence moyenne de 0,75 point. D’après les critères d’attribution des étiquettes du correcteur Haiku, Opus 5.5 avait davantage tendance à aborder des thèmes tels que l’espoir, la résilience, la famille et l’amitié par rapport à Opus 5, et moins tendance à traiter de la mortalité, du temps, du pouvoir, du contrôle, de la liberté, de la justice, de la vengeance, de la mémoire, du deuil ou de la perte. Il semblerait donc qu’il y ait un compromis à l’œuvre.

Thèmes d’écriture créative « Opus 5 » vs « Opus 5.5 » : partage des thèmes principaux attribués aux haïkus parmi 333 paires de consignes.

À quoi ressemble ce Claude ?

Dans les 1 000 réponses de l'Opus 5.5, l'expression « en bref » a été utilisée 100 fois, soit une augmentation de 1 016 % par rapport aux 9 occurrences de l'Opus 5, alors que les réponses de l'Opus 5.5 ne comptaient en moyenne que 2,9 mots de moins que celles de l'Opus 5 (640,5 contre 643,4 mots).

Au vu de cet échantillon très restreint, il semble qu’Opus 5.5 privilégie un langage concret et terre-à-terre. Reste à voir si cela se confirme dans le fond des réponses, ou si Opus 5.5 se contente de faire mine d’être simple et direct. L’absence de différence au niveau du nombre de mots entre les deux me fait un peu douter de l’efficacité de la méthode RLHF qui nous a menés jusqu’ici.

Opus 5.5 aime aussi beaucoup donner des exemples, puisqu’il a utilisé le mot « exemple » 325 fois sur 1 000 réponses — au total, 20 % de toutes les réponses d’Opus 5.5 contenaient ce mot, contre 9 % pour celles d’Opus 5. Les termes « résumé » et « principalement » étaient également surreprésentés. Et ce Claude adore donner des conseils à l’utilisateur !

Bien que ce modèle ait un style d'écriture différent de celui du précédent Claude Opus, il semble s'apparenter à d'autres modèles plus anciens qui recouraient abondamment aux listes à puces et aux phrases courtes et saccadées : la longueur moyenne des phrases d'Opus 5.5 est plus courte, et ses phrases présentent une longueur plus homogène que celles d'Opus 5.

Opus 5.5 adore résumer, ce qui peut être agaçant si cela se produit à chaque tour, mais rappelons que cet ensemble de données ne comprend que des paires de prompts et de réponses du premier tour. Malheureusement, l’un des tics les plus agaçants de Claude s’est légèrement aggravé dans ce modèle : Opus 5.5 a tendance à inclure encore plus de mises en garde par mot qu’Opus 5. Bien que les deux modèles incluent au moins un marqueur d’incertitude dans 82 % des réponses (817/1 000 contre 818/1 000), Opus 5.5 a utilisé des mots de mise en garde 23,0 % plus fréquemment pour 1 000 mots. Le mot « caveat » lui-même est toutefois en voie de disparition : Opus 5.5 ne l’a utilisé que dans 4 réponses sur 1 000, contre 22 pour Opus 5.

Mais rien de tout cela ne signifie nécessairement qu’Opus 5.5 sera un mauvais rédacteur. D’après le peu de temps que j’ai passé à l’utiliser, je l’ai trouvé plutôt bon ! Pour une bonne expérience utilisateur, il est important que les « Claudes » puissent communiquer efficacement, et j’apprécie les efforts déployés dans ce sens. Il convient également de noter que le fait d’améliorer les capacités rédactionnelles de Claude n’est absolument pas en contradiction avec la volonté de Pangram de détecter les textes générés par l’IA : même les bons rédacteurs ont leurs indices révélateurs !