La détection par IA peut-elle repérer le style d'écriture de Claude ?

Image : Anthropic

En novembre, Anthropic a publié une mise à jour de Claude.ai permettant aux utilisateurs de choisir le ton avec lequel l'assistant leur répondra. Outre le ton par défaut, les utilisateurs peuvent choisir parmi un menu prédéfini comprenant les options « Concis », « Explicatif » et « Formel ». Il existe également un mode permettant de personnaliser le style d'écriture : il suffit d'importer des documents ou des instructions pour que l'assistant adopte votre propre style d'écriture.

Les préréglages sont assez intuitifs. Le mode « Concis » répond généralement sous forme de puces ou de listes. Le mode « Explicatif » génère des réponses plus longues. Le mode « Formel » omet la phrase fétiche de Claude « C'est une excellente question » et adopte un style d'écriture très professionnel. D'après mon expérience, cependant, ils ont tous toujours la patte de Claude : c'est comme si l'on posait une question à l'assistant en lui demandant une réponse concise, explicative ou formelle.

Mais ce que nous voulons tester, c'est notre système de détection de l'IA. J'ai demandé à chaque style d'écriture de Claude de rédiger un essai de 250 mots sur la chute de Rome. Voyons voir les résultats.

Sortie standard Claude Résultat concis de Claude Sortie explicative de Claude Sortie formelle de Claude

Tout cela ressemble encore beaucoup au style habituel de Claude. Cela ne semble pas très différent de demander directement dans la consigne un résultat « concis » ou « formel ».

Voyons si nous pouvons faire mieux en utilisant des styles d'écriture personnalisés. L'interface est plutôt sympa : en gros, vous copiez un texte et l'outil génère une consigne complète pour vous. J'ai créé un style personnalisé à partir de mes propres articles de blog. Claude l'a baptisé « Tech Storyteller ». J'en ai créé un autre à partir d'articles du blog Slate Star Codex, et Claude l'a appelé « Scholarly Skeptic ». Il semble que cette fonctionnalité utilise un LLM pour produire environ trois phrases d'instructions relatives au style d'écriture. Il y a également une section dédiée aux exemples fournis par les utilisateurs, mais à ma grande surprise, les exemples donnés au LLM sont entièrement générés et semblent assez génériques par rapport aux exemples sources.

Consigne pour le « Tech Storyteller » Tech Storyteller Claude output Sujet pour un sceptique érudit Claude, le sceptique érudit

Ces textes ressemblent encore clairement à des textes générés par l'IA, et le modèle de détection de Pangram continue de les repérer.

Comme j'ai remarqué que les exemples d'utilisateurs générés par l'IA pouvaient constituer une lacune, j'ai modifié manuellement les consignes de style rédactionnel afin d'y inclure à la place les exemples sources : mes articles de blog et ceux du Slate Star Codex.

Mise à jour de la sortie de Claude, le conteur technologique Mise à jour des publications de Claude, le sceptique érudit

On reconnaît encore clairement qu’il s’agit d’un texte généré par l’IA. Était-il meilleur ou moins « typique de l’IA » ? Pas vraiment, même si la suppression de l’en-tête très « typique de l’IA » dans le Tech Storyteller constituait un pas dans la bonne direction. J’ai notamment remarqué que les consignes de style mentionnaient la présentation d’« informations complexes » ou la « reconnaissance de la complexité », ce qui semblait surtout se traduire par une utilisation plus fréquente du mot « complexe » dans ce texte généré par l’IA que dans les autres essais. Ce n'est pas exactement le style d'écriture que nous avions demandé.

Pour finir, j'ai utilisé le tableau de bord Pangram pour déterminer quels éléments précis des essais permettaient de les identifier comme ayant été rédigés par une IA. Bon nombre des expressions utilisées étaient bien plus courantes dans les textes générés par une IA que dans les textes rédigés par des humains.

Tableau de bord Pangram

Par exemple, notre modèle a révélé que l'expression « complexe et multiforme » est utilisée 700 fois plus souvent dans les textes générés par l'IA que dans ceux rédigés par des humains. L'expression « interaction complexe » est utilisée 100 fois plus souvent. L'expression « a joué un rôle crucial » est utilisée 70 fois plus souvent. Ces expressions illustrent comment on pourrait intuitivement repérer un texte généré par l'IA, mais le modèle adopte une approche globale, en tenant compte du contexte global du document.

Dans l'ensemble, le style d'écriture de Claude semble être une fonctionnalité pratique pour ceux qui ne veulent pas ajouter « pas de bavardages » à chaque instruction, mais ce n'est pas un outil permettant de rendre les réponses générées par l'IA indétectables.

Essayez l'outil de détection d'IA de Pangram pour vérifier les résultats générés par Claude et d'autres modèles.