La détection par IA peut-elle repérer le style d'écriture de Claude ?

Image : Anthropic

En novembre, Anthropic a publié une mise à jour de Claude.ai permettant aux utilisateurs de choisir le ton de voix avec lequel l'assistant répondra. En plus du ton de voix par défaut, les utilisateurs peuvent choisir parmi un menu prédéfini comprenant les options « Concis », « Explicatif » et « Formel ». Il existe également un mode permettant de personnaliser le style d'écriture, dans lequel vous pouvez saisir des documents ou des instructions qui seront ensuite convertis en votre propre style d'écriture.

Les préréglages sont assez explicites. « Concise » répond généralement sous forme de liste à puces ou de liste. « Explanatory » produit des réponses plus longues. « Formal » omet la signature de Claude « That's a great question » (C'est une excellente question) et rédige de manière assez professionnelle. D'après mon expérience, cependant, ils ressemblent tous à Claude : ils ne diffèrent en rien du fait de poser une question à l'assistant et de demander une réponse concise/explicative/formelle.

Mais ce que nous voulons tester, c'est notre détection IA. J'ai demandé à chaque style d'écriture Claude un essai de 250 mots sur la chute de Rome. Jetons un œil aux résultats.

Sortie standard Claude Sortie concise Claude Sortie explicative Claude Sortie formelle Claude

Tout cela ressemble encore beaucoup au style d'écriture habituel de Claude. Cela ne semble pas très différent de demander directement dans l'invite une sortie « concise » ou « formelle ».

Voyons si nous pouvons faire mieux en utilisant des styles d'écriture personnalisés. L'interface est plutôt sympa : il suffit de copier un texte et elle génère une invite complète. J'ai créé un style personnalisé à partir de mes propres articles de blog. Claude l'a baptisé « Tech Storyteller ». J'en ai créé un autre à partir d'articles du blog Slate Star Codex, que Claude a nommé « Scholarly Skeptic ». Il semble que cette fonctionnalité utilise un LLM pour produire environ trois phrases d'instructions pour le style d'écriture. Il existe également une section pour les exemples d'utilisateurs, mais à ma grande surprise, les exemples fournis au LLM sont entièrement générés et semblent assez génériques par rapport aux exemples sources.

Invitation à raconter une histoire technologique Tech Storyteller Claude output Invitation à la scepticisme savant Sceptique érudit Claude output

Ces textes ressemblent toujours clairement à des textes générés par une IA et le modèle de détection de Pangram continue de les repérer.

Comme j'ai remarqué que les exemples d'utilisateurs générés par l'IA pouvaient constituer une lacune, j'ai modifié manuellement les consignes relatives au style rédactionnel afin d'inclure à la place les exemples sources : mes articles de blog et les articles du Slate Star Codex.

Mise à jour de la sortie Tech Storyteller Claude Mise à jour des publications de Claude, sceptique érudit

Toujours clairement identifiable comme un texte rédigé par une IA. Était-ce mieux ou moins semblable à une IA ? Pas particulièrement, même si la suppression de l'en-tête très « IA » dans Tech Storyteller était un pas dans la bonne direction. J'ai remarqué que les instructions relatives au style rédactionnel mentionnaient la présentation d'« informations complexes » ou la « reconnaissance de la complexité », ce qui semblait principalement se traduire par une utilisation plus fréquente du mot « complexe » dans les textes rédigés par l'IA que dans les autres essais. Ce n'est pas exactement le style d'écriture que nous avions demandé.

Pour finir, j'ai utilisé le tableau de bord Pangram pour examiner ce qui, exactement, dans ces essais, les trahissait comme étant écrits par une IA. Bon nombre des expressions utilisées étaient beaucoup plus courantes dans les textes rédigés par une IA que dans les textes rédigés par des humains.

Tableau de bord Pangram

Par exemple, notre modèle a constaté que l'expression « complexe et multiforme » est utilisée 700 fois plus souvent dans les textes rédigés par l'IA que dans ceux rédigés par des humains. L'expression « interaction complexe » est utilisée 100 fois plus souvent. L'expression « a joué un rôle crucial » est utilisée 70 fois plus souvent. Ces expressions sont un exemple de la manière dont nous pouvons détecter intuitivement les textes rédigés par l'IA, mais le modèle utilise une approche holistique, en tenant compte du contexte global du document.

Dans l'ensemble, le style d'écriture de Claude semble être une fonctionnalité intéressante pour les personnes qui ne veulent pas ajouter « no yapping » à chaque invite, mais ce n'est pas un outil permettant de rendre les résultats de l'IA indétectables.