Comment détecter les textes générés par l'IA

ChatGPT rédige 2000 mots de texte médiocre en quelques secondes.

ChatGPT et d'autres grands modèles linguistiques (LLM), communément appelés « IA », sont devenus des outils de plus en plus populaires. Ils sont le plus souvent utilisés comme assistants, permettant à l'utilisateur de discuter directement avec le modèle linguistique. Cependant, les LLM sont de plus en plus utilisés pour créer du « slop », un terme désignant du contenu IA indésirable ou généré de manière paresseuse. Un exemple de contenu AI slop est un article de blog entièrement rédigé par ChatGPT et publié sur Internet dans le but de générer du trafic de recherche. Un autre exemple de contenu AI slop est une entreprise qui tente d'améliorer ses notes en utilisant l'IA pour rédiger plusieurs critiques élogieuses et détaillées.

Pangram Labs a formé un modèle d'apprentissage automatique très précis pour classer les textes générés par l'IA. À la fin de la formation, le modèle a examiné des centaines de millions d'exemples de textes écrits par des humains et générés par l'IA. Cet article vous aidera à développer votre propre intuition pour repérer les textes générés par l'IA, idéalement avec moins d'exemples.

J'ai discuté avec des enseignants, des conseillers d'orientation et des éditeurs qui ont tous été contraints d'acquérir cette compétence au cours de l'année dernière en raison de l'explosion de l'utilisation de l'IA. Cet article rassemble les informations que j'ai recueillies auprès d'eux, ainsi que les techniques que nous utilisons en interne chez Pangram pour former nos nouvelles recrues. Après tout, il est impossible de former un bon modèle d'apprentissage automatique si l'on ne maîtrise pas la tâche elle-même.

TL;DR

• Recherchez les expressions courantes liées à l'IA.
• Demandez à ChatGPT de générer plusieurs exemplaires du type de document que vous essayez de détecter et recherchez les similitudes.
• Essayez de rendre votre écriture IA indétectable et recherchez ce qui ressort.
• Utilisez un vérificateur de rédaction IA pour affiner votre intuition.

Les composantes de l'écriture

Sujet

En général, l'IA ne choisit pas son propre sujet : elle est invitée à écrire sur un sujet spécifique. Même dans ce cas, l'IA fera preuve de partialité envers les sous-sujets qu'elle choisit elle-même. Par exemple, si je demande à ChatGPT de me rédiger un essai sur le symbolisme dans Moby Dick, elle choisira probablement les mêmes thèmes les plus évidents. Cependant, n'importe quel étudiant pourrait demander à ChatGPT d'écrire spécifiquement sur une certaine forme de symbolisme dans le livre, et ChatGPT serait capable d'écrire à ce sujet. C'est pourquoi je ne m'attarde pas trop sur le sujet lorsque j'évalue si un texte est issu de l'IA ou non.

Structure

Lorsqu'on lui demande de rédiger des documents complets, l'IA suit généralement une structure par défaut. Demandez-lui de rédiger un article de blog et elle commencera par une introduction, 3 ou 4 paragraphes, quelques points clés et une conclusion résumant l'article. De même, si je demande à l'IA de rédiger une critique de restaurant, elle commencera souvent par « J'ai récemment eu le plaisir de dîner au ____ », parlera de la nourriture, de l'ambiance et du service, et conclura par un enthousiaste « Je recommande vivement ». Bien que la structure par défaut puisse également être modifiée (« Écris-moi un article de blog de 20 paragraphes », « Rédige une critique courte, ne mentionne pas le nom du restaurant »), cela demande un effort que de nombreux utilisateurs ne sont pas prêts à fournir. Lorsque la structure d'un texte est similaire à celle d'autres textes rédigés par l'IA, cela constitue un premier indice fort qui incite à approfondir la question.

Style

Au poker, le mot « tell » désigne un indice que quelqu'un donne inconsciemment lorsqu'il bluffe. Par exemple, lorsqu'une personne est nerveuse, elle peut tripoter ses lunettes, laissant ainsi échapper des informations sur ses paris. De la même manière, chez Pangram, nous appelons certains mots ou expressions des « AI tells » : il s'agit de mots ou d'expressions que ChatGPT ou d'autres modèles linguistiques privilégient de manière disproportionnée, et qui constituent un indice très fort de l'origine IA dès lors que vous commencez à les remarquer.

« Delve » est un exemple extrême d'indicateur d'IA, car ChatGPT l'utilise beaucoup plus souvent que dans l'anglais américain standard.

J'ai également remarqué que « J'ai récemment eu le plaisir » est une expression courante dans les critiques de restaurants et que ChatGPT parvient toujours à insérer le mot « keen » (enthousiaste) si vous lui demandez de rédiger une lettre de motivation. Même avec des invites très précises, les LLM sont fortement influencés par des tendances stylistiques internes. C'est pourquoi le style est un signal fort sur lequel je m'appuie beaucoup.

Voici une liste d'expressions courantes liées à l'IA à utiliser comme point de départ. (Sources : reddit, aiphrasefinder.com)

• « Il est important de noter »
• « Plonger dans »
• « Tapisserie »
• « Dynamique »
• « Animé »
• « En résumé » ou « En conclusion »
• « Souviens-toi que... »
• « Plongez dans »
• « Naviguer », c'est-à-dire « Naviguer dans le paysage » « Naviguer dans les complexités de »
• « Paysage », c'est-à-dire « le paysage de... », en particulier « paysage en constante évolution ».
• « Testament », c'est-à-dire « témoignage de... ».
• « Dans le monde de »
• « Royaume »
• « Embarquer »
• « Symphonie »
• « Embrasser »
• « Que vous soyez X ou Y »
• « Quand il s'agit de »

Techniques pour améliorer votre intuition

Les phrases constituent une bonne base, mais souvent, l'IA génère des textes qui sont manifestement écrits par une IA, mais qui n'utilisent aucune de ces phrases. Pour améliorer cette compétence, nous devrons consacrer du temps à étudier concrètement l'écriture IA.

Étudier la rédaction IA

Cela peut déplaire à certains ou enthousiasmer d'autres, mais si vous voulez identifier l'IA, vous devez savoir à quoi ressemble un texte rédigé par l'IA. Il est utile d'avoir un type de texte particulier que vous souhaitez pouvoir identifier. Imaginons que je veuille devenir vraiment bon dans l'identification des e-mails générés par l'IA. La première chose à faire est de demander à ChatGPT d'écrire un e-mail de présentation spontané. Un e-mail de remerciement. Un e-mail marketing. Répétez l'opération plusieurs fois, en modifiant la consigne et en notant les similitudes entre chaque itération. Ensuite, réessayez avec Claude et Gemini, en continuant à rechercher des schémas récurrents.

Objet : Exploration des possibilités de collaboration avec OpenAI

Cher [nom du fondateur],

J'espère que vous allez bien. Je m'appelle [Votre nom] et je suis [Votre fonction] chez [Votre entreprise/organisation], où nous sommes spécialisés dans [décrivez brièvement votre domaine ou votre expertise]. Je suis de près les avancées révolutionnaires d'OpenAI dans le domaine de l'intelligence artificielle, et je suis vraiment impressionné par votre engagement en faveur d'un développement éthique de l'IA et par l'impact transformateur de vos projets.

Je vous contacte afin d'explorer les possibilités de collaboration entre nos organisations. Je pense que la combinaison des capacités d'OpenAI en matière d'IA et de notre expertise dans [votre domaine ou technologie spécifique] pourrait déboucher sur des solutions innovantes qui feraient progresser le domaine et créeraient une valeur substantielle.

Je serais ravi de pouvoir discuter plus en détail de ce sujet et d'explorer les possibilités de collaboration afin d'atteindre nos objectifs communs. Pourrions-nous prévoir un bref entretien téléphonique ou une réunion à votre convenance ? Je suis flexible en termes d'horaires et je m'adapterai volontiers à votre emploi du temps.

Merci d'avoir pris le temps d'examiner cette opportunité. Je me réjouis à l'idée de pouvoir travailler avec vous et de contribuer aux développements passionnants d'OpenAI.

Cordialement,

[Votre nom complet]

[Votre poste]

[Votre entreprise/organisation]

[Coordonnées]

[Profil LinkedIn ou site web] (facultatif)

Jouer à des jeux antagonistes

Lorsque nous avons lancé Pangram Labs, nous avons beaucoup travaillé sur ce que nous avons appelé « The Human Baseline » (la référence humaine). Les règles sont simples. Vous choisissez un sujet. Notre première référence humaine concernait les essais d'admission. La personne A se procure cinq essais d'admission à l'université rédigés par des humains. Ensuite, la personne A utilise ChatGPT ou un autre LLM pour créer cinq essais rédigés par l'IA. Elle les mélange et présente les dix essais à la personne B afin qu'elle classe ceux qui ont été rédigés par l'IA. La personne B peut passer le test et donner son raisonnement. Cela permet de créer une base de référence pour déterminer dans quelle mesure ces essais sont détectables et aide à développer des heuristiques.

Pour aller plus loin, la personne B peut utiliser ses conclusions pour établir une base de référence humaine plus difficile, en fournissant davantage d'informations au LLM ou en lui demandant d'éviter les phrases qui rendent cela évident. Ces allers-retours peuvent améliorer davantage votre intuition et vous aider à identifier les messages de l'IA qui reviennent régulièrement.

Pour avoir un exemple de référence humaine, jetez un œil à ces deux avis. L'un provient de Yelp, l'autre de GPT-4.

Si cela n'est pas évident, le premier exemple est celui de l'IA et le second celui d'un humain. J'ai précisé à la fois le sujet (Textbook Cafe à Brooklyn) et la structure (un paragraphe), mais le style de ChatGPT est si marqué que cela reste évident. Essayez d'en créer un vous-même et partagez-le avec un ami !

Utilisez des outils conçus pour la détection de l'IA

Pangram Labs a consacré d'innombrables heures à former des modèles d'apprentissage automatique qui ont appris, à partir de centaines de millions de documents, à différencier au mieux les contenus rédigés par l'IA et ceux rédigés par des humains. Je peux donc tout aussi bien faire un peu d'autopromotion. Notre tableau de bord vous permet de coller du texte ou de télécharger des documents. Si vous avez des doutes et que vous souhaitez vous appuyer sur quelque chose de plus concret que votre intuition, cet outil vous fournira une classification et un score de confiance. Le tableau de bord contient également une analyse plus approfondie qui indique les mots ou expressions qui ont fourni le plus d'indications dans la classification. J'utilise personnellement notre outil tout le temps lorsque je vois quelque chose sur Internet qui me semble suspect, et j'espère qu'il vous sera également utile.

Des questions ? Des commentaires ? Vous avez trouvé une erreur flagrante dans l'IA et souhaitez la partager ? Contactez-nous sur Twitter/X à l'adresse @max_spero_.