Comment repérer un texte rédigé par une IA

ChatGPT produit 2 000 mots de texte sans intérêt en quelques secondes

ChatGPT et d'autres grands modèles linguistiques (LLM), communément désignés sous le terme générique d'« IA », sont devenus des outils de plus en plus populaires. Leur utilisation la plus courante consiste à servir d'assistant, permettant à l'utilisateur de discuter directement avec le modèle linguistique. Cependant, les LLM sont de plus en plus utilisés pour créer du « slop », un terme désignant du contenu généré par l'IA qui est indésirable ou produit à la va-vite. Un exemple de « slop » généré par l'IA est un article de blog entièrement rédigé par ChatGPT et publié sur Internet dans le but de générer du trafic de recherche. Un autre exemple est celui d'une entreprise qui tente d'améliorer ses notes en utilisant l'IA pour rédiger plusieurs avis élogieux et très longs.

Pangram Labs a formé un modèle d'apprentissage automatique très précis pour classer les textes générés par l'IA. À l'issue de la formation, le modèle a analysé des centaines de millions d'exemples de textes rédigés par des humains et générés par l'IA. Cet article vous aidera à développer votre propre intuition pour repérer les textes générés par l'IA, idéalement avec moins d'exemples.

J'ai discuté avec des enseignants, des conseillers en admissions et des éditeurs qui ont tous été amenés à acquérir cette compétence au cours de l'année écoulée en raison de l'explosion de l'utilisation de l'IA. Cet article rassemble les informations que j'ai recueillies auprès d'eux, ainsi que les techniques que nous utilisons en interne chez Pangram pour mettre les nouvelles recrues à niveau. Après tout, on ne peut pas former un bon modèle d'apprentissage automatique si l'on ne maîtrise pas la tâche elle-même.

En bref

• Recherchez les expressions courantes liées à l'IA.
• Demandez à ChatGPT de générer plusieurs exemplaires du type de document que vous essayez de détecter, puis recherchez les similitudes.
• Essayez de rendre un texte généré par l'IA indétectable et repérez ce qui cloche.
• Utilisez un logiciel de détection de plagiat pour affiner votre intuition.

Les éléments constitutifs de l'écriture

Sujet

En général, l'IA ne choisit pas elle-même son sujet : on lui demande d'écrire sur un thème précis. Malgré cela, l'IA fera preuve d'un certain parti pris envers les sous-thèmes qu'elle choisit d'aborder. Par exemple, si je demande à ChatGPT de me rédiger un essai sur le symbolisme dans Moby Dick, elle choisira probablement les mêmes thèmes les plus évidents. Cependant, n'importe quel étudiant pourrait demander à ChatGPT d'écrire spécifiquement sur une certaine forme de symbolisme dans le livre, et ChatGPT serait capable d'écrire à ce sujet. C'est pour cette raison que je n'accorde pas trop d'importance au sujet lorsque j'évalue si un texte a été rédigé par une IA ou non.

Structure

Lorsqu'on lui demande de rédiger des documents complets, l'IA a généralement tendance à suivre une structure par défaut. Demandez-lui de rédiger un article de blog et elle commencera par une introduction, suivie de 3 ou 4 paragraphes, de quelques puces et d'une conclusion résumant l'article. De même, si je souhaite que l'IA rédige une critique de restaurant, elle commencera souvent par dire « J'ai récemment eu le plaisir de dîner au ____ », parlera de la cuisine, de l'ambiance et du service, et conclura par un enthousiaste « Je recommande vivement ». Bien qu'il soit possible de contourner cette structure par défaut (« Écris-moi un article de blog de 20 paragraphes », « Fais une critique courte, ne mentionne pas le nom du restaurant »), cela demande un effort que de nombreux utilisateurs ne sont pas prêts à fournir. Lorsque la rédaction est structurée de manière similaire à d'autres textes générés par l'IA, c'est un signe fort qu'il faut creuser davantage.

Style

Au poker, le terme « tell » désigne un indice qu'une personne donne involontairement lorsqu'elle bluffe. Par exemple, lorsqu'une personne est nerveuse, elle peut tripoter ses lunettes, laissant ainsi transparaître des informations sur ses mises. De la même manière, chez Pangram, nous qualifions certains mots ou expressions de « tells de l'IA » : il s'agit de mots ou d'expressions que ChatGPT ou d'autres modèles linguistiques utilisent de manière disproportionnée, et qui constituent un indice très fort de l'origine IA dès lors que l'on commence à les remarquer.

« Delve » est un exemple flagrant d'indice révélateur d'IA, car ChatGPT l'utilise beaucoup plus souvent qu'il ne le ferait en anglais américain courant.

J'ai également remarqué que « J'ai récemment eu le plaisir » est une expression courante dans les critiques de restaurants, et que ChatGPT n'oublie jamais d'insérer le mot « enthousiaste » lorsqu'on lui demande de rédiger une lettre de motivation. Même avec des instructions très précises, les modèles de langage grand public (LLM) sont fortement influencés par leurs propres tendances stylistiques. C'est pourquoi le style est un indicateur important sur lequel je me base beaucoup.

Voici une liste d'expressions courantes en matière d'IA qui peuvent servir de point de départ. (Sources : reddit, aiphrasefinder.com)

• « Il est important de noter que »
• « Plongez-vous dans »
• « Tapisserie »
• « Dynamique »
• « animé »
• « En résumé » ou « En conclusion »
• « N'oublie pas que... »
• « Plongez dans »
• « S'orienter », c'est-à-dire « s'orienter dans le paysage », « s'orienter dans les subtilités de »
• « Paysage », c'est-à-dire « Le paysage de... », en particulier « un paysage en constante évolution »
• « Testament », c'est-à-dire « un témoignage de... »
• « Dans le monde de »
• « Royaume »
• « Embarquer »
• « Symphonie »
• « Embrasser »
• « Que vous soyez X ou Y »
• « Quand il s'agit de »

Techniques pour développer votre intuition

Les expressions constituent un bon point de départ, mais il arrive souvent que l'IA génère des textes qui, bien qu'ils soient manifestement rédigés par une IA, n'utilisent aucune de ces expressions. Pour améliorer cette compétence, nous devrons consacrer un peu de temps à l'étude approfondie des textes produits par l'IA.

Étudier la rédaction assistée par l'IA

Cela peut déplaire à certains ou en enthousiasmer d'autres, mais si vous voulez repérer les textes générés par l'IA, vous devez savoir à quoi ils ressemblent. Il est utile d'avoir en tête un type de texte particulier que vous souhaitez être capable d'identifier. Imaginons que je veuille devenir vraiment doué pour repérer les e-mails générés par l'IA. La première chose à faire est de demander à ChatGPT de rédiger un e-mail de prise de contact. Un e-mail de remerciement. Un e-mail marketing. Répétez l'opération plusieurs fois, en modifiant la consigne et en notant les similitudes entre chaque itération. Ensuite, réessayez avec Claude et Gemini, en continuant à rechercher des schémas récurrents.

Objet : Étude des possibilités de collaboration avec OpenAI

Cher [Nom du fondateur],

J'espère que vous vous portez bien. Je m'appelle [Votre nom] et j'occupe le poste de [Votre fonction] au sein de [Votre entreprise/organisation], où nous sommes spécialisés dans [décrivez brièvement votre domaine ou votre expertise]. Je suis de près les avancées révolutionnaires d'OpenAI en matière d'intelligence artificielle, et je suis vraiment impressionné par votre engagement en faveur d'un développement éthique de l'IA ainsi que par l'impact transformateur de vos projets.

Je vous contacte afin d'étudier les possibilités de collaboration entre nos organisations. Je suis convaincu que l'association des capacités d'IA d'OpenAI et de notre expertise dans [votre domaine ou technologie spécifique] pourrait déboucher sur des solutions innovantes susceptibles de faire progresser ce domaine et de créer une valeur ajoutée considérable.

Je serais ravi de pouvoir en discuter plus en détail et d'étudier les possibilités de collaboration pour atteindre nos objectifs communs. Pourrions-nous organiser un bref entretien téléphonique ou une réunion à votre convenance ? Je suis flexible en termes d'horaires et je m'adapterai volontiers à votre emploi du temps.

Merci d'avoir pris en considération cette opportunité. Je me réjouis à l'idée de pouvoir travailler avec vous et de contribuer aux développements passionnants en cours chez OpenAI.

Cordialement,

[Votre nom complet]

[Votre poste]

[Votre entreprise/organisation]

[Coordonnées]

[Profil LinkedIn ou site web] (facultatif)

Jouer à des jeux d'opposition

Lorsque nous avons lancé Pangram Labs, nous avons réalisé de nombreux tests que nous avons appelés « The Human Baseline ». Les règles sont simples. On choisit un sujet. Notre premier test portait sur les lettres de motivation pour l'entrée à l'université. La personne A se procure cinq lettres de motivation rédigées par des humains. Elle utilise ensuite ChatGPT ou un autre modèle de langage (LLM) pour créer cinq lettres rédigées par l'IA. Elle mélange les dix lettres et les présente à la personne B, qui doit déterminer lesquelles ont été rédigées par l'IA. La personne B peut passer le test et expliquer son raisonnement. Cela permet d'établir une référence quant à la détectabilité de ces essais et aide à développer des heuristiques.

Pour aller plus loin, la personne B peut utiliser ses conclusions pour établir un modèle de référence humain plus complexe, en fournissant davantage d'informations au LLM ou en lui demandant d'éviter les expressions qui trahissent son origine. Ces échanges peuvent affiner votre intuition et vous aider à identifier les schémas de raisonnement propres à l'IA qui reviennent régulièrement.

Pour avoir un exemple de référence humaine, jetez un œil à ces deux avis. L'un provient de Yelp, et l'autre de GPT-4.

Au cas où cela ne sauterait pas aux yeux, le premier exemple a été généré par l'IA et le second par un humain. J'ai précisé à la fois le sujet (le Textbook Cafe à Brooklyn) et la structure (un paragraphe), mais le style de ChatGPT est tellement caractéristique que la différence reste évidente. Essayez d'en créer un vous-même et partagez-le avec un ami !

Utilisez des outils conçus pour la détection de l'IA

Pangram Labs a consacré d'innombrables heures à l'entraînement de modèles d'apprentissage automatique qui ont appris, à partir de centaines de millions de documents, à distinguer au mieux les contenus rédigés par l'IA de ceux rédigés par des humains. Je peux donc me permettre de faire un peu ma propre promotion. Notre tableau de bord vous permet de coller du texte ou de télécharger des documents. Ainsi, si vous avez un doute et que vous souhaitez vous appuyer sur quelque chose de plus concret que votre intuition, cet outil vous fournira une classification et un score de confiance. Le tableau de bord propose également une analyse plus approfondie qui indique quels mots ou expressions ont été les plus déterminants dans la classification. J'utilise personnellement notre outil tout le temps lorsque je tombe sur quelque chose sur Internet qui me met la puce à l'oreille, et j'espère qu'il vous sera également utile.

Des questions ? Des commentaires ? Vous avez repéré une erreur flagrante de l'IA et vous souhaitez la signaler ? Contactez-moi sur Twitter/X à l'adresse @max_spero_.

Envie de mettre votre intuition à l'épreuve ? Essayez l'outil de détection d'IA de Pangram pour analyser n'importe quel texte à la recherche de contenu généré par l'IA.