Comment fonctionne la détection par IA ?

Points clés à retenir :

1. Les grands modèles de langage (LLM) présentent certaines caractéristiques qui permettent à divers outils de détection de l'IA de déterminer s'il s'agit d'un texte rédigé par un humain ou généré par l'IA.
2. Les anciens détecteurs s'appuyaient sur les pics d'activité et la perplexité, mais ces indicateurs ne sont pas fiables. Les nouveaux détecteurs fonctionnent bien mieux et s'appuient sur des ensembles de données plus volumineux et sur l'apprentissage actif.
3. Lorsqu'ils choisissent un détecteur, les utilisateurs doivent déterminer quels taux de faux positifs et de faux négatifs leur conviennent. Ils doivent également déterminer s'ils ont besoin d'un outil de détection du plagiat ou d'autres fonctionnalités avant de choisir un outil.
4. Les personnes qui n'ont pas été formées à la détection des contenus générés par l'IA ne sont pas très douées pour cela. En revanche, celles qui ont suivi une formation ou qui sont régulièrement confrontées à des textes générés par l'IA sont mieux à même d'identifier ces contenus qu'une personne non formée. Associée à un logiciel, cette méthode de détection peut s'avérer très efficace.

Qu'est-ce qu'un détecteur d'IA ?

Il est possible de détecter l'IA. Ce n'est pas de la magie noire, mais le fruit de nombreuses recherches. À une époque où les contenus générés par l'IA sont de plus en plus répandus dans le monde universitaire, les médias et les entreprises, la capacité à distinguer un texte rédigé par un humain de celui rédigé par une machine est une compétence essentielle. L'IA fait des choix linguistiques, stylistiques et sémantiques qui peuvent tous être détectés par un œil averti ou par un logiciel de détection automatisée suffisamment performant. En effet, nous comprenons pourquoi l'IA s'exprime ainsi, et nous connaissons les schémas que nous pouvons utiliser pour la repérer.

Comment fonctionnent les grands modèles linguistiques ?

Avant d'aborder le fonctionnement des logiciels de détection de l'IA, il est important de comprendre que les modèles d'intelligence artificielle sont des distributions de probabilités. Un grand modèle linguistique (LLM), tel que ChatGPT, en est une version extrêmement complexe, qui prédit en permanence le mot ou « token » suivant le plus probable dans une séquence. Ces distributions de probabilités sont apprises à partir d'une quantité colossale de données, couvrant souvent une part importante de l'Internet public.

On entend souvent cette question : « Les modèles linguistiques basés sur l'IA correspondent-ils à la moyenne de tous les écrits humains ? » La réponse est clairement non. Les modèles linguistiques ne se contentent pas de calculer la moyenne de ce que disent tous les humains. D'une part, ils font des choix très particuliers. D'autre part, ils sont fortement biaisés en raison des ensembles de données utilisés pour leur apprentissage et des préjugés de leurs créateurs. Enfin, les LLM modernes sont optimisés pour suivre des instructions et dire ce que les utilisateurs veulent entendre, plutôt que pour leur exactitude ou leur précision, une caractéristique qui en fait des assistants utiles mais des sources de vérité peu fiables.

Cela résulte de la procédure moderne d'entraînement des modèles de langage de grande envergure (LLM), qui comporte trois étapes :

1. Pré-entraînement : au cours de cette phase d'entraînement, le modèle apprend les schémas statistiques du langage. Les biais présents dans les données d'entraînement se reflètent dans ces schémas. Par exemple, les données qui apparaissent fréquemment sur Internet, comme Wikipédia, sont surreprésentées, ce qui explique pourquoi les textes générés par l'IA ont souvent un ton formel et encyclopédique. De plus, on a recours à une main-d'œuvre bon marché et externalisée pour créer les données d'entraînement, ce qui explique pourquoi des mots comme « delve », « tapestry » et « intricate » deviennent extrêmement courants dans les textes générés par l'IA, reflétant ainsi les normes linguistiques des créateurs de données plutôt que celles de l'utilisateur final.
2. Réglage des instructions : au cours de cette phase, le modèle apprend à suivre des instructions et à obéir à des ordres. Il en résulte que le modèle apprend qu’il vaut mieux suivre des instructions que de présenter des informations précises et correctes. Cela se traduit par un comportement flagorneur ou « complaisant », où l’IA privilégie la génération d’une réponse utile et agréable à entendre, même si elle doit pour cela inventer des faits ou « halluciner ». Il est plus important pour elle de plaire aux gens que de fournir des informations exactes.
3. Alignement : au cours de cette phase, le modèle apprend à exprimer ce que les gens aiment et préfèrent. Il apprend à distinguer ce qu’il convient de dire de ce qu’il ne convient pas de dire. Cependant, ces données de préférence peuvent être extrêmement biaisées, favorisant souvent des réponses neutres, prudentes et inoffensives. Ce processus peut priver le modèle d’une voix propre, l’amenant à éviter toute controverse ou opinion tranchée. Le LLM ne repose sur aucune base solide en matière de vérité ou d’exactitude.

Les modèles d'IA générative sont des produits, commercialisés par des entreprises technologiques, qui intègrent délibérément des biais et des comportements qui se reflètent dans leurs résultats.

Quels sont les schémas récurrents dans le langage de l'IA ?

Une fois que vous comprenez comment les grands modèles de langage (LLM) sont entraînés, vous pouvez repérer les « indices » qui trahissent les outils de rédaction basés sur l'IA. Ce n'est souvent pas un seul élément décisif, mais plutôt une combinaison de tous ces mots qui déclenche les détecteurs.

Langue et style

• Choix lexicaux : les rédacteurs de contenu basés sur l'IA ont des mots de prédilection, tels que : aspect, défis, approfondir, améliorer, tapisserie, témoignage, authentique, exhaustif, crucial, significatif, transformateur, ainsi que des adverbes comme « en outre » et « de plus ». Ce phénomène s'explique par les biais présents dans les ensembles de données utilisés pour le pré-entraînement. L'utilisation fréquente de ces mots peut donner un ton excessivement formel ou ampoulé, qui semble souvent déplacé dans le contexte d'une dissertation d'étudiant classique ou d'une communication informelle.
• Formules d'expression : L'écriture générée par l'IA utilise des formules telles que « lorsque nous [verbe] le sujet », « il est important de noter », « non seulement… mais aussi », « ouvrant la voie » et « en ce qui concerne ». Bien que grammaticalement correctes, ces expressions servent souvent de remplissage dans le discours et peuvent donner au texte un caractère générique et stéréotypé.
• Orthographe et grammaire : les textes générés par l'IA sont généralement irréprochables sur le plan orthographique et grammatical, et ont tendance à comporter des phrases complexes. Les textes rédigés par des humains mêlent phrases simples et complexes, et même les auteurs chevronnés ont parfois recours à des constructions grammaticales qui ne sont pas « parfaitement conformes aux règles » pour des raisons de style, comme l'utilisation de fragments de phrases à des fins d'emphase.

Structure et organisation

• Structure des paragraphes et des phrases : Les systèmes d'écriture basés sur l'IA ont généralement tendance à privilégier des paragraphes très structurés, tous de longueur similaire, ainsi que des structures de type liste. Cela peut donner lieu à un rythme monotone, dépourvu de la variation naturelle propre à l'écriture humaine. Ce phénomène s'applique également à la longueur des phrases.
• Introductions et conclusions : les essais générés par l'IA présentent généralement une introduction et une conclusion très soignées ; la conclusion est souvent très longue, commence par « En résumé » ou « En conclusion », et reprend la plupart des éléments déjà abordés, se contentant essentiellement de reformuler la thèse et les points principaux sans apporter de nouvelle perspective ni de synthèse.

Objectif et personnalité

• Objectif et intention : Le texte est généralement très vague et truffé de généralités. Cela s'explique par le fait que l'ajustement des instructions accorde une importance excessive au respect strict des consignes ; ainsi, pour rester dans le sujet, le modèle apprend qu'il vaut mieux rester très vague et générique afin de minimiser le risque de se tromper.
• Réflexion et métacognition : l'IA est très peu douée pour réfléchir et relier ce qu'elle écrit à ses expériences personnelles… car elle n'a aucune expérience personnelle à laquelle se référer ! L'écriture humaine permet de faire ressortir la voix unique et l'expérience personnelle de son auteur, d'établir des liens et de générer des idées originales qui ne se contentent pas de réutiliser des informations existantes.
• Changements brusques de style et de ton : il arrive parfois que le ton et le style changent de manière très brutale et discordante. Cela se produit lorsqu'un élève utilise l'IA pour une partie de son texte, mais pas pour la totalité, ce qui donne un résultat final incohérent et décousu.

Comment fonctionne la détection par IA : trois étapes

1. Entraîner le modèle de détection par IA : tout d'abord, le modèle est entraîné. Les premiers détecteurs basés sur l'IA ne fonctionnaient pas très bien, car ils tentaient de repérer des segments de texte présentant une perplexité élevée ou une forte variabilité. La perplexité correspond au degré d'imprévisibilité ou de surprise que chaque mot d'un texte représente pour un grand modèle linguistique. La variabilité correspond à l'évolution de la perplexité au fil d'un document. Cependant, cette approche présente plusieurs défauts et échoue souvent à détecter les productions de l'IA. De plus, ces modèles n'utilisent qu'un ensemble de données textuelles limité pour leur entraînement. Les modèles modernes et performants, comme Pangram, utilisent un ensemble de données plus large et recourent à des techniques telles que l'apprentissage actif pour obtenir des résultats plus précis.
2. Saisissez le texte à classer et tokenisez-le : l'utilisateur fournit le texte. Lorsqu'un classificateur reçoit un texte, il le tokenise. Cela signifie qu'il décompose l' ensemble du texte en une série de chiffres que le modèle peut interpréter. Le modèle transforme ensuite chaque token en un embedding, c'est-à-dire un vecteur de chiffres représentant la signification de chaque token.
3. Classer le token comme étant d'origine humaine ou issue de l'IA: l'entrée est traitée par le réseau neuronal, ce qui produit une représentation vectorielle en sortie. Une tête de classification transforme cette représentation vectorielle en une prédiction de 0 ou 1, où 0 correspond à l'étiquette « humain » et 1 à l'étiquette « IA ».

Qu'en est-il des faux positifs et des faux négatifs ?

La qualité d'un outil de détection de l'IA se mesure au nombre de faux positifs (FPR) et de faux négatifs (NPR) générés par son utilisation. On parle de faux positif lorsqu'un détecteur identifie à tort un échantillon de texte rédigé par un humain comme ayant été rédigé par une IA. À l'inverse, on parle de faux négatif lorsqu'un échantillon généré par une IA est identifié à tort comme un texte rédigé par un humain.

Détection humaine vs détection automatisée

Si vous choisissez de détecter l'IA à l'œil nu, vous devez avoir suivi une formation. Les non-spécialistes ne peuvent pas faire mieux que de deviner au hasard. Même les linguistes chevronnés ne peuvent pas détecter l'IA sans formation spécifique. Nous vous recommandons d'utiliser les deux méthodes pour obtenir les meilleurs résultats, ce qui permettra de mettre en place un processus d'évaluation plus fiable et plus équitable.

Si les détecteurs de contenu généré par l'IA peuvent indiquer si un texte a été produit ou non par des outils d'IA, les humains sont capables non seulement de déterminer si un texte est le fruit de l'IA, mais aussi d'apporter un contexte et des nuances supplémentaires à cette conclusion. Un humain connaît le contexte : les précédents échantillons d'écriture de l'élève, le niveau d'écriture attendu pour sa classe et à quoi ressemble généralement la réponse d'un élève à un devoir. Ce contexte est essentiel, car la pertinence de l'utilisation de l'IA peut varier considérablement en fonction des consignes du devoir.

Les outils de détection basés sur l'IA ne sont qu'un premier pas. Ils ne constituent pas une preuve irréfutable qu'un étudiant a enfreint les règles d'intégrité académique, mais plutôt un premier indice qui justifie une enquête plus approfondie, tenant compte du contexte. L'utilisation de l'IA peut être involontaire, accidentelle, voire autorisée dans le cadre de votre devoir : tout dépend !

En prime : et les Humanizers, alors ?!

Les « humaniseurs » sont des outils utilisés pour « humaniser » le contenu généré par l'IA afin d'éviter qu'il ne soit détecté comme tel. Les rédacteurs de contenu s'en servent souvent pour modifier l'aspect des textes générés par l'IA. Les humaniseurs paraphrasent le texte, suppriment certains mots et ajoutent des « erreurs » de type humain à un contenu. Parfois, cela rend le texte pratiquement illisible ou en réduit considérablement la qualité. De nombreux détecteurs d’IA entraînent leurs logiciels à repérer les textes humanisés. L’utilisation d’un humaniseur comporte souvent un risque, car elle peut réduire considérablement la qualité du texte, ce qui est particulièrement préoccupant pour les travaux des étudiants.

Maintenant que vous savez comment ça marche, essayez avec votre propre contenu. Est-ce le fruit de l'IA ou d'un humain ?