Que signifie votre score de détection d'IA ?
Vous passez la dissertation d'un étudiant ou l'article d'un pigiste dans un détecteur d'IA. Un chiffre en gros caractères apparaît à l'écran : 65 % d'IA. Que faites-vous ensuite ?
Les scores de détection de l'IA ne fonctionnent pas comme une grille d'évaluation classique, où les notions de « réussi » et « échoué » sont évidentes. La distinction entre « entièrement généré par l'IA » et « modifié par l'IA » évolue, tout comme nos systèmes de détection chez Pangram.
Ce guide explique en termes simples le fonctionnement des pourcentages. Nous y abordons la manière dont un outil de vérification des scores d'IA calcule ces pourcentages, ce que signifient les intervalles de confiance, et comment déterminer le seuil approprié du détecteur d'IA pour passer à l'action.
Que signifie réellement ce pourcentage ?
Si vous analysez un document à l'aide d'un outil de détection d'IA, vous obtiendrez un pourcentage d'IA. « 50 % », par exemple. Ce pourcentage ne signifie pas que 50 % du document est faux ou généré par l'IA. Cela signifie simplement que, selon l'outil de vérification du pourcentage d'IA, 50 % de ce document contient du texte généré par l'IA ou rédigé avec l'aide de l'IA.
Exemple de score de détection par IA
Les outils avancés de détection par IA ne considèrent pas un document comme un seul et immense bloc de texte. Au contraire, ces outils décomposent le texte en segments, en phrases et en paragraphes. Ces éléments individuels sont évalués en tant que segments.
Si vous obtenez un score de 30 % pour un document de 10 pages, cela signifie probablement qu’environ trois pages présentent les caractéristiques typiques d’un modèle de langage de grande capacité (LLM). Ces caractéristiques comprennent notamment l’absence de variations de rythme et une syntaxe prévisible. Ce score ne signifie pas pour autant que 30 % du document a été généré par une IA.
Interprétation du spectre des scores d'IA
Si vous utilisez un détecteur d'IA et qu'un document donné obtient un faible score (par exemple, 30 % de contenu généré par l'IA), cela indique généralement qu'il s'agit d'un document hybride. Un document hybride est généralement rédigé par un humain, puis révisé à l'aide d'un outil d'IA. En revanche, un score élevé, tel que 85 %, suggère fortement que le texte a été entièrement généré par l'IA.
Mélange de contenus générés par l'IA et rédigés par des humains
Un score de détection de l'IA faible à moyen est souvent observé lorsqu'un rédacteur :
- Utilise des outils tels que Grammarly.
- Demande à un modèle LLM, comme ChatGPT, de « lisser » les paragraphes qu'il a rédigés.
- Utilise l'IA pour traduire sa langue maternelle en anglais.
Un taux de détection élevé de l'IA est souvent observé lorsque l'ADN linguistique d'un texte est en grande majorité généré par l'IA. Cela signifie généralement que l'auteur de ce texte a saisi une consigne dans un modèle de langage de grande capacité (LLM) et a copié-collé le résultat direct de ce modèle, en y apportant quelques modifications.
Les outils d'évaluation des scores basés sur l'IA sont-ils fiables ?
Nous ne sommes pas en mesure de valider les résultats d'autres outils, mais les vérificateurs IA destinés aux entreprises, tels que Pangram, offrent une grande précision (99,98 %). Pour vous aider à évaluer leur précision, la plupart de ces vérificateurs fournissent un « intervalle de confiance » qui indique le degré de certitude du modèle quant à son propre taux de détection.
La réponse à la question « Les outils de détection de l'IA sont-ils fiables ? » repose sur deux faits : des modèles statistiques sont utilisés pour déterminer si un texte a été généré par l'IA, et ces modèles fonctionnent sur la base de probabilités plutôt que de certitudes absolues.
Un indicateur « Haute confiance » signifie que le texte correspond à des modèles connus issus des données d'entraînement des modèles de langage génératif (LLM). Et, comme le texte correspond à ces modèles, le pourcentage de détection par l'IA est raisonnable. Cela ne signifie pas que ce pourcentage est absolument exact, mais qu'il est probablement exact.
Une mention « Faible confiance » signifie que le texte présente certaines caractéristiques propres à l'IA, mais que le modèle ne dispose pas de données suffisantes pour se prononcer de manière définitive. De nombreuses mentions « Faible confiance » sont dues à des extraits de texte trop courts pour permettre une évaluation précise.
Si vous utilisez un outil de détection de l'IA qui évalue le contenu écrit de manière manichéenne, un outil comme Pangram peut vous aider à identifier les passages spécifiques qui trahissent une rédaction générée par l'IA.
Un résultat « mitigé »
Dans les flux de travail modernes, on observe le plus souvent un contenu « mixte », qui combine la rédaction et la révision humaines et celles réalisées par l'IA. C'est pourquoi des outils tels que Pangram 3.0 classent les textes selon un continuum : entièrement rédigé par des humains, légèrement assisté par l'IA, modérément assisté par l'IA et entièrement généré par l'IA.
Résultats mixtes du score IA
Il est important de classer les textes générés par l'IA sur un spectre, car un élève qui obtient une note de 10 % pour un texte « légèrement assisté par l'IA », simplement parce qu'il a utilisé un correcteur orthographique, ne devrait pas être traité de la même manière qu'un élève qui a rendu une dissertation « entièrement générée par l'IA » notée à 95 %. La mise en évidence des segments vous montre exactement quelles parties ont été créées par l'IA.
À partir de quels seuils de score IA faut-il prendre des mesures ?
Il n'existe pas de « seuil magique » universel qui nécessite une intervention corrective, mais, selon les bonnes pratiques, les scores de détection par IA inférieurs à 20 % indiquent souvent une aide standard à la rédaction numérique. Les scores supérieurs à 60 % justifient souvent un échange direct sur l'authenticité du texte.
Vous devriez définir un seuil de détection de l'IA qui corresponde à vos politiques en la matière. Par exemple, si votre politique autorise « l'utilisation de l'IA pour trouver des idées, mais pas pour rédiger le texte lui-même », un score de 40 % justifie alors une vérification. Ou encore, si votre politique stipule que « l'IA ne doit être utilisée à aucun stade du processus de rédaction », même un score de 15 % justifie probablement une vérification.
Le score de détection par IA qui vous est attribué constitue un outil de diagnostic. Si un score élevé est enregistré, vous pouvez vous appuyer sur les segments mis en évidence par Pangram et sur le rapport« Phrases IA »pour discuter avec l'auteur et lui demander de vous expliquer son processus de rédaction. Cela peut permettre d'apporter des éclaircissements, des conseils et aboutir au résultat que vous recherchez tous les deux.
La détection par IA n'est pas une évaluation binaire de type « réussi/échoué »
Pangram est un outil d'analyse nuancé qui offre une vision claire des processus qui définissent la rédaction d'aujourd'hui. En comprenant exactement ce que signifie un score d'IA, les professionnels peuvent respecter en toute confiance les normes d'intégrité tout en traitant les rédacteurs avec équité.
Ne vous contentez plus de deviner ce que signifient ces chiffres. Bénéficiez d'informations détaillées et claires sur la paternité des textes grâce à l'analyse par segments de Pangram.
pour recevoir nos mises à jour.
