Que signifie votre score de détection d'IA ?

Vous passez la dissertation d'un étudiant ou l'article d'un pigiste dans un détecteur d'IA. Un chiffre en gros caractères apparaît à l'écran : 65 % d'IA. Que faites-vous ensuite ?

Les scores de détection de l'IA ne s'apparentent pas à une grille d'évaluation classique, où les notions de « réussite » et d'« échec » sont évidentes. La distinction entre « entièrement généré par l'IA » et « modifié par l'IA » évolue, tout comme nos systèmes de détection chez Pangram.

Ce guide explique en termes simples le fonctionnement des pourcentages. Nous y abordons la manière dont un outil de vérification des scores d'IA calcule ces pourcentages, ce que signifient les intervalles de confiance, et comment déterminer le seuil approprié pour le détecteur d'IA afin de prendre les mesures qui s'imposent.

Que signifie réellement ce pourcentage ?

Si vous analysez un document à l'aide d'un outil de détection de l'IA, vous obtiendrez un pourcentage d'IA. « 50 % », par exemple. Ainsi, selon cet outil, 50 % de ce document contient du texte généré par l'IA ou rédigé avec l'aide de l'IA.

Exemple de score de détection par IA

Les outils avancés de détection par IA ne considèrent pas un document comme un seul et même bloc de texte gigantesque. Au contraire, ces outils décomposent le texte en segments, en phrases et en paragraphes. Ces éléments individuels sont évalués en tant que segments.

Si vous obtenez un score de 30 % pour un devoir de 10 pages, cela signifie probablement qu'environ trois pages de texte présentent les caractéristiques typiques d'un modèle de langage de grande envergure (LLM).

Interprétation du spectre des scores d'IA

Si vous utilisez un détecteur d'IA et qu'un document particulier obtient un faible score (par exemple, 30 % de texte généré par l'IA), cela indique généralement qu'il s'agit d'un document hybride. Un document hybride est généralement rédigé par un humain, puis modifié à l'aide d'un outil d'IA, ou bien du texte généré par l'IA y est ajouté.

Mélange de contenus générés par l'IA et rédigés par des humains

Un score de détection généré par l'IA apparaît souvent lorsqu'un auteur :

• Utilise des outils tels que Grammarly.
• Demande à un modèle LLM, comme ChatGPT, de « lisser » les paragraphes qu'il a rédigés.
• Utilise l'IA pour traduire sa langue maternelle en anglais.

Un taux de détection élevé par l'IA se produit souvent lorsque l'ADN linguistique d'un texte est en grande partie généré par l'IA. Cela signifie généralement que l'auteur de ce texte a saisi une requête dans un modèle de langage (LLM) et a copié-collé le résultat direct de ce modèle, en y apportant quelques modifications.

Les outils d'évaluation de notes basés sur l'IA sont-ils fiables ?

Nous ne sommes pas en mesure de valider les résultats d'autres outils, mais les vérificateurs IA destinés aux entreprises, tels que Pangram, offrent une grande précision (99,98 %). Pour vous aider à évaluer leur précision, la plupart de ces vérificateurs indiquent un « niveau de confiance » qui précise dans quelle mesure le modèle est sûr de son propre pourcentage de détection.

La réponse à la question « Les outils de détection de l'IA sont-ils fiables ? » repose sur deux faits : on utilise des modèles statistiques pour déterminer si un texte a été généré par l'IA, et ces modèles fonctionnent sur la base de probabilités plutôt que de certitudes absolues.

Si vous utilisez un outil de détection de l'IA qui évalue le contenu écrit de manière manichéenne, un outil comme Pangram peut vous aider à identifier les passages spécifiques qui trahissent une rédaction générée par l'IA.

Un résultat « mitigé »

Une réalité des flux de travail modernes est celle du contenu « mixte », qui combine la rédaction et la révision humaines et celles réalisées par l'IA. C'est pourquoi des outils tels que Pangram 3.0 (et versions ultérieures) classent les textes selon un spectre : entièrement rédigé par des humains, légèrement assisté par l'IA, modérément assisté par l'IA et entièrement généré par l'IA.

Résultats mitigés des évaluations par IA

Il est important de classer les textes générés par l'IA sur un spectre, car un texte obtenant un score de 10 % dans la catégorie « Légèrement assisté par l'IA » pourrait être traité différemment, tant au niveau scolaire que dans le cadre d'une politique éditoriale, par rapport à une dissertation obtenant un score de 95 % dans la catégorie « Entièrement généré par l'IA ». La mise en évidence des segments vous permet de voir exactement quelles parties ont été créées par l'IA.

À partir de quels seuils de score IA faut-il prendre des mesures ?

Il n'existe pas de « seuil magique » universel qui nécessite une intervention, mais, selon les bonnes pratiques, un score de détection par IA inférieur à 20 % indique souvent le recours à une aide standard à la rédaction numérique. Les scores supérieurs à 60 % justifient souvent un entretien direct sur l'authenticité du texte rédigé.

Vous devriez définir un seuil pour le détecteur d'IA qui corresponde à vos politiques en matière d'IA. Par exemple, si votre politique autorise « l'utilisation de l'IA pour trouver des idées, mais pas pour rédiger le texte lui-même », un score de 40 % pourrait alors nécessiter une vérification. Ou bien, si votre politique stipule que « l'IA ne doit être utilisée à aucun stade du processus de rédaction », même un score de 15 % nécessiterait probablement une vérification.

Le score de détection par IA qui vous est attribué constitue un outil de diagnostic. Si un score élevé est atteint, vous pouvez vous appuyer sur les segments mis en évidence par Pangram et sur le rapport« Phrases IA »pour discuter avec l'auteur et lui demander de vous expliquer son processus de rédaction. Cela peut permettre d'apporter des éclaircissements, des conseils et aboutir au résultat que vous recherchez tous les deux.

La détection par IA n'est pas une évaluation binaire de type « réussi/échoué »

Pangram est un outil d'analyse nuancé qui permet de mieux cerner les processus qui définissent l'écriture d'aujourd'hui. En comprenant exactement ce que signifie un score d'IA, les professionnels peuvent respecter en toute confiance les normes d'intégrité tout en traitant les auteurs avec équité.

Ne vous contentez plus de deviner ce que signifient les chiffres. Bénéficiez d'informations détaillées et claires sur la paternité des textes grâce à l'analyse par segments de Pangram.

Numérisez votre document