Quelle est la précision de la détection des pangrammes par IA sur ESL ?
Le détecteur d'IA de Pangram présente un faible taux de faux positifs dans les textes rédigés par des locuteurs non natifs de l'anglais — comment nous mesurons et atténuons les biais à l'encontre des locuteurs non natifs de l'anglais.
Table des matières
- Études antérieures sur la détection de l'IA et l'ESL
- La prestation de Pangram sur ESL
- Pangram contre Turnitin
- Pangram contre GPTZero
- Comment Pangram réduit-il les faux positifs dans l'évaluation de l'expression écrite des locuteurs non natifs ?
- Données
- Fonctionnalités multilingues
- Apprentissage actif
- Stratégies d'encadrement
- Évaluation rigoureuse et assurance qualité
- Peut-on se fier aux détecteurs d'IA sur ESL ?
Mise à jour en mai 2026 avec la sortie de Pangram 3.3
Une critique couramment formulée à l'encontre des détecteurs d'IA est qu'ils sont biaisés à l'encontre des locuteurs non natifs de l'anglais. Les textes rédigés par des locuteurs non natifs de l'anglais sont désignés par l'acronyme ESL (English as a Second Language), ou plus précisément ELL (English Language Learners). Dans des articles précédents, nous avons expliqué pourquoi d'autres détecteurs d'IA basés sur la perplexité et la burstiness sont sujets à cette faille.
Les locuteurs non natifs de l'anglais écrivent souvent dans un anglais plus fluide et plus régulier que les locuteurs natifs, et les détecteurs basés sur la « burstiness » confondent cette régularité avec l'IA. C'est pourquoi les tentatives précédentes de détection de l'IA se sont révélées insuffisantes : elles ont souvent qualifié à tort les textes rédigés par des apprenants de l'anglais (ESL) de textes générés par l'IA, affichant ainsi un taux élevé de faux positifs pour ces textes.
Études antérieures sur la détection de l'IA et l'ESL
Une étude remarquable menée à Stanford a été publiée en juillet 2023 par Weixin Liang, James Zou et d’autres chercheurs, affirmant que les détecteurs de GPT font preuve de partialité à l’égard des auteurs dont l’anglais n’est pas la langue maternelle. Bien que l'étude ait été menée sur un échantillon de petite taille (seulement 91 dissertations issues de l'examen TOEFL) et qu'elle présentait certaines failles méthodologiques (les auteurs ont décidé de classer comme « humains » les textes modifiés par GPT-4 lors des tests des détecteurs), dans l'ensemble, les résultats ont montré que les sept détecteurs d’IA testés (Pangram n’a pas été testé dans cette étude) présentaient un fort biais à l’encontre des textes rédigés par des apprenants de l’anglais comme langue seconde (ESL), plus de 60 % des échantillons de textes humains rédigés par des apprenants ESL ayant été signalés comme provenant de l’IA.
Une étude plus récente, datant d’août 2024, menée par l’ETS – un centre de services d’évaluation qui gère le GRE, un test standardisé pour l’admission en troisième cycle –, a également porté sur un échantillon plus large d’ environ 2 000 échantillons d’écriture de locuteurs non natifs de l’anglais issus du GRE. Elle a utilisé des détecteurs simples basés sur l’apprentissage automatique, qu’ils ont eux-mêmes entraînés à partir de caractéristiques définies manuellement, notamment la perplexité. Ils n’ont constaté aucun biais dans leurs propres détecteurs à l’encontre de l’anglais non natif, bien que le cadre expérimental ait été fortement simplifié et artificiel, et qu’il existe des différences importantes entre cette étude et la réalité. De plus, ils n’ont pas étudié les détecteurs commerciaux qui sont réellement utilisés dans la pratique. Néanmoins, l’étude met en évidence un point intéressant : lorsque les données provenant de locuteurs non natifs de l’anglais sont suffisamment représentées dans l’ensemble d’apprentissage, le biais qui en résulte est suffisamment atténué.
La prestation de Pangram sur ESL
Afin de mesurer le taux de faux positifs de Pangram sur des données ESL, nous avons testé le détecteur d'IA de Pangram sur quatre ensembles de données ESL publics (nous avons mis ces ensembles de données de côté pendant l'entraînement, afin d'éviter toute fuite entre les données d'entraînement et de test).
Les ensembles de données que nous étudions comprennent :
-
Ensemble de données ELLIPSE pour l'apprentissage de l'anglais
-
Ensemble de données TOEFL issu de l'étude de Liang et al. menée à Stanford
Voici les résultats.
| Ensemble de données | Taux de faux positifs | Taille de l'échantillon |
|---|---|---|
| ELLIPSE | 0% | 3,907 |
| ICNALE | 0% | 5,600 |
| PELIC | 0.019% | 15,423 |
| Liang TOEFL | 0% | 91 |
| Dans l'ensemble | 0.012% | 25,021 |
Le taux global de faux positifs de Pangram est de 0,012 %, ce qui n'est pas significativement supérieur à notre taux général de faux positifs, qui est de 0,01 %.
Pangram contre Turnitin
Nous comparons directement Pangram à Turnitin en utilisant les mêmes ensembles de données que ceux utilisés par Turnitin dans le cadre d'une évaluation publique de son indicateur d'écriture basé sur l'IA.
Nous évaluons à la fois l'anglais « L1 » (non-ESL) et « L2 » (ESL) sur les mêmes ensembles de données que Turnitin. Turnitin n'évaluant pas les documents de moins de 300 mots, nous appliquons le même filtrage à l'ensemble de données avant l'évaluation.
| Ensemble de données | Pangram FPR | Turnitin FPR |
|---|---|---|
| L2 Anglais 300 mots et plus | 0.02% | 1.4% |
| L1 Anglais 300 mots et plus | 0.00% | 1.3% |
Nous constatons que le taux de faux positifs de Pangram sur les textes rédigés en anglais langue seconde est environ 70 fois inférieur à celui de Turnitin, et que Pangram ne détecte aucun faux positif sur les textes rédigés en anglais langue maternelle issus de cette étude.
Pangram contre GPTZero
GPTZero indique un taux de faux positifs de 1,1 % pour l'étude originale de Liang sur le TOEFL, bien que 6,6 % des données de l'ensemble de données TOEFL de Liang soient également classées à tort comme « contenu potentiellement généré par l'IA ».
En comparaison, Pangram ne signale aucun faux positif sur l'ensemble de données Liang TOEFL, et nous avons une grande confiance dans chaque exemple.
Comment Pangram réduit-il les faux positifs dans l'évaluation de l'expression écrite des locuteurs non natifs ?
Chez Pangram, nous accordons une grande importance à la qualité de nos performances en matière d'anglais non maternel ; c'est pourquoi nous avons mis en place plusieurs stratégies pour réduire les faux positifs de notre modèle de détection de textes générés par l'IA.
Données
Les modèles d'apprentissage automatique ne fonctionnent pas bien en dehors de la distribution utilisée pour leur apprentissage ; c'est pourquoi nous veillons à inclure des textes rédigés dans une langue autre que l'anglais dans notre ensemble de données.
Cependant, nous ne nous arrêtons pas là. Alors que d'autres détecteurs de textes générés par l'IA se concentrent spécifiquement sur les rédactions d'étudiants et les essais universitaires, nous entraînons notre modèle sur un large éventail de textes. Les autres détecteurs de rédaction basés sur l'IA, qui ne sont formés que sur des essais, souffrent souvent d'une sous-représentation de l'anglais plus informel et conversationnel dans leur ensemble de formation. En revanche, nous utilisons des textes issus des réseaux sociaux, des avis et des contenus généraux sur Internet, qui sont souvent informels et plus représentatifs d'une écriture imparfaite, similaire à celle des locuteurs non natifs ou des apprenants de l'anglais.
Nous veillons également à inclure des sources susceptibles de contenir des textes rédigés en anglais par des locuteurs non natifs, même si ces sources ne constituent pas spécifiquement des ensembles de données ESL. Par exemple, les textes en anglais figurant sur des sites web dont les noms de domaine sont étrangers constituent une excellente source de textes rédigés en anglais par des locuteurs non natifs.
Fonctionnalités multilingues
Contrairement à d'autres détecteurs d'IA, nous ne limitons pas notre champ d'action à l'anglais. En effet, nous n'imposons aucune restriction quant à la langue de notre modèle : nous utiliserons toutes les langues présentes sur Internet pour l'entraîner, afin qu'il soit performant dans toutes les langues courantes.
Nous avons déjà évoqué nos excellents résultats en matière de multilinguisme, et nous pensons que les techniques que nous avons utilisées pour que Pangram fonctionne très bien avec d'autres langues s'appliquent également très bien à l'ESL.
Même si nous ne pouvons pas déterminer avec certitude quels mécanismes sont à l'origine de cette bonne généralisation et de ce bon transfert, nous pensons que l'ESL peut presque être considéré comme une langue voisine de l'anglais. En optimisant le modèle pour qu'il fonctionne bien avec toutes les langues, celui-ci ne peut pas se surajuster à des styles, des constructions grammaticales ou des choix lexicaux spécifiques à la manière dont les idées sont habituellement exprimées dans une langue donnée. En analysant des textes humains dans toutes les langues, nous apprenons au modèle comment tous les humains écrivent, et pas seulement les locuteurs natifs de l'anglais. Cela réduit le risque que le modèle se concentre à tort sur des expressions idiomatiques utilisées par les locuteurs natifs.
Apprentissage actif
C'est grâce à notre approche d'apprentissage actif que Pangram est bien plus précis et signale nettement moins de textes rédigés par des humains comme étant générés par l'IA que ses concurrents.
En alternant de manière itérative entre l'entraînement et l'extraction de données négatives, nous identifions les exemples humains qui ressemblent le plus aux textes générés par l'IA pour l'entraînement. Non seulement cette approche met en évidence les exemples humains les plus proches des textes générés par l'IA, ce qui aide le modèle à saisir les nuances entre les textes rédigés par des locuteurs non natifs et ceux générés par l'IA, mais elle nous permet également de trouver des exemples similaires aux textes rédigés par des locuteurs non natifs qui se prêteront bien au transfert et aideront le modèle à apprendre de meilleurs schémas de manière générale.
Stratégies d'encadrement
Lorsque nous créons des exemples d'IA destinés à l'apprentissage du modèle, nous nous efforçons d'utiliser une grande variété de consignes afin que le modèle puisse s'adapter à différents styles d'écriture. Par exemple, nous ajoutons souvent des précisions à la fin de nos consignes, telles que « Rédigez cet essai dans le style d'un lycéen » ou « Rédigez cet article dans le style d'une personne dont l'anglais n'est pas la langue maternelle ».
En générant autant de styles d'écriture différents, le modèle ne se contente pas d'apprendre la manière habituelle dont les modèles linguistiques basés sur l'IA rédigent : il apprend les schémas fondamentaux qui sous-tendent le texte généré par l'IA.
D'un point de vue statistique, nous concevons notre pipeline de miroirs synthétiques de manière à ce que notre modèle soit finalement invariant vis-à-vis de caractéristiques non pertinentes telles que le sujet, le niveau de rédaction ou le ton. En fournissant au modèle des instructions qui correspondent aux caractéristiques du texte humain, nous intégrons cette invariance en veillant à disposer d'un nombre égal d'exemples humains et d'exemples générés par l'IA présentant chacune de ces caractéristiques.
Évaluation rigoureuse et assurance qualité
Enfin, nous mettons en œuvre un processus d'évaluation et d'assurance qualité extrêmement complet et rigoureux avant de valider chaque nouvelle mise à jour du modèle.
Lors de l'évaluation, nous nous concentrons à la fois sur la qualité et la quantité. Par exemple, l'ensemble de données Liang TOEFL ne compte que 91 exemples ; par conséquent, si nous n'utilisions que cet ensemble de données, nous ne pourrions obtenir qu'une estimation très approximative de notre taux de faux positifs sur ESL. Si nous ne nous trompions que sur un seul exemple, nous obtiendrions un taux de faux positifs de 1,1 %, ce qui ne nous permettrait pas de distinguer les modèles dont le FPR réel est en réalité inférieur à 1 %.
Comme nous nous efforçons d'obtenir un taux de faux positifs bien inférieur à 1 % (notre objectif se situant entre 1 sur 10 000 et 1 sur 100 000), nous devons analyser des millions d'exemples pour pouvoir confirmer une précision à ce niveau.
La réalisation d'évaluations à grande échelle nous aide également à mieux cerner les modes de défaillance de notre modèle et à les corriger au fil du temps, en utilisant des données de meilleure qualité et en mettant au point des stratégies algorithmiques plus efficaces, spécialement adaptées à nos cas de défaillance.
Peut-on se fier aux détecteurs d'IA sur ESL ?
Au vu de nos mesures, des résultats détaillés de notre évaluation et des stratégies d'atténuation explicables, nous estimons que Pangram est suffisamment précis pour les locuteurs non natifs de l'anglais pour être déployé dans le milieu éducatif.
Cependant, disposer d'un détecteur d'IA suffisamment impartial ne suffit pas à prévenir toutes les formes de partialité dans le processus d'intégrité académique. Les enseignants doivent être conscients que la partialité peut se manifester de manière inconsciente. Par exemple, si un enseignant a davantage tendance à utiliser un détecteur d'IA sur les travaux remis par des étudiants dont l'anglais n'est pas la langue maternelle, en raison d'un soupçon inconscient selon lequel ces étudiants seraient moins honnêtes, il s'agit là d'une forme de partialité.
De plus, les enseignants doivent être conscients que les apprenants dont l’anglais n’est pas la langue maternelle sont confrontés à des désavantages inhérents dans le milieu universitaire par rapport à leurs homologues anglophones. Les étudiants en anglais langue seconde (ESL) sont plus enclins à utiliser des outils externes tels que ChatGPT pour améliorer leur expression écrite, ce qui, lorsqu’ils y ont recours de manière intensive, déclenche les logiciels de détection de l’IA. C’est pourquoi nous recommandons l’échelle d’évaluation de l’IA de Perkins afin de faciliter une communication claire avec les étudiants sur le type d’aide par l’IA qui est autorisé et celui qui ne l’est pas.
Enfin, nous savons que les élèves trichent lorsqu’ils sont soumis au stress et à la pression, ou lorsqu’ils ont le sentiment que l’utilisation d’un outil d’IA est leur seul moyen de réussir. Nous encourageons les enseignants à aborder ces facteurs de manière proactive en apportant un soutien à ces élèves, en leur expliquant clairement quels types d’aide sont disponibles et autorisés, et éventuellement en repensant les stratégies d’évaluation qui exigent une maîtrise parfaite de l’anglais de la part d’élèves qui arrivent en classe dans une situation déjà défavorisée.
Pangram devrait être utilisé comme un outil visant à promouvoir l'intégrité académique, afin que les enseignants puissent déterminer la meilleure façon de procéder pour soutenir l'apprentissage de leurs élèves.
Pour en savoir plus sur nos travaux de recherche et sur les mesures que nous prenons pour limiter les biais dans notre logiciel de détection par IA, veuillez nous contacter à l'adresse info@pangram.com.

Bradley est chercheur en intelligence artificielle et spécialiste du développement de produits basés sur l'apprentissage profond dans le secteur industriel. Il a récemment dirigé le groupe de recherche sur l'apprentissage profond chez Absci, une entreprise spécialisée dans la découverte de médicaments par l'IA générative, et faisait auparavant partie de l'équipe principale chargée de la vision par ordinateur chez Tesla Autopilot.
Lectures complémentaires

Le défi de l'évaluation

Pangram est-il fiable ?

Votre image reste-t-elle authentique après avoir été retouchée par l'IA ?

Une approche mosaïque de l'intégrité académique à l'ère de l'IA (avec Chris Ostro)

Que faire lorsqu'un travail remis par un élève est signalé comme ayant été généré par une IA ?
