Quelle est la précision de la détection des pangrammes par IA sur ESL ?

Mise à jour en mai 2026 avec la [sortie de Pangram 3.3]

Une critique couramment formulée à l'encontre des détecteurs d'IA est qu'ils sont biaisés à l'encontre des locuteurs non natifs de l'anglais. Les textes rédigés par des locuteurs non natifs de l'anglais sont désignés par l'acronyme ESL (English as a Second Language), ou plus précisément ELL (English Language Learners). Dans des articles précédents, nous avons expliqué pourquoi d'autres détecteurs d'IA basés sur la perplexité et la burstiness sont sujets à cette faille.

Les locuteurs non natifs de l'anglais ne disposent ni d'un vocabulaire suffisamment riche ni de la maîtrise des structures syntaxiques complexes nécessaires pour rédiger des textes présentant un niveau élevé de « burstiness ». C'est pourquoi les précédentes tentatives de détection par l'IA se sont révélées insuffisantes : elles ont souvent confondu les textes rédigés par des locuteurs non natifs avec des textes générés par l'IA, affichant ainsi un taux élevé de faux positifs pour ces premiers.

Études antérieures sur la détection de l'IA et l'ESL

Une étude remarquable menée à Stanford a été publiée en juillet 2023 par Weixin Liang, James Zou et d'autres chercheurs, affirmant que les détecteurs de GPT font preuve de partialité à l'égard des auteurs dont l'anglais n'est pas la langue maternelle. Bien que l'étude ait été menée sur un échantillon de petite taille (seulement 91 dissertations issues de l'examen TOEFL) et qu'elle présentait certaines failles méthodologiques (les auteurs ont décidé de classer les textes humains modifiés par GPT-4 comme « humains » lors des tests des détecteurs), dans l'ensemble, les résultats ont montré que les sept détecteurs d'IA testés (Pangram n'a pas été testé dans cette étude) présentaient un fort biais à l'encontre des textes rédigés par des locuteurs non natifs de l'anglais, plus de 60 % des échantillons de textes humains rédigés par des locuteurs non natifs ayant été signalés comme provenant de l'IA.

Une étude plus récente datant d'août 2024, menée par l'ETS (un centre de services d'évaluation qui gère le GRE, un test standardisé pour l'admission en troisième cycle), a également porté sur un échantillon plus large d' environ 2 000 échantillons d'écriture de locuteurs non natifs de l'anglais au GRE. Elle a porté sur des détecteurs simples d'apprentissage automatique qu'ils ont eux-mêmes entraînés à partir de caractéristiques définies manuellement, notamment la perplexité. Ils n'ont constaté aucun biais dans leurs propres détecteurs à l'encontre de l'anglais non natif, bien que le cadre expérimental ait été fortement simplifié et artificiel, et qu'il existe des différences importantes entre cette étude et la réalité. De plus, ils n'ont pas étudié les détecteurs commerciaux qui sont réellement utilisés dans la pratique. Néanmoins, l'étude met en évidence un point intéressant : lorsque les données provenant de locuteurs non natifs de l'anglais sont suffisamment représentées dans l'ensemble d'apprentissage, le biais qui en résulte est suffisamment atténué.

La prestation de Pangram sur ESL

Afin de mesurer le taux de faux positifs de Pangram sur des données ESL, nous avons testé le détecteur IA de Pangram sur quatre ensembles de données ESL publics (nous avons mis ces ensembles de données de côté pendant la phase d'entraînement afin d'éviter toute fuite entre les données d'entraînement et de test).

Les ensembles de données que nous étudions comprennent :

• Ensemble de données ELLIPSE pour l'apprentissage de l'anglais

• Corpus international des apprenants asiatiques de l'anglais

• Corpus pédagogique de langue anglaise de Pittsburgh

• Ensemble de données TOEFL issu de l'étude de Liang et al. menée à Stanford

Voici les résultats.

Le taux global de faux positifs de Pangram est de 0,078 %, ce qui n'est pas significativement plus élevé que notre taux général de faux positifs, qui est de 0,01 %.

Pangram contre TurnItIn

Nous comparons directement Pangram à TurnItIn en utilisant les mêmes ensembles de données que ceux utilisés par TurnItIn lors d'une évaluation publique de son indicateur de rédaction basé sur l'IA.

Nous évaluons à la fois l'anglais « L1 » (non-ESL) et « L2 » (ESL) sur les mêmes ensembles de données que TurnItIn. Étant donné que TurnItIn n'évalue pas les documents de plus de 300 mots, nous appliquons le même filtrage à l'ensemble de données avant l'évaluation.

Nous constatons que Pangram est deux fois plus précis que TurnItIn sur les textes rédigés par des locuteurs non natifs de l'anglais et qu'il ne détecte aucun faux positif sur les textes rédigés par des locuteurs natifs de l'anglais issus de cette étude.

Pangram contre GPTZero

GPTZero indique un taux de faux positifs de 1,1 % pour l'étude originale de Liang sur le TOEFL, bien que 6,6 % des données de l'ensemble de données TOEFL de Liang soient également classées à tort comme « contenu potentiellement généré par l'IA ».

En comparaison, Pangram ne signale aucun faux positif sur l'ensemble de données Liang TOEFL, et nous avons une grande confiance dans chaque exemple.

Comment Pangram réduit-il les faux positifs dans l'évaluation de l'expression écrite des locuteurs non natifs ?

Chez Pangram, nous accordons une grande importance à la qualité de nos performances en matière d'anglais non maternel ; c'est pourquoi nous avons mis en place plusieurs stratégies pour réduire les faux positifs de notre modèle de détection de textes générés par l'IA.

Données

Les modèles d'apprentissage automatique ne fonctionnent pas bien en dehors de la distribution utilisée pour leur apprentissage ; c'est pourquoi nous veillons à inclure des textes rédigés dans une langue autre que l'anglais dans notre ensemble de données.

Cependant, nous ne nous arrêtons pas là. Alors que d'autres détecteurs de textes générés par l'IA se concentrent spécifiquement sur les rédactions d'étudiants et les essais universitaires, nous entraînons notre modèle sur un large éventail de textes. Les autres détecteurs de rédaction basés sur l'IA, qui ne sont formés que sur des essais, souffrent souvent d'une sous-représentation de l'anglais plus informel et conversationnel dans leur ensemble de formation. En revanche, nous utilisons des textes issus des réseaux sociaux, des avis et des contenus généraux sur Internet, qui sont souvent informels et plus représentatifs d'une écriture imparfaite, similaire à celle des locuteurs non natifs ou des apprenants de l'anglais.

Nous veillons également à inclure des sources susceptibles de contenir des textes rédigés en anglais par des locuteurs non natifs, même si ces sources ne constituent pas spécifiquement des ensembles de données ESL. Par exemple, les textes en anglais publiés sur des sites web dont les noms de domaine sont étrangers constituent une excellente source de textes rédigés en anglais par des locuteurs non natifs.

Fonctionnalités multilingues

Contrairement à d'autres détecteurs d'IA, nous ne limitons pas notre champ d'action à l'anglais. En effet, nous n'imposons aucune restriction quant à la langue de notre modèle : nous utiliserons toutes les langues présentes sur Internet pour l'entraîner, afin qu'il soit performant dans toutes les langues courantes.

Nous avons déjà évoqué nos excellents résultats en matière de multilinguisme, et nous pensons que les techniques que nous avons utilisées pour que Pangram fonctionne très bien avec d'autres langues s'appliquent également très bien à l'ESL.

Même si nous ne pouvons pas déterminer avec certitude quels mécanismes sont à l'origine de cette bonne généralisation et de ce bon transfert, nous pensons que l'ESL peut presque être considéré comme une langue voisine de l'anglais. En optimisant le modèle pour qu'il fonctionne bien avec toutes les langues, celui-ci ne peut pas se surajuster à des styles, des constructions grammaticales ou des choix lexicaux spécifiques à la manière dont les idées sont habituellement exprimées dans une langue donnée. En analysant des textes humains dans toutes les langues, nous apprenons au modèle comment tous les humains écrivent, et pas seulement les locuteurs natifs de l'anglais. Cela réduit le risque que le modèle se concentre à tort sur des expressions idiomatiques utilisées par les locuteurs natifs.

Apprentissage actif

C'est grâce à notre approche d'apprentissage actif que Pangram est bien plus précis et signale nettement moins de textes rédigés par des humains comme étant générés par l'IA que ses concurrents.

En alternant de manière itérative entre l'entraînement et l'extraction de données négatives, nous identifions les exemples humains qui ressemblent le plus aux textes générés par l'IA pour l'entraînement. Non seulement cette approche met en évidence les exemples humains les plus proches des textes générés par l'IA, ce qui aide le modèle à saisir les nuances entre les textes rédigés par des locuteurs non natifs et ceux générés par l'IA, mais elle nous permet également de trouver des exemples similaires aux textes rédigés par des locuteurs non natifs qui se prêteront bien au transfert et aideront le modèle à apprendre de meilleurs schémas de manière générale.

Stratégies d'encadrement

Lorsque nous créons des exemples d'IA destinés à l'apprentissage du modèle, nous nous efforçons d'utiliser une grande variété de consignes afin que le modèle puisse s'adapter à différents styles d'écriture. Par exemple, nous ajoutons souvent des précisions à la fin de nos consignes, telles que « Rédigez cet essai dans le style d'un lycéen » ou « Rédigez cet article dans le style d'une personne dont l'anglais n'est pas la langue maternelle ».

En générant autant de styles d'écriture différents, le modèle ne se contente pas d'apprendre la manière habituelle dont les modèles linguistiques basés sur l'IA rédigent : il apprend les schémas fondamentaux qui sous-tendent le texte généré par l'IA.

D'un point de vue statistique, nous concevons notre pipeline de miroirs synthétiques de manière à ce que notre modèle soit finalement invariant vis-à-vis de caractéristiques non pertinentes telles que le sujet, le niveau de rédaction ou le ton. En fournissant au modèle des instructions qui correspondent aux caractéristiques du texte humain, nous intégrons cette invariance en veillant à disposer d'un nombre égal d'exemples humains et d'exemples générés par l'IA présentant chacune de ces caractéristiques.

Évaluation rigoureuse et assurance qualité

Enfin, nous mettons en œuvre un processus d'évaluation et d'assurance qualité extrêmement complet et rigoureux avant de valider chaque nouvelle mise à jour du modèle.

Lors de l'évaluation, nous nous concentrons à la fois sur la qualité et la quantité. Par exemple, l'ensemble de données Liang TOEFL ne compte que 91 exemples ; par conséquent, si nous n'utilisions que cet ensemble de données, nous ne pourrions obtenir qu'une estimation très approximative de notre taux de faux positifs sur ESL. Si nous ne nous trompions que sur un seul exemple, nous obtiendrions un taux de faux positifs de 1,1 %, ce qui ne nous permettrait pas de distinguer les modèles dont le FPR réel est en réalité inférieur à 1 %.

Comme nous nous efforçons d'obtenir un taux de faux positifs bien inférieur à 1 % (notre objectif se situant entre 1 sur 10 000 et 1 sur 100 000), nous devons analyser des millions d'exemples pour pouvoir confirmer une précision de ce niveau.

La réalisation d'évaluations à grande échelle nous aide également à mieux cerner les modes de défaillance de notre modèle et à les corriger au fil du temps, en utilisant des données de meilleure qualité et en mettant au point des stratégies algorithmiques plus efficaces, spécialement adaptées à nos cas de défaillance.

Peut-on se fier aux détecteurs d'IA sur ESL ?

Au vu de nos mesures, des résultats détaillés de notre évaluation et des stratégies d'atténuation explicables, nous estimons que Pangram est suffisamment précis pour les locuteurs non natifs de l'anglais pour être déployé dans le milieu éducatif.

Cependant, disposer d'un détecteur d'IA suffisamment impartial ne suffit pas à prévenir toutes les formes de partialité dans le processus d'intégrité académique. Les enseignants doivent être conscients que la partialité peut se manifester de manière inconsciente. Par exemple, si un enseignant a davantage tendance à utiliser un détecteur d'IA sur les travaux remis par des étudiants dont l'anglais n'est pas la langue maternelle, en raison d'un soupçon inconscient selon lequel ces étudiants seraient moins honnêtes, il s'agit là d'une forme de partialité.

De plus, les enseignants doivent être conscients que les personnes dont l'anglais n'est pas la langue maternelle sont désavantagées dans le milieu universitaire par rapport à leurs homologues anglophones. Les étudiants en anglais langue seconde (ESL) sont plus enclins à recourir à des outils externes tels que ChatGPT pour améliorer leur écriture, ce qui, lorsqu'ils en font un usage intensif, peut déclencher les logiciels de détection de l'IA. C'est pourquoi nous recommandons l'échelle d'évaluation de l'IA de Perkins afin de faciliter une communication claire avec les étudiants sur le type d'aide fournie par l'IA qui est autorisé et celui qui ne l'est pas.

Enfin, nous savons que les élèves trichent lorsqu’ils sont soumis au stress et à la pression, qu’ils ressentent un manque de confiance en eux, notamment lorsqu’ils se comparent à leurs camarades, et lorsqu’ils estiment que le recours à des moyens de tricherie est leur seule chance de réussir. Nous encourageons les enseignants à aborder ces problèmes de manière proactive, en apportant un soutien à ces élèves, en leur expliquant clairement quels types d’aide sont disponibles et autorisés, et éventuellement en repensant les stratégies d’évaluation qui exigent un anglais parfait de la part d’élèves qui arrivent en classe avec un désavantage initial.

Pangram devrait être utilisé comme un outil visant à promouvoir l'intégrité académique, afin que les enseignants puissent déterminer la meilleure façon de procéder pour soutenir l'apprentissage de leurs élèves.

Pour en savoir plus sur nos travaux de recherche et sur les mesures que nous prenons pour limiter les biais dans notre logiciel de détection par IA, veuillez nous contacter à l'adresse info@pangram.com.