Pangram n'a détecté aucun faux positif dans divers essais rédigés par des élèves

Il est important de comprendre comment Pangram se comporte face à différents types d’auteurs. Il n’est pas facile de se procurer des ensembles de données composés d’essais rédigés par des humains et contenant des informations démographiques sur leurs auteurs, mais il est essentiel d’évaluer les performances de Pangram sur des textes produits par différents types d’auteurs — notamment des élèves en situation de handicap, des personnes issues de minorités ethniques, des locuteurs non natifs de l’anglais et des groupes économiquement défavorisés — afin de déterminer si le modèle traite chaque auteur de manière équitable.

Le corpus PERSUADE permet de remédier à cette situation. Conçu pour favoriser la création d’algorithmes non biaisés destinés à évaluer les écrits des élèves, PERSUADE (« Persuasive Essays for Rating, Selecting, and Understanding Argumentative and Discourse Elements ») est un ensemble annoté de près de 26 000 dissertations rédigées par des collégiens et lycéens américains entre 2010 et 2020. Cet ensemble de données couvre des élèves issus de milieux divers et présentant différents niveaux de compétences ; chaque essai est annoté d’informations démographiques sur son auteur, telles que le niveau scolaire, le sexe, l’origine ethnique et le milieu socio-économique.

Le corpus PERSUADE offre une excellente occasion d'évaluer Pangram, et ce pour deux raisons. Premièrement, Pangram n'a pas été entraîné sur le corpus PERSUADE; nous pouvons donc l'utiliser pour tester la capacité de Pangram à généraliser à des écrits d'élèves jamais vus auparavant. Deuxièmement, les données démographiques de PERSUADE — qui comprennent des échantillons d'écrits provenant de populations vulnérables — nous permettent d'examiner si Pangram fonctionne de manière équitable pour les différents groupes démographiques.

Point clé : Nous avons évalué Pangram 4 sur le jeu de données PERSUADE 2.0, composé d’une grande variété de rédactions d’élèves, et n’avons constaté aucun faux positif parmi les 25 996 rédactions analysées. Nous avons également examiné les résultats en fonction du handicap, du genre, du niveau scolaire, de l’origine ethnique, du statut d’apprenant de l’anglais et de la situation économique défavorisée. Pangram n’a généré aucun faux positif dans aucun des sous-groupes étudiés.

Le tableau ci-dessous décrit la manière dont les chercheurs ont défini chaque caractéristique démographique dans l'ensemble de données PERSUADE et indique le nombre d'essais représentés dans chaque groupe.

Handicap

Dans l'ensemble de données PERSUADE 2.0, le statut de handicap désigne les élèves bénéficiant d'un programme éducatif individualisé (IEP) ou d'un plan 504, et peut englober des élèves présentant un large éventail de troubles d'apprentissage ou de problèmes de santé.

Genre

Dans le jeu de données PERSUADE, le genre est déclaré par les participants eux-mêmes ; la répartition entre hommes et femmes est d'environ 50/50. Pangram ne détecte aucun faux positif pour aucun des deux groupes de genre.

Niveau scolaire

Pangram 4 n'a généré aucun faux positif dans aucune des classes observées, ce qui démontre la robustesse de Pangram pour de nombreux niveaux différents de maîtrise de l'écriture.

Origine ethnique

La majorité des auteurs répertoriés dans la base de données PERSUADE se sont déclarés de race blanche (45 %), suivis des Hispaniques (25 %), puis des Noirs (19 %), ce qui reflète globalement la répartition démographique de la population étudiante américaine.

Statut d'apprenant de l'anglais (ELL)

Alors que certaines études antérieures avaient suggéré que les anciens programmes de détection d'IA pouvaient présenter un biais à l'encontre de l'anglais en tant que deuxième langue et des apprenants de l'anglais, Pangram n'a montré pratiquement aucun biais à l'encontre de ces auteurs et affiche un taux de faux positifs (FPR) observé de 0 % chez les élèves apprenant l'anglais (ELL) dans le jeu de données PERSUADE.

Défavorisation économique

Dans le corpus PERSUADE, la situation de précarité économique est définie comme le fait pour un élève de remplir les conditions requises pour bénéficier de certaines aides fédérales, telles que les repas scolaires gratuits ou à prix réduit et les programmes d'aide alimentaire (Supplemental Nutrition Assistance Programs).

Conclusion

Sur l'ensemble des 25 996 essais rédigés par des humains dans le corpus PERSUADE 2.0, Pangram 4 n'a produit aucun faux positif dans aucun sous-groupe, qu'il s'agisse du handicap, du genre, du niveau scolaire, de l'origine ethnique, du statut d'apprenant de l'anglais ou de la situation économique défavorisée. Ce résultat indique que Pangram s'adapte bien à des groupes d'auteurs diversifiés sans classer de manière disproportionnée les travaux de ces auteurs comme étant générés par l'IA.

Notre objectif est de réduire au maximum le nombre de faux positifs pour l'ensemble des groupes d'auteurs, et il est important de poursuivre l'évaluation. Toutefois, dans le cadre de PERSUADE 2.0, Pangram 4 ne présente aucun faux positif dans aucun sous-groupe démographique.

Références

• Ensemble de données PERSUADE — The Learning Agency Lab
• Document PERSUADE 1.0
• Article « PERSUADE 2.0 »
• Corpus PERSUADE 2.0 sur GitHub