Les résultats de Pangram concernant les dissertations des étudiants de premier cycle et de deuxième cycle

Nous avions précédemment évalué Pangram sur le corpus PERSUADE, un ensemble de près de 26 000 dissertations rédigées par un groupe hétérogène d’élèves du collège et du lycée. Dans le cadre de cette évaluation, nous élargissons cette analyse en comparant les performances de Pangram 4.1 sur un ensemble de textes rédigés par des étudiants de premier cycle et de troisième cycle, et plus particulièrement par des étudiants de troisième cycle dont la langue maternelle n’est pas l’anglais.

Pour ce test de performance, nous utilisons Pangram 4.1 afin d'analyser 9 corpus comprenant 15 420 documents rédigés par des étudiants de premier cycle et de deuxième cycle dont l'anglais est une langue seconde. Ces documents ont été rédigés et recueillis dans des universités de 16 pays répartis sur 3 continents, et regroupent des textes issus de 51 groupes linguistiques de langue maternelle, parmi lesquels le mandarin, l'arabe, le japonais, l'espagnol et le russe.

Performances

Au total, cette évaluation portait sur 9,5 millions de mots, le document le plus long comptant 10 916 mots et le plus court, 52 mots.

Pangram 4.1 n'a enregistré aucun faux positif sur les 9 ensembles de données.

Tous les ensembles de données contenaient des informations sur la langue maternelle de l'auteur, et bon nombre d'entre eux comportaient également des renseignements sur le type de devoir, la classe, l'année ou le cursus — ces détails sont résumés ci-dessous pour chaque corpus.

Détails du jeu de données

Dans le cadre de cette analyse, nous évaluons Pangram 4.1 sur un échantillon de dissertations d'étudiants de premier cycle issues de plusieurs ensembles de données externes, rédigés par des humains et datant d'avant 2022. La langue maternelle est parfois désignée par l'abréviation L1.

• ArCC: un recueil de 779 essais argumentatifs et réflexifs rédigés en anglais par des étudiants de licence et de master dont la langue maternelle est l'arabe. La longueur des textes variait entre 53 et 889 mots.
• Le corpus interlinguistique de Nagoya sur l'anglais réformé (NICER), élaboré par des chercheurs de l'université de Nagoya, est un ensemble de 381 dissertations d'une heure, rédigées en anglais sous surveillance, par des étudiants de premier cycle de langue japonaise.
• Le corpus CELL (Chinese and English Learner Language) est un recueil de 2 850 dissertations rédigées par des étudiants de premier cycle de l'Université ouverte de Hong Kong. Leurs langues maternelles comprennent notamment le cantonais et le putonghua. Ces dissertations ont été rédigées dans le cadre de travaux universitaires à faire à domicile ; leur longueur varie entre 91 et 5 929 mots, avec une moyenne de 1 307 mots.
• Le Corpus of Turkish Undergraduate Writers of English (TUWE) est un recueil de 341 essais argumentatifs comptant entre 356 et 1 312 mots, pour une longueur moyenne de 778 mots. Ces essais ont été rédigés en anglais par des étudiants de langue maternelle turque de l'université d'Erciyes.
• Le corpus bilingue arabe-anglais de premier cycle de l’université Zayed (ZAEBUC) est un ensemble de courts essais rédigés par des étudiants de l’université Zayed aux Émirats arabes unis. Les chercheurs ont collecté cet ensemble de données entre août et septembre 2019. Ci-dessus, nous présentons les résultats obtenus sur le sous-ensemble anglais, composé de 383 essais comptant en moyenne 228 mots, dont les niveaux du Cadre européen commun de référence (CECR) vont de A1 à C1. Nous avons également exécuté Pangram sur le sous-ensemble arabe, composé de 215 essais, pour un total de 603 essais rédigés par 397 étudiants. Pangram 4.1 n’a détecté aucun faux positif dans aucun des deux sous-ensembles.
• Le Corpus sud-africain de textes universitaires rédigés par des apprenants multilingues (SAMuLCAT) est un ensemble de textes rédigés par des étudiants sud-africains de premier cycle, dans le cadre de devoirs à faire à la maison avec l’aide d’un correcteur orthographique et d’un dictionnaire. Les genres littéraires comprennent des dissertations argumentatives ou persuasives, des exposés et des textes narratifs. La longueur des dissertations varie entre 52 et 5 233 mots, avec une moyenne de 687 mots. Les langues maternelles (L1) des auteurs de ce sous-ensemble comprennent le sesotho, l’isiZulu, le setswana, l’isiXhosa et d’autres. Ci-dessus, nous présentons nos résultats concernant le sous-ensemble en anglais, composé de 4 839 exemples ; nous avons en outre analysé 579 essais dont la langue maternelle était l’anglais, pour un total de 5 660 essais. Nous n’avons constaté aucun faux positif dans aucun des deux sous-ensembles.
• Le « Michigan Corpus of Upper-level Student Papers » (MICUSP) est un recueil de 829 travaux universitaires de haut niveau — ayant obtenu la note A ou A- — rédigés par des étudiants en dernière année de licence et des étudiants de troisième cycle à l’Université du Michigan, d’une longueur moyenne de 3 157 mots. Parmi ces travaux, 148 ont été rédigés par des étudiants dont l’anglais n’est pas la langue maternelle : 38 travaux de licence et 110 travaux de troisième cycle. Les langues maternelles (L1) de ce sous-ensemble comprennent le mandarin, le coréen, l’espagnol, le russe, l’hindi et d’autres langues, et les travaux couvrent 16 disciplines, notamment la psychologie, la sociologie, l’ingénierie, la biologie et les sciences humaines. Nous présentons ci-dessus les résultats concernant le sous-ensemble dont la langue maternelle n’est pas l’anglais ; toutefois, nous avons également exécuté Pangram 4.1 sur les 681 travaux dont la langue maternelle est l’anglais et n’avons constaté aucun faux positif dans aucun des deux sous-ensembles.
• Le corpus USask rassemble 141 revues de littérature rédigées par 51 étudiants de troisième cycle dont l'anglais est la deuxième langue, inscrits dans différentes universités canadiennes et dont le niveau de maîtrise de l'anglais se situe entre 6,5 et 8,5 selon l'échelle de l'International English Language Testing System (IELTS). Ces étudiants suivaient des cursus en linguistique, en sciences de l'éducation et en sciences politiques. La longueur des revues variait entre 264 et 4 391 mots, avec une moyenne de 1 028 mots.

Un ensemble de données a également été présenté dans le rapport technique Pangram 4; nous le reproduisons ici pour Pangram 4.1.

• Le Réseau international de corpus des apprenants asiatiques de l'anglais (ICNALE) a publié un module consacré aux dissertations écrites (WE) issu de son ensemble de données, composé de 5 593 dissertations rédigées en anglais dans un temps imparti. Le module ICNALE WE ne contient pas de données sur la langue maternelle, mais regroupe des textes rédigés en anglais par des étudiants universitaires issus de 10 pays asiatiques, dont la Chine, Hong Kong, l'Indonésie, le Japon et la Corée.

Compte tenu du large éventail d'essais, cet outil de référence couvre divers types de devoirs, allant des dissertations à rendre à domicile aux dissertations chronométrées ; différents niveaux d'assistance, allant d'une aide sans restriction aux examens surveillés ; différents niveaux de maîtrise de l'anglais ; ainsi que différents cursus universitaires.

Méthodologie

J'ai recherché des ensembles de données de recherche répondant aux critères suivants :

• Recueils d'écrits d'étudiants de premier cycle ou de cycle supérieur ; à l'exclusion des ensembles de données rédigés par des candidats potentiels, des étudiants non diplômés ou des lycéens, ainsi que des lettres de motivation pour l'admission à l'université
• Comprend des métadonnées concernant le statut de locuteur natif (L1) ou d'apprenant de l'anglais, ou toute autre précision (par exemple, si l'ensemble des données provenait intégralement d'un seul groupe de locuteurs natifs)
• Composé principalement d'essais, de rapports, de réponses détaillées, d'analyses documentaires, de mémoires, d'écrits créatifs, etc. ; à l'exclusion des ensembles de données contenant exclusivement des réponses courtes
• Contenant au moins 100 documents dont le nombre médian de mots est supérieur à 175

J'ai dédupliqué les documents et supprimé tous ceux comportant moins de 50 mots. Pour le reste, je n'ai effectué qu'un prétraitement minimal sur les documents. J'ai choisi d'analyser chaque texte deux fois avec Pangram 4.1 : une fois en supprimant les pages liminaires et les références, et une fois en les incluant, et j'ai constaté que le résultat restait inchangé. J'ai également analysé ces mêmes 15 420 textes avec notre modèle précédent, Pangram 4, qui n'a lui non plus généré aucun faux positif.

Comme toujours, nous appliquons une définition stricte du faux positif: nous considérons un document comme un faux positif si l’un de ses segments est signalé comme étant généré par l’IA ou assisté par l’IA.

Pangram 4.1 n'a pas été entraîné ni calibré sur ces documents ; cela constitue donc un test pertinent permettant d'évaluer les performances de Pangram sur des textes inédits rédigés par des étudiants universitaires.

Dans le cadre de cette évaluation, nous avons également analysé 1 743 textes qui n'apparaissaient pas dans les résultats principaux car ils ne répondaient pas à certains critères (généralement exclus parce qu'ils avaient été rédigés par un auteur dont l'anglais était la langue maternelle) et n'y avons détecté aucun faux positif.