I risultati ottenuti da Pangram sulle composizioni degli studenti universitari e dei laureati

In precedenza abbiamo valutato Pangram sul corpus PERSUADE, un insieme di quasi 26.000 saggi redatti da un gruppo eterogeneo di studenti delle scuole medie e superiori. In questa valutazione estendiamo tale analisi, confrontando Pangram 4.1 con una serie di testi scritti da studenti universitari e laureati, in particolare da laureati la cui lingua madre non è l’inglese.

Per questo benchmark, utilizziamo Pangram 4.1 per analizzare 9 corpora composti da 15.420 documenti redatti da studenti universitari e laureati per i quali l’inglese è una lingua aggiuntiva. I documenti sono stati redatti e raccolti presso università di 16 paesi distribuiti su 3 continenti e comprendono testi scritti da persone appartenenti a 51 gruppi linguistici di madrelingua, tra cui mandarino, arabo, giapponese, spagnolo e russo.

Prestazioni

In totale, questa valutazione ha riguardato 9,5 milioni di parole: il documento più lungo ne conteneva 10.916, mentre quello più breve ne contava 52.

Pangram 4.1 non ha registrato alcun falso positivo su tutti e 9 i set di dati.

Tutti i set di dati contenevano informazioni relative alla lingua madre dell'autore e molti includevano anche informazioni sul tipo di compito, sulla classe, sull'anno o sul corso di laurea; tali dettagli sono riassunti di seguito per ciascun corpus.

Dettagli del set di dati

Ai fini di questa analisi, valutiamo Pangram 4.1 su una selezione di saggi scritti da studenti universitari provenienti da diversi set di dati esterni, redatti da persone prima del 2022. La lingua madre è talvolta indicata con la sigla L1.

• ArCC: Una raccolta di 779 saggi argomentativi e di riflessione scritti in inglese da studenti di laurea triennale e magistrale con l'arabo come prima lingua. I testi variavano da 53 a 889 parole.
• Il Nagoya Interlanguage Corpus of English Reformed (NICER), realizzato dai ricercatori dell’Università di Nagoya, è una raccolta di 381 saggi di un’ora, redatti in inglese da studenti universitari di lingua giapponese sotto la supervisione di un esaminatore.
• Il corpus CELL (Chinese and English Learner Language) è una raccolta di 2.850 saggi scritti da studenti universitari dell’Open University di Hong Kong. Le lingue madri includono, tra le altre, il cantonese e il putonghua. Questi saggi sono il risultato di compiti accademici da svolgere a casa e hanno una lunghezza compresa tra 91 e 5.929 parole, con una media di 1.307 parole.
• Il Corpus of Turkish Undergraduate Writers of English (TUWE) è una raccolta di 341 saggi persuasivi di lunghezza compresa tra 356 e 1.312 parole, con una lunghezza media di 778 parole. I saggi sono stati redatti in inglese da studenti di madrelingua turca dell’Università di Erciyes.
• Il Zayed Arabic-English Bilingual Undergraduate Corpus (ZAEBUC) è una raccolta di brevi saggi scritti dagli studenti della Zayed University negli Emirati Arabi Uniti. I ricercatori hanno raccolto questo set di dati tra agosto e settembre 2019. Di seguito riportiamo i risultati relativi al sottoinsieme in inglese, composto da 383 saggi con una lunghezza media di 228 parole, con livelli del Quadro Comune Europeo di Riferimento (QCER) compresi tra A1 e C1. Abbiamo inoltre eseguito Pangram sul sottoinsieme in arabo, composto da 215 saggi, per un totale di 603 saggi scritti da 397 studenti. Pangram 4.1 non ha rilevato alcun falso positivo in nessuno dei due sottoinsiemi.
• Il South African Multilingual Learner Corpus of Academic Texts (SAMuLCAT) è una raccolta di testi scritti da studenti universitari sudafricani, redatti come compiti a casa con l’ausilio di correttori ortografici e dizionari. I generi includono saggi argomentativi o persuasivi, discussioni e testi narrativi. I saggi variano da 52 a 5.233 parole, con una media di 687 parole. Le lingue madri (L1) degli autori di questo sottoinsieme includono il sesotho, l’isiZulu, il setswana, l’isiXhosa e altre. Sopra riportiamo i nostri risultati relativi al sottoinsieme in inglese composto da 4.839 esempi; abbiamo inoltre analizzato 579 saggi in inglese come lingua madre, per un totale di 5.660 saggi. Non abbiamo riscontrato alcun falso positivo in nessuno dei due sottoinsiemi.
• Il Michigan Corpus of Upper-level Student Papers (MICUSP) è una raccolta di 829 elaborati di alto livello — che hanno ottenuto un voto pari ad A o A- — redatti da studenti dell’ultimo anno di laurea triennale e da studenti di laurea magistrale dell’Università del Michigan, con una lunghezza media di 3.157 parole. Di questi elaborati, 148 sono stati scritti da studenti per cui l’inglese non è la lingua madre: 38 elaborati di laurea triennale e 110 di laurea magistrale. Le lingue madri (L1) di questo sottoinsieme includono il mandarino, il coreano, lo spagnolo, il russo, l’hindi e altre, e i saggi coprono 16 materie, tra cui psicologia, sociologia, ingegneria, biologia e discipline umanistiche. Abbiamo riportato sopra i dati relativi al sottoinsieme con L1 diversa dall’inglese; tuttavia, abbiamo eseguito Pangram 4.1 anche sui 681 saggi con L1 inglese e non abbiamo riscontrato falsi positivi in nessuno dei due sottoinsiemi.
• Il dataset USask è una raccolta di 141 recensioni bibliografiche redatte da studenti di laurea magistrale, per un totale di 51 studenti di inglese come seconda lingua (L2) iscritti a diverse università canadesi, con un livello di competenza compreso tra 6,5 e 8,5 secondo l’International English Language Testing System (IELTS). Gli studenti erano iscritti a corsi di laurea in discipline quali linguistica, scienze dell’educazione e scienze politiche. Le recensioni variavano da 264 a 4.391 parole, con una media di 1.028 parole.

Nel rapporto tecnico su Pangram 4 è stato riportato anche un set di dati, che riproduciamo qui per Pangram 4.1.

• L'International Corpus Network of Asian Learners of English (ICNALE) ha pubblicato un modulo dedicato ai saggi scritti (WE) del proprio dataset, composto da 5.593 saggi redatti in inglese a tempo. Il modulo ICNALE WE non registra dati relativi alla lingua madre, ma include testi scritti in inglese da studenti universitari di 10 paesi asiatici, tra cui Cina, Hong Kong, Indonesia, Giappone e Corea.

Data l'ampia selezione di saggi, questo parametro di riferimento comprende una varietà di tipologie di compiti, dai saggi da svolgere a casa a quelli a tempo; livelli di assistenza, dall'assistenza illimitata agli esami sorvegliati; livelli di competenza in inglese; e corsi di laurea.

Metodologia

Ho cercato set di dati di ricerca che soddisfacessero i seguenti criteri:

• Raccolte di scritti di studenti universitari o laureati; sono esclusi i set di dati redatti da aspiranti studenti, studenti non iscritti a corsi di laurea o studenti delle scuole superiori, nonché i saggi di ammissione all’università
• Include metadati relativi allo status di madrelingua (L1) o di studente di inglese, o diversamente specificati (ad esempio, se l'intero set di dati provenisse da un unico gruppo di madrelingua)
• Composto principalmente da saggi, relazioni, risposte articolate, revisioni della letteratura, tesi, scritti creativi, ecc.; sono esclusi i set di dati costituiti esclusivamente da risposte brevi
• Contenente almeno 100 documenti con un numero mediano di parole superiore a 175

Ho deduplicato i documenti e rimosso tutti quelli con meno di 50 parole. Per il resto, ho effettuato una pre-elaborazione minima dei testi. Ho deciso di analizzare ogni testo due volte con Pangram 4.1: una volta eliminando le parti preliminari e i riferimenti bibliografici e una volta includendoli, e ho riscontrato che il risultato era invariato. Ho inoltre analizzato gli stessi 15.420 testi con il nostro modello precedente, Pangram 4, che ha anch’esso ottenuto zero falsi positivi.

Come sempre, adottiamo una definizione rigorosa di “falso positivo”: consideriamo un documento un falso positivo se anche un solo segmento viene contrassegnato come “AI” o “assistito dall’IA”.

Pangram 4.1 non è stato addestrato né calibrato su questi documenti; pertanto, questo rappresenta un test attendibile delle prestazioni di Pangram su testi inediti redatti da studenti universitari.

Nel corso di questa valutazione, abbiamo inoltre analizzato 1.743 testi che non erano stati riportati nei risultati principali poiché non soddisfacevano alcuni criteri (in genere esclusi perché scritti da un autore di madrelingua inglese) e non abbiamo riscontrato alcun falso positivo.