Quanto è accurato il rilevamento AI di Pangram su ESL?

Aggiornato a maggio 2026 con il rilascio di Pangram 3.3

Una critica comune mossa ai rilevatori di IA è che presentano un pregiudizio nei confronti di chi non è madrelingua inglese. I testi scritti da persone che non sono madrelingua inglese vengono definiti ESL (English as a Second Language, inglese come seconda lingua) o, più precisamente, ELL (English Language Learners, studenti di lingua inglese). In articoli precedenti abbiamo spiegato perché altri rilevatori di IA basati sulla perplessità e sulla burstiness sono soggetti a questo difetto.

Chi non è madrelingua inglese spesso scrive in un inglese più coerente e regolare rispetto ai madrelingua, e i sistemi di rilevamento basati sulla "burstiness" scambiano tale regolarità per intelligenza artificiale. Di conseguenza, i precedenti tentativi di rilevamento dell'intelligenza artificiale si sono rivelati insufficienti: spesso hanno erroneamente classificato i testi scritti da studenti di inglese come lingua seconda (ESL) come generati dall'intelligenza artificiale, mostrando così un elevato tasso di falsi positivi sui testi ESL.

Studi precedenti sul rilevamento dell'IA e sull'ESL

Nel luglio 2023 è stato pubblicato un importante studio dell’Università di Stanford, condotto da Weixin Liang, James Zou e altri, in cui si sostiene che i rilevatori di GPT presentino un pregiudizio nei confronti degli autori non madrelingua inglese. Sebbene lo studio sia stato condotto su un campione di dimensioni ridotte (solo 91 saggi tratti dall’esame TOEFL) e presentasse alcune lacune metodologiche (gli autori hanno deciso di classificare come “umano” il testo umano modificato da GPT-4 durante il test dei rilevatori), nel complesso, i risultati hanno dimostrato che i sette rilevatori di IA testati (Pangram non è stato testato in questo studio) hanno mostrato un forte pregiudizio nei confronti della scrittura ESL, con oltre il 60% dei campioni di scrittura umana ESL contrassegnati come generati dall’IA.

Uno studio più recente, risalente all’agosto 2024, condotto dall’ETS — un centro di servizi di valutazione che gestisce il GRE, un test standardizzato per l’ammissione ai corsi di laurea magistrale — ha analizzato su larga scala circa 2.000 campioni di scrittura di parlanti non madrelingua inglese nel GRE, utilizzando semplici modelli di machine learning addestrati su caratteristiche definite manualmente, tra cui la perplessità. Non hanno riscontrato alcun pregiudizio nei propri sistemi di rilevamento nei confronti dell’inglese non nativo, sebbene l’impostazione sperimentale fosse altamente semplificata e artificiosa e vi siano differenze significative tra questo studio e la realtà. Inoltre, non hanno preso in esame i sistemi di rilevamento commerciali effettivamente utilizzati nella pratica. Ciononostante, lo studio evidenzia un punto interessante: quando i dati provenienti da parlanti non madrelingua sono sufficientemente rappresentati nel set di addestramento, il pregiudizio risultante viene adeguatamente mitigato.

L'esibizione di Pangram su ESL

Per misurare il tasso di falsi positivi di Pangram sui dati ESL, abbiamo eseguito il rilevatore AI di Pangram su quattro set di dati ESL pubblici (abbiamo escluso questi set di dati durante l'addestramento, in modo da evitare qualsiasi dispersione di informazioni tra fase di addestramento e fase di test).

I set di dati che analizziamo comprendono:

• ELLIPSE: set di dati per l'apprendimento della lingua inglese

• Corpus internazionale degli studenti asiatici di inglese

• Corpus didattico della lingua inglese di Pittsburgh

• Set di dati TOEFL tratto dallo studio di Liang et al. condotto presso la Stanford University

Di seguito sono riportati i risultati.

Il tasso complessivo di falsi positivi di Pangram è dello 0,012%, un valore che non risulta significativamente superiore al nostro tasso generale di falsi positivi, pari allo 0,01%.

Pangram contro Turnitin

Confrontiamo direttamente Pangram con Turnitin utilizzando gli stessi set di dati che Turnitin ha impiegato in una valutazione pubblica del proprio “AI Writing Indicator”.

Valutiamo sia l’inglese “L1” (non ESL) che l’inglese “L2” (ESL) sugli stessi set di dati utilizzati da Turnitin. Poiché Turnitin non valuta documenti di lunghezza inferiore a 300 parole, applichiamo lo stesso filtro al set di dati prima della valutazione.

Abbiamo riscontrato che il tasso di falsi positivi di Pangram sui testi in inglese come seconda lingua (ESL) è circa 70 volte inferiore a quello di Turnitin e che Pangram non rileva alcun falso positivo sui testi in inglese madrelingua utilizzati in questo studio.

Pangram contro GPTZero

GPTZero dichiara un tasso di falsi positivi dell'1,1% rispetto allo studio originale di Liang sul TOEFL, sebbene il 6,6% del set di dati TOEFL di Liang sia stato erroneamente classificato come "Possibile contenuto generato dall'IA".

Al contrario, Pangram non registra alcun falso positivo sul dataset Liang TOEFL e nutriamo grande fiducia in ogni singolo esempio.

In che modo Pangram riduce i falsi positivi nella valutazione della scrittura in una lingua straniera?

Noi di Pangram prendiamo molto sul serio la nostra capacità di valutare testi scritti in inglese non madrelingua, ed è per questo che abbiamo adottato diverse strategie per ridurre i falsi positivi nel nostro modello di rilevamento della scrittura generata dall'IA.

Dati

I modelli di apprendimento automatico non funzionano bene al di fuori della distribuzione utilizzata per l'addestramento; per questo motivo ci assicuriamo che il nostro set di dati includa testi in lingue diverse dall'inglese.

Tuttavia, non ci fermiamo qui. Mentre altri sistemi di rilevamento della scrittura generata dall'IA si concentrano specificamente solo sui testi degli studenti e sui saggi accademici, noi addestriamo il nostro modello su un ampio spettro di testi. Altri rilevatori di scrittura basati sull'IA addestrati esclusivamente su saggi spesso soffrono di una sottorappresentazione dell'inglese più informale e colloquiale nel set di addestramento. Al contrario, noi utilizziamo testi provenienti dai social media, recensioni e testi generici trovati su Internet, che sono spesso informali e più rappresentativi di una scrittura imperfetta, simile all'inglese utilizzato da parlanti non madrelingua o da studenti della lingua inglese.

Ci preoccupiamo inoltre di includere fonti che possano contenere testi scritti in inglese da parlanti non madrelingua, anche se tali fonti non costituiscono specificatamente set di dati ESL. Ad esempio, i testi in inglese presenti su siti web con domini stranieri rappresentano un’ottima fonte di testi scritti in inglese da parlanti non madrelingua.

Funzionalità multilingue

A differenza di altri rilevatori di IA, inoltre, non limitiamo il nostro ambito esclusivamente all'inglese. Anzi, non poniamo alcuna restrizione alla lingua del nostro modello: utilizzeremo tutte le lingue presenti su Internet per addestrarlo, in modo che funzioni bene con tutte le lingue più diffuse.

Abbiamo già parlato in precedenza delle nostre eccellenti prestazioni nel campo del multilinguismo e riteniamo che le tecniche che abbiamo utilizzato per garantire l'ottimo funzionamento di Pangram in altre lingue si prestino molto bene anche all'insegnamento dell'inglese come seconda lingua (ESL).

Sebbene non si possa stabilire con esattezza quali meccanismi siano responsabili della buona generalizzazione e del trasferimento, si ipotizza che l’ESL possa essere quasi considerata una lingua affine all’inglese. Ottimizzando il modello affinché funzioni bene su tutte le lingue, si evita che esso si adegui eccessivamente a stili, costruzioni grammaticali o scelte lessicali specifici di una lingua, ovvero a quei modi comuni in cui le idee vengono espresse in una lingua particolare. Analizzando testi scritti in tutte le lingue, insegniamo al modello come scrivono tutti gli esseri umani, non solo i madrelingua inglesi. Questo rende il modello meno incline a concentrarsi in modo errato sui modelli idiomatici espressi dai madrelingua.

Apprendimento attivo

Il nostro approccio basato sull'apprendimento attivo è il motivo per cui Pangram è molto più accurato e segnala erroneamente come generato dall'IA una quantità significativamente inferiore di testo umano rispetto ai concorrenti.

Alternando in modo iterativo l'addestramento e l'estrazione di esempi negativi significativi, individuiamo gli esempi scritti da esseri umani che più si avvicinano al testo generato dall'IA per l'addestramento. Questo approccio non solo mette in luce gli esempi scritti da esseri umani più simili al testo generato dall'IA, aiutando il modello a cogliere le sottili differenze tra il testo scritto da persone non madrelingua e quello generato dall'IA, ma ci aiuta anche a trovare esempi simili a quelli scritti da persone non madrelingua che si prestano bene al trasferimento e consentono al modello di apprendere modelli migliori in generale.

Strategie di stimolo

Quando creiamo esempi di IA su cui il modello possa imparare, cerchiamo di utilizzare una vasta gamma di prompt, in modo che il modello possa generalizzare i risultati a diversi stili di scrittura. Ad esempio, spesso aggiungiamo delle indicazioni alla fine dei nostri prompt, come "Scrivi questo saggio nello stile di uno studente delle superiori" o "Scrivi questo articolo nello stile di una persona per cui l'inglese non è la lingua madre".

Creando così tanti stili di scrittura diversi, il modello non si limita ad apprendere il modo predefinito in cui scrivono i modelli linguistici basati sull'intelligenza artificiale: apprende i modelli fondamentali che stanno alla base dei testi generati dall'intelligenza artificiale.

Da un punto di vista statistico, progettiamo la nostra pipeline di mirroring sintetico in modo tale che il nostro modello risulti invariante rispetto a caratteristiche irrilevanti quali l'argomento, il livello di scrittura o il tono. Fornendo al modello prompt che rispecchiano le caratteristiche del testo umano, garantiamo tale invarianza assicurando che vi sia un numero uguale di esempi umani e generati dall'IA che presentano ciascuna di queste caratteristiche.

Valutazione rigorosa e controllo qualità

Infine, prima di approvare ogni nuovo aggiornamento del modello, adottiamo un processo di valutazione e controllo qualità estremamente completo e rigoroso.

Nella valutazione, ci concentriamo sia sulla qualità che sulla quantità. Ad esempio, il set di dati Liang TOEFL contiene solo 91 esempi, quindi se utilizzassimo esclusivamente questo set di dati potremmo ottenere solo una stima molto approssimativa del nostro tasso di falsi positivi su ESL. Se avessimo sbagliato un solo esempio, riporteremmo un tasso di falsi positivi dell'1,1%, quindi non saremmo in grado di distinguere tra modelli che hanno effettivamente un FPR reale inferiore all'1%.

Poiché puntiamo a ottenere un tasso di falsi positivi ben inferiore all'1% (il nostro obiettivo è un tasso compreso tra 1 su 10.000 e 1 su 100.000), dobbiamo analizzare milioni di esempi per poter confermare un'accuratezza a quel livello.

Effettuare valutazioni su larga scala ci aiuta inoltre ad acquisire una migliore comprensione dei modi di errore che il nostro modello presenta e a correggerli nel tempo, utilizzando dati di qualità superiore e sviluppando strategie algoritmiche più efficaci, mirate specificatamente ai nostri casi di errore.

Ci si può fidare dei rilevatori di IA su ESL?

Sulla base delle nostre misurazioni, dei risultati dettagliati delle valutazioni e delle strategie di mitigazione spiegabili, riteniamo che Pangram sia sufficientemente accurato per gli utenti non madrelingua inglese da poter essere implementato in ambito educativo.

Tuttavia, disporre di un rilevatore di plagio basato sull'intelligenza artificiale sufficientemente imparziale non è sufficiente a prevenire ogni forma di pregiudizio nel processo di integrità accademica. Gli insegnanti dovrebbero essere consapevoli del fatto che i pregiudizi possono manifestarsi in modo inconsapevole. Ad esempio, se un insegnante è più propenso a utilizzare un rilevatore di plagio basato sull'intelligenza artificiale sui compiti degli studenti non madrelingua inglese a causa del sospetto inconscio che gli studenti ESL siano meno onesti, allora si tratta di una forma di pregiudizio.

Inoltre, gli insegnanti devono essere consapevoli del fatto che gli studenti per cui l’inglese non è la lingua madre subiscono svantaggi intrinseci in ambito accademico rispetto ai loro colleghi madrelingua. Gli studenti ESL sono più propensi a ricorrere a strumenti esterni come ChatGPT per migliorare la propria scrittura; se utilizzati in misura sufficiente, tali strumenti attivano i software di rilevamento dell’IA. Ecco perché raccomandiamo la Scala di Valutazione dell’IA di Perkins per facilitare una comunicazione chiara con gli studenti su quali tipi di assistenza fornita dall’IA siano consentiti e quali no.

Infine, sappiamo che gli studenti ricorrono all’imbroglio quando sono sottoposti a stress e pressione, oppure quando ritengono che l’uso di uno strumento di intelligenza artificiale sia l’unico modo per ottenere risultati positivi. Incoraggiamo i docenti ad affrontare questi fattori in modo proattivo, fornendo sostegno a questi studenti, comunicando chiaramente quale tipo di assistenza sia disponibile e consentita e, eventualmente, ripensando le strategie di valutazione che non pretendono un inglese perfetto da studenti che arrivano in classe già in una situazione di svantaggio.

Il pangram dovrebbe essere utilizzato come strumento a sostegno dell'integrità accademica, in modo che gli educatori possano comprendere qual è il modo migliore per procedere nel sostenere l'apprendimento dei propri studenti.

Per ulteriori informazioni sulla nostra ricerca e sulle modalità con cui riduciamo i pregiudizi nel nostro software di rilevamento basato sull'intelligenza artificiale, vi invitiamo a contattarci all'indirizzo info@pangram.com.