Quanto è accurato il rilevamento AI di Pangram su ESL?

Aggiornato a maggio 2026 con l'[uscita di Pangram 3.3]

Una critica comune mossa ai rilevatori di IA è che presentano un pregiudizio nei confronti di chi non è madrelingua inglese. I testi scritti da persone che non sono madrelingua inglese vengono definiti ESL (English as a Second Language, inglese come seconda lingua) o, più precisamente, ELL (English Language Learners, studenti di lingua inglese). In articoli precedenti abbiamo spiegato perché altri rilevatori di IA basati sulla perplessità e sulla burstiness sono soggetti a questo difetto.

Chi non è di madrelingua inglese non dispone di un vocabolario sufficientemente ampio né della padronanza delle complesse strutture sintattiche dell'inglese necessarie per scrivere in modo da mostrare un elevato livello di "burstiness". Di conseguenza, i precedenti tentativi di rilevamento tramite IA si sono rivelati insufficienti: spesso hanno erroneamente classificato i testi scritti da studenti di inglese come seconda lingua (ESL) come generati dall'IA, registrando così un alto tasso di falsi positivi sui testi ESL.

Studi precedenti sul rilevamento dell'IA e sull'ESL

Nel luglio 2023 è stato pubblicato un importante studio dell'Università di Stanford a cura di Weixin Liang, James Zou e altri, secondo cui i rilevatori GPT presentano un pregiudizio nei confronti degli autori non madrelingua inglese. Sebbene lo studio sia stato condotto su un campione di piccole dimensioni (solo 91 saggi dell'esame TOEFL) e presentasse alcune lacune metodologiche (gli autori hanno deciso di etichettare come "umano" il testo umano modificato da GPT-4 durante il test dei rilevatori), nel complesso i risultati hanno mostrato che i sette rilevatori di IA testati (Pangram non è stato testato in questo studio) hanno mostrato un forte pregiudizio nei confronti della scrittura ESL, con oltre il 60% dei campioni di scrittura umana ESL contrassegnati come IA.

Uno studio più recente, risalente all’agosto 2024, condotto dall’ETS – un centro di servizi di valutazione che gestisce il GRE, un test standardizzato per l’ammissione ai corsi di laurea magistrale – ha analizzato su larga scala circa 2.000 campioni di scrittura di studenti non madrelingua inglese nel GRE, utilizzando semplici modelli di machine learning addestrati su caratteristiche definite manualmente, tra cui la perplessità. Non hanno riscontrato alcun pregiudizio nei propri rilevatori nei confronti dell'inglese non nativo, sebbene l'impostazione sperimentale fosse altamente semplificata e artificiosa e vi siano differenze importanti tra questo studio e il mondo reale. Inoltre, non hanno studiato i rilevatori commerciali che vengono effettivamente utilizzati nella pratica. Ciononostante, lo studio evidenzia un punto interessante: quando i dati di parlanti non madrelingua inglesi sono sufficientemente rappresentati nel set di addestramento, il pregiudizio risultante viene sufficientemente mitigato.

L'esibizione di Pangram su ESL

Per misurare il tasso di falsi positivi di Pangram sui dati ESL, abbiamo eseguito il rilevatore AI di Pangram su quattro set di dati ESL pubblici (abbiamo tenuto questi set di dati da parte durante l'addestramento, in modo da evitare qualsiasi dispersione di dati tra fase di addestramento e fase di test).

I set di dati che analizziamo comprendono:

• ELLIPSE: set di dati per l'apprendimento della lingua inglese

• Corpus internazionale degli studenti asiatici di inglese

• Corpus didattico della lingua inglese di Pittsburgh

• Set di dati TOEFL tratto dallo studio di Liang et al. condotto presso la Stanford University

Di seguito sono riportati i risultati.

Il tasso complessivo di falsi positivi di Pangram è dello 0,078%, un valore che non risulta significativamente superiore al nostro tasso generale di falsi positivi, pari allo 0,01%.

Pangram contro TurnItIn

Confrontiamo direttamente Pangram con TurnItIn utilizzando gli stessi set di dati che TurnItIn ha impiegato in una valutazione pubblica del proprio indicatore di scrittura basato sull'intelligenza artificiale.

Valutiamo sia l'inglese "L1" (non ESL) che l'inglese "L2" (ESL) utilizzando gli stessi set di dati utilizzati da TurnItIn. Poiché TurnItIn non valuta documenti più lunghi di 300 parole, applichiamo lo stesso filtro al set di dati prima della valutazione.

Abbiamo riscontrato che Pangram è due ordini di grandezza più accurato di TurnItIn sui testi in inglese come seconda lingua e che, nei testi in inglese nativo utilizzati in questo studio, Pangram non rileva alcun falso positivo.

Pangram contro GPTZero

GPTZero dichiara un tasso di falsi positivi dell'1,1% rispetto allo studio originale di Liang sul TOEFL, sebbene il 6,6% del set di dati TOEFL di Liang sia stato erroneamente classificato come "Possibile contenuto generato dall'IA".

Al contrario, Pangram non registra alcun falso positivo sul dataset Liang TOEFL e nutriamo grande fiducia in ogni singolo esempio.

In che modo Pangram riduce i falsi positivi nella valutazione della scrittura in una lingua straniera?

Noi di Pangram prendiamo molto sul serio la nostra capacità di valutare testi scritti in inglese non madrelingua, ed è per questo che abbiamo adottato diverse strategie per ridurre i falsi positivi nel nostro modello di rilevamento della scrittura generata dall'IA.

Dati

I modelli di apprendimento automatico non funzionano bene al di fuori della distribuzione utilizzata per l'addestramento; per questo motivo ci assicuriamo che il nostro set di dati includa testi in lingue diverse dall'inglese.

Tuttavia, non ci fermiamo qui. Mentre altri sistemi di rilevamento della scrittura generata dall'IA si concentrano specificamente solo sui testi degli studenti e sui saggi accademici, noi addestriamo il nostro modello su un ampio spettro di testi. Altri rilevatori di scrittura basati sull'IA addestrati esclusivamente su saggi spesso soffrono di una sottorappresentazione dell'inglese più informale e colloquiale nel set di addestramento. Al contrario, noi utilizziamo testi provenienti dai social media, recensioni e testi generici trovati su Internet, che sono spesso informali e più rappresentativi di una scrittura imperfetta, simile all'inglese utilizzato da parlanti non madrelingua o da studenti della lingua inglese.

Ci preoccupiamo inoltre di includere fonti che possano contenere testi scritti in inglese da persone non madrelingua, anche se tali fonti non costituiscono specificatamente dei set di dati ESL. Ad esempio, i testi in inglese presenti su siti web con domini stranieri rappresentano un'ottima fonte di testi scritti in inglese da persone non madrelingua.

Funzionalità multilingue

A differenza di altri rilevatori di IA, inoltre, non limitiamo il nostro ambito esclusivamente all'inglese. Anzi, non poniamo alcuna restrizione alla lingua del nostro modello: utilizzeremo tutte le lingue presenti su Internet per addestrarlo, in modo che funzioni bene con tutte le lingue più diffuse.

Abbiamo già parlato in precedenza delle nostre eccellenti prestazioni nel campo del multilinguismo e riteniamo che le tecniche che abbiamo utilizzato per garantire l'ottimo funzionamento di Pangram in altre lingue si prestino molto bene anche all'insegnamento dell'inglese come seconda lingua (ESL).

Sebbene non si possa stabilire con esattezza quali meccanismi siano responsabili della buona generalizzazione e del trasferimento, si ipotizza che l’ESL possa essere quasi considerata una lingua affine all’inglese. Ottimizzando il modello affinché funzioni bene su tutte le lingue, si evita che esso si adegui eccessivamente a stili, costruzioni grammaticali o scelte lessicali specifici di una lingua, ovvero a quei modi comuni in cui le idee vengono espresse in una lingua particolare. Analizzando testi scritti in tutte le lingue, insegniamo al modello come scrivono tutti gli esseri umani, non solo i madrelingua inglesi. Questo rende il modello meno incline a concentrarsi in modo errato sui modelli idiomatici espressi dai madrelingua.

Apprendimento attivo

Il nostro approccio basato sull'apprendimento attivo è il motivo per cui Pangram è molto più accurato e segnala erroneamente come generato dall'IA una quantità significativamente inferiore di testo umano rispetto ai concorrenti.

Alternando in modo iterativo l'addestramento e l'estrazione di esempi negativi significativi, individuiamo gli esempi scritti da esseri umani che più si avvicinano al testo generato dall'IA per l'addestramento. Questo approccio non solo mette in luce gli esempi scritti da esseri umani più simili al testo generato dall'IA, aiutando il modello a cogliere le sottili differenze tra il testo scritto da persone non madrelingua e quello generato dall'IA, ma ci aiuta anche a trovare esempi simili a quelli scritti da persone non madrelingua che si prestano bene al trasferimento e consentono al modello di apprendere modelli migliori in generale.

Strategie di stimolo

Quando creiamo esempi di IA su cui il modello possa imparare, cerchiamo di utilizzare una vasta gamma di prompt, in modo che il modello possa generalizzare i risultati a diversi stili di scrittura. Ad esempio, spesso aggiungiamo delle indicazioni alla fine dei nostri prompt, come "Scrivi questo saggio nello stile di uno studente delle superiori" o "Scrivi questo articolo nello stile di una persona per cui l'inglese non è la lingua madre".

Creando così tanti stili di scrittura diversi, il modello non si limita ad apprendere il modo predefinito in cui scrivono i modelli linguistici basati sull'intelligenza artificiale: apprende i modelli fondamentali che stanno alla base dei testi generati dall'intelligenza artificiale.

Da un punto di vista statistico, progettiamo la nostra pipeline di mirroring sintetico in modo tale che il nostro modello risulti invariante rispetto a caratteristiche irrilevanti quali l'argomento, il livello di scrittura o il tono. Fornendo al modello prompt che rispecchiano le caratteristiche del testo umano, garantiamo tale invarianza assicurando che vi sia un numero uguale di esempi umani e generati dall'IA che presentano ciascuna di queste caratteristiche.

Valutazione rigorosa e controllo qualità

Infine, prima di approvare ogni nuovo aggiornamento del modello, adottiamo un processo di valutazione e controllo qualità estremamente completo e rigoroso.

Nella valutazione, ci concentriamo sia sulla qualità che sulla quantità. Ad esempio, il set di dati Liang TOEFL contiene solo 91 esempi, quindi se utilizzassimo esclusivamente questo set di dati potremmo ottenere solo una stima molto approssimativa del nostro tasso di falsi positivi su ESL. Se avessimo sbagliato un solo esempio, riporteremmo un tasso di falsi positivi dell'1,1%, quindi non saremmo in grado di distinguere tra modelli che hanno effettivamente un FPR reale inferiore all'1%.

Poiché puntiamo a un tasso di falsi positivi ben inferiore all'1% (il nostro obiettivo è un tasso compreso tra 1 su 10.000 e 1 su 100.000), dobbiamo analizzare milioni di casi per poter confermare un'accuratezza a quel livello.

Effettuare valutazioni su larga scala ci aiuta inoltre ad acquisire una migliore comprensione dei modi di errore che il nostro modello presenta e a correggerli nel tempo, utilizzando dati di qualità superiore e sviluppando strategie algoritmiche più efficaci, mirate specificatamente ai nostri casi di errore.

Ci si può fidare dei rilevatori di IA su ESL?

Sulla base delle nostre misurazioni, dei risultati dettagliati delle valutazioni e delle strategie di mitigazione spiegabili, riteniamo che Pangram sia sufficientemente accurato per gli utenti non madrelingua inglese da poter essere implementato in ambito educativo.

Tuttavia, disporre di un rilevatore di plagio basato sull'intelligenza artificiale sufficientemente imparziale non è sufficiente a prevenire ogni forma di pregiudizio nel processo di integrità accademica. Gli insegnanti dovrebbero essere consapevoli del fatto che i pregiudizi possono manifestarsi in modo inconsapevole. Ad esempio, se un insegnante è più propenso a utilizzare un rilevatore di plagio basato sull'intelligenza artificiale sui compiti degli studenti non madrelingua inglese a causa del sospetto inconscio che gli studenti ESL siano meno onesti, allora si tratta di una forma di pregiudizio.

Inoltre, gli insegnanti devono essere consapevoli del fatto che gli studenti non madrelingua inglese si trovano in una posizione di svantaggio intrinseco nel contesto accademico rispetto ai loro colleghi madrelingua. Gli studenti ESL tendono maggiormente a ricorrere a strumenti esterni come ChatGPT per migliorare la propria scrittura; tuttavia, un uso eccessivo di tali strumenti può far scattare l'allarme nei software di rilevamento dell'IA. Per questo motivo raccomandiamo l'uso della Scala di Valutazione dell'IA di Perkins, al fine di facilitare una comunicazione chiara con gli studenti su quali tipi di assistenza fornita dall'IA siano consentiti e quali no.

Infine, sappiamo che gli studenti ricorrono all’imbroglio quando sono sottoposti a stress e pressione, provano un senso di inadeguatezza, soprattutto se messi a confronto con i loro coetanei, e quando ritengono che l’uso di strumenti di imbroglio sia l’unico modo per avere successo. Incoraggiamo gli educatori ad affrontare queste problematiche in modo proattivo, fornendo sostegno a questi studenti, comunicando chiaramente quale tipo di assistenza sia disponibile e consentita, e magari ripensando le strategie di valutazione che non pretendono un inglese perfetto da studenti che arrivano in classe già in una posizione di svantaggio.

Il pangram dovrebbe essere utilizzato come strumento a sostegno dell'integrità accademica, in modo che gli educatori possano comprendere qual è il modo migliore per procedere nel sostenere l'apprendimento dei propri studenti.

Per ulteriori informazioni sulla nostra ricerca e sulle modalità con cui riduciamo i pregiudizi nel nostro software di rilevamento basato sull'intelligenza artificiale, vi invitiamo a contattarci all'indirizzo info@pangram.com.