Quanto è accurato il rilevamento Pangram AI su ESL?

Una critica comune ai rilevatori di IA è che sono prevenuti nei confronti di chi non è madrelingua inglese. I testi scritti da persone che non sono madrelingua inglese vengono definiti ESL (English as a Second Language, inglese come seconda lingua) o, più precisamente, ELL (English Language Learners, studenti di lingua inglese). In articoli precedenti abbiamo spiegato perché altri rilevatori di IA basati su perplessità e burstiness sono soggetti a questo difetto.

Chi non è madrelingua inglese non possiede un vocabolario sufficientemente ricco né padroneggia i complessi schemi sintattici della lingua inglese per scrivere in modo da mostrare un'elevata burstiness. Pertanto, i precedenti tentativi di rilevamento dell'IA si sono rivelati insufficienti: spesso hanno erroneamente classificato l'ESL come scrittura generata dall'IA, mostrando così un alto tasso di falsi positivi sull'ESL.

Precedenti studi sul rilevamento dell'IA e sull'ESL

Nel luglio 2023 è stato pubblicato un importante studio dell'Università di Stanford, condotto da Weixin Liang, James Zou e altri, in cui si sostiene che i rilevatori GPT sono discriminatori nei confronti degli scrittori non madrelingua inglese. Sebbene lo studio sia stato condotto su un campione di piccole dimensioni (solo 91 saggi dell'esame TOEFL) e presentasse alcune lacune metodologiche (gli autori hanno deciso di etichettare i testi umani modificati da GPT-4 come "umani" durante il test dei rilevatori), nel complesso i risultati hanno mostrato che i sette rilevatori di IA testati (Pangram non è stato testato in questo studio) hanno mostrato un forte pregiudizio nei confronti della scrittura ESL, con oltre il 60% dei campioni di scrittura umana ESL contrassegnati come IA.

Uno studio più recente dell'agosto 2024 condotto dall'ETS, un centro di servizi di valutazione che gestisce il GRE, un test standardizzato per l'ammissione alle scuole di specializzazione, ha anche condotto uno studio su larga scala su circa 2.000 campioni di scrittura di persone non madrelingua inglese sul GRE, utilizzando semplici rilevatori di apprendimento automatico che essi stessi hanno addestrato su caratteristiche artigianali, tra cui la perplessità. Non hanno riscontrato alcun pregiudizio nei propri rilevatori nei confronti dell'inglese non madrelingua, sebbene l'impostazione sperimentale fosse altamente semplificata e artificiosa e vi siano importanti differenze tra questo studio e il mondo reale. Inoltre, non hanno studiato i rilevatori commerciali effettivamente utilizzati nella pratica. Ciononostante, lo studio evidenzia un punto interessante: quando i dati provenienti da parlanti non madrelingua inglese sono sufficientemente rappresentati nel set di addestramento, il pregiudizio risultante è sufficientemente mitigato.

La performance di Pangram su ESL

Per misurare il tasso di falsi positivi di Pangram sui dati ESL, abbiamo eseguito il rilevatore AI di Pangram su quattro set di dati ESL pubblici (abbiamo escluso questi set di dati durante l'addestramento, in modo da non avere alcuna perdita di dati tra addestramento e test).

I set di dati che studiamo includono:

• ELLIPSE Set di dati per l'apprendimento della lingua inglese

• Corpus internazionale degli studenti asiatici di lingua inglese

• Corpus didattico della lingua inglese di Pittsburgh

• Set di dati TOEFL tratto dallo studio di Liang et. al. condotto presso la Stanford University.

I risultati sono riportati di seguito.

Il tasso complessivo di falsi positivi di Pangram è dello 0,032%, che non è significativamente superiore al nostro tasso generale di falsi positivi dello 0,01%.

Pangram contro TurnItIn

Confrontiamo direttamente Pangram con TurnItIn utilizzando gli stessi set di dati utilizzati da TurnItIn in una valutazione pubblica del proprio indicatore di scrittura AI.

Valutiamo sia l'inglese "L1" (non ESL) che "L2" (ESL) sugli stessi set di dati utilizzati da TurnItIn. Poiché TurnItIn non valuta documenti più lunghi di 300 parole, applichiamo lo stesso filtro al set di dati prima della valutazione.

Abbiamo riscontrato che Pangram è due ordini di grandezza più accurato di TurnItIn sui testi ESL e che Pangram non rileva alcun falso positivo sui testi in lingua inglese nativa in questo studio.

Pangram contro GPTZero

GPTZero riporta autonomamente un tasso di falsi positivi dell'1,1% sullo studio originale TOEFL di Liang, sebbene il 6,6% del set di dati TOEFL di Liang sia stato erroneamente classificato come "Possibile contenuto AI".

In confronto, Pangram non riporta alcun falso positivo sul set di dati Liang TOEFL e siamo altamente sicuri di ogni esempio.

In che modo Pangram riduce i falsi positivi nella scrittura ESL?

Noi di Pangram prendiamo molto sul serio le nostre prestazioni in inglese non madrelingua, ed è per questo che abbiamo utilizzato diverse strategie per mitigare i falsi positivi nel nostro modello di rilevamento della scrittura AI.

Dati

I modelli di apprendimento automatico non funzionano bene al di fuori della loro distribuzione di addestramento, quindi ci assicuriamo che il nostro set di dati includa anche testi in lingue diverse dall'inglese.

Ma non ci fermiamo qui. Mentre altri rilevatori di scrittura AI si concentrano specificamente solo sulla scrittura degli studenti e sui saggi accademici, noi addestriamo il nostro modello su un ampio spettro di scrittura. Gli altri rilevatori di scrittura AI addestrati solo su saggi spesso soffrono di una sottorappresentazione dell'inglese più informale e colloquiale nel set di addestramento. Al contrario, noi utilizziamo testi provenienti dai social media, recensioni e testi generici trovati su Internet, che sono spesso informali e più rappresentativi di una scrittura imperfetta, simile all'inglese utilizzato da persone non madrelingua o da studenti di lingua inglese.

Ci preoccupiamo anche di includere fonti che potrebbero contenere testi scritti in inglese non madrelingua, anche se tali fonti non sono specificatamente set di dati ESL. Ad esempio, i testi in inglese presenti su siti web con domini stranieri sono un'ottima fonte di testi scritti in inglese non madrelingua.

Capacità multilingue

A differenza di altri rilevatori di IA, non limitiamo il nostro dominio al solo inglese. Infatti, non limitiamo affatto la lingua del nostro modello: utilizzeremo tutte le lingue presenti su Internet per addestrare il nostro modello in modo che funzioni bene con tutte le lingue comuni.

Abbiamo già parlato in precedenza delle nostre eccellenti prestazioni multilingue e riteniamo che le tecniche che abbiamo utilizzato per far funzionare Pangram in modo ottimale con altre lingue possano essere applicate con ottimi risultati anche all'ESL.

Sebbene non sia possibile stabilire con certezza quali siano i meccanismi responsabili della buona generalizzazione e del trasferimento, riteniamo che l'ESL possa essere considerato quasi una lingua adiacente all'inglese. Ottimizzando il modello per ottenere buoni risultati su tutte le lingue, il modello non può adattarsi eccessivamente a stili, costruzioni grammaticali o scelte lessicali specifici di una lingua, comuni nei modi in cui le idee vengono espresse in una lingua particolare. Osservando testi scritti da esseri umani in tutte le lingue, insegniamo al modello come scrivono tutti gli esseri umani, non solo i madrelingua inglesi. Ciò rende il modello meno incline a concentrarsi in modo errato sui modelli idiomatici espressi dai madrelingua.

Apprendimento attivo

Il nostro approccio di apprendimento attivo è il motivo per cui Pangram è molto più accurato e contrassegna erroneamente come AI una quantità significativamente inferiore di testo umano rispetto ai concorrenti.

Alternando ripetutamente l'addestramento e l'estrazione dei casi negativi difficili, individuiamo gli esempi umani che più assomigliano al testo generato dall'IA per l'addestramento. Questo approccio non solo fa emergere gli esempi umani più simili al testo generato dall'IA, aiutando il modello a comprendere le sottili differenze tra il testo ESL e quello generato dall'IA, ma ci aiuta anche a trovare esempi simili all'ESL che si trasferiranno bene e aiuteranno il modello ad apprendere modelli migliori in generale.

Strategie di sollecitazione

Quando creiamo esempi di IA da cui il modello può imparare, cerchiamo di utilizzare una varietà esaustiva di prompt in modo che il modello possa generalizzare diversi stili di scrittura. Ad esempio, spesso aggiungiamo dei modificatori alla fine dei nostri prompt, come "Scrivi questo saggio nello stile di uno studente delle superiori" o "Scrivi questo articolo nello stile di una persona non madrelingua inglese".

Creando così tanti stili di scrittura diversi, il modello non apprende solo il modo predefinito in cui scrivono i modelli linguistici di IA: apprende i modelli fondamentali alla base dei testi di IA.

Da un punto di vista statistico, progettiamo la nostra pipeline di mirroring sintetico in modo tale che il nostro modello risulti invariante rispetto a caratteristiche irrilevanti quali l'argomento, il livello di scrittura o il tono. Stimolando il modello in modi che corrispondono alle caratteristiche del testo umano, integriamo l'invarianza disponendo di un numero uguale di esempi umani e di IA che presentano ciascuna caratteristica.

Valutazione rigorosa e controllo qualità

Infine, prima di approvare ogni nuovo aggiornamento del modello, adottiamo un processo di valutazione e controllo qualità estremamente completo e rigoroso.

Nella valutazione ci concentriamo sia sulla qualità che sulla quantità. Ad esempio, il set di dati Liang TOEFL contiene solo 91 esempi, quindi se utilizzassimo solo questo set di dati potremmo ottenere solo una stima molto approssimativa del nostro tasso di falsi positivi su ESL. Se avessimo un solo esempio errato, riporteremmo un tasso di falsi positivi dell'1,1%, quindi non saremmo in grado di distinguere tra modelli che hanno effettivamente un FPR reale inferiore all'1%.

Poiché ci impegniamo a mantenere un tasso di falsi positivi molto inferiore all'1% (il nostro obiettivo è compreso tra 1 su 10.000 e 1 su 100.000), dobbiamo misurare milioni di esempi per poter confermare un livello di accuratezza pari a quello indicato.

Una valutazione su larga scala ci aiuta anche ad acquisire una migliore intuizione delle modalità di errore che il nostro modello presenta e a correggerle nel tempo, reperendo dati migliori e elaborando strategie algoritmiche più efficaci specificamente mirate ai nostri casi di errore.

Ci si può fidare dei rilevatori di IA su ESL?

Grazie alle nostre misurazioni, ai risultati dettagliati delle valutazioni e alle strategie di mitigazione spiegabili, riteniamo che Pangram sia sufficientemente accurato per gli utenti non madrelingua inglese da poter essere implementato in ambito educativo.

Tuttavia, disporre di un rilevatore di IA sufficientemente imparziale non è sufficiente per prevenire tutte le forme di pregiudizio nel processo di integrità accademica. Gli educatori dovrebbero essere consapevoli che il pregiudizio può manifestarsi in modi inconsci. Ad esempio, se un educatore è più propenso a utilizzare un rilevatore di IA sui compiti consegnati da studenti non madrelingua inglese a causa del sospetto inconscio che gli studenti ESL siano meno onesti, allora questa è una forma di pregiudizio.

Inoltre, gli insegnanti devono essere consapevoli che gli studenti non madrelingua inglese subiscono svantaggi intrinseci nel mondo accademico rispetto ai loro colleghi madrelingua inglese. Gli studenti ESL sono più propensi a utilizzare strumenti esterni come ChatGPT per migliorare la loro scrittura, che se utilizzati in quantità sufficiente vengono segnalati dal software di rilevamento dell'IA. Ecco perché raccomandiamo la Perkins AI Assessment Scale per facilitare una comunicazione chiara con gli studenti su quale tipo di assistenza IA è consentita e quale no.

Infine, sappiamo che gli studenti imbrogliano quando sono sottoposti a stress e pressione, sentono una mancanza di autoefficacia soprattutto se confrontati con i loro coetanei e quando ritengono che l'uso di uno strumento per imbrogliare sia l'unico modo per avere successo. Incoraggiamo gli educatori ad affrontare queste preoccupazioni in modo proattivo, fornendo sostegno a questi studenti, comunicando chiaramente quale tipo di assistenza è disponibile e consentita e, potenzialmente, ripensando le strategie di valutazione che non richiedono un inglese perfetto da parte degli studenti che arrivano in classe già svantaggiati.

Il pangram dovrebbe essere utilizzato come strumento a sostegno dell'integrità accademica, in modo che gli educatori possano comprendere il modo migliore per procedere nel sostenere l'apprendimento dei propri studenti.

Per ulteriori informazioni sulla nostra ricerca e sui metodi che utilizziamo per mitigare i pregiudizi nel nostro software di rilevamento dell'IA, contattaci all'indirizzo info@pangram.com.