Cosa succede quando un rilevatore di IA commette un errore?

Con la diffusione sempre più capillare dell'intelligenza artificiale, gli insegnanti vogliono poter capire se gli studenti utilizzano l'IA per scrivere i loro compiti. Un rilevatore di IA per insegnanti sembra la soluzione più naturale, ma molti sono titubanti. Cosa succede se il software commette un errore?

Questa preoccupazione è comprensibile. Finora, i rilevatori di IA sono stati piuttosto inaffidabili. Numerosi studi hanno dimostrato che questi strumenti spesso non riescono a riconoscere quando un campione di scrittura è stato prodotto dall'IA e che un imbroglione determinato può ingannarli inserendo alcune lievi parafrasi o errori ortografici. Questi falsi negativi sono piuttosto fastidiosi, poiché consentono ad alcuni testi generati dal computer di passare inosservati.

Ma ancora più preoccupante è l'alto tasso di falsi positivi dei rilevatori precoci. Questi si verificano quando un testo scritto da un essere umano viene segnalato come prodotto dall'intelligenza artificiale, causando stress e provvedimenti disciplinari ingiustificati per studenti che non hanno fatto nulla di male, controlli inutili da parte degli insegnanti e una perdita di fiducia nella scuola.

Il problema è particolarmente grave tra gli studenti per i quali l'inglese non è la lingua madre. Diversi strumenti di rilevamento dell'IA mostrano un pregiudizio nei confronti dei parlanti non madrelingua. Un articolo del 2023 pubblicato da Stanford ha rilevato che diversi rilevatori hanno identificato all'unanimità (e erroneamente) 1 saggio su 5 scritto da un parlante non madrelingua inglese come generato dall'IA. Quasi tutti sono stati erroneamente segnalati da almeno uno dei rilevatori.

Con quale frequenza i rilevatori di IA commettono errori?

I rilevatori di IA più diffusi ammettono di commettere questo tipo di errori abbastanza spesso. TurnItIn, ad esempio, dichiara un tasso di falsi positivi di circa 1 su 200, il che significa che ogni 200 elaborati controllati da un insegnante, il lavoro originale di uno studente verrà erroneamente contrassegnato come generato dall'intelligenza artificiale. Altri strumenti dichiarano tassi di falsi positivi compresi tra 1 su 500 e 1 su 100, mentre studi indipendenti hanno rilevato che le cifre possono essere anche più elevate.

Il tasso di falsi positivi di Pangram, invece, è solo 1 su 10.000, misurato attraverso test su decine di milioni di documenti. Il nostro modello è particolarmente affidabile quando si tratta di testi di più di qualche centinaio di parole scritti in frasi complete, esattamente il tipo di scritti che gli studenti di solito presentano per i compiti più importanti.

Come possono gli insegnanti sapere se un rilevatore di IA ha erroneamente segnalato un testo scritto da uno studente?

Quando un rilevatore di IA segnala un testo come generato dall'IA, un insegnante ha diverse opzioni per confermare il risultato. Innanzitutto, dovrebbe semplicemente chiedere allo studente se ha utilizzato l'IA, affrontando la conversazione con umiltà. Se il risultato fosse effettivamente un errore, lo studente potrebbe essere in grado di mostrare prove del proprio processo di scrittura, come una solida cronologia delle revisioni in Google Docs o copie delle prime bozze. In questo caso, gli insegnanti possono riconoscere di aver probabilmente trovato un falso positivo estremamente raro. Lo studente dovrebbe anche essere in grado di discutere in dettaglio il proprio processo di scrittura. Questa conversazione potrebbe mettere in luce una profonda comprensione del compito consegnato, suggerendo che lo studente lo ha effettivamente scritto da solo. D'altra parte, potrebbe rivelare che lo studente ha utilizzato l'IA in un modo che non riteneva sbagliato, confermando i risultati del rilevatore.

Se lo studente continua a insistere nel dire che non ha utilizzato l'IA, ma non è in grado di fornire prove o di parlare del proprio lavoro in modo sensato, è comunque giusto concedergli il beneficio del dubbio. Dopotutto, sarebbe incredibilmente dannoso punirlo per qualcosa che non ha fatto. In questo caso, gli insegnanti possono chiedere agli studenti di tenere traccia del loro processo di scrittura in futuro, il che contribuirà a chiarire eventuali ulteriori malintesi. Se lo studente sta mentendo consapevolmente sull'uso dell'IA, probabilmente ci penserà due volte prima di farlo in futuro. Ma se il suo lavoro continua a essere segnalato da un accurato rilevatore di IA come Pangram, probabilmente è il momento di intensificare la situazione. Le probabilità di un errore sono già minime; le probabilità di errori multipli sono minime.