Cosa succede quando un rilevatore di IA commette un errore?

Con la diffusione sempre più capillare dell'intelligenza artificiale, gli insegnanti vorrebbero poter capire se gli studenti la utilizzano per scrivere i compiti al posto loro. Un rilevatore di IA per insegnanti sembrerebbe la soluzione più ovvia, ma molti sono titubanti. Cosa succede se il software commette un errore?

È una preoccupazione fondata. Finora, i rilevatori di IA si sono dimostrati piuttosto inaffidabili. Numerosi studi hanno evidenziato che questi strumenti spesso non riescono a riconoscere quando un testo è stato generato dall'IA e che un imbroglione determinato può ingannarli inserendo qualche leggera parafrasi o errore ortografico. Questi falsi negativi sono già di per sé un problema, poiché consentono ad alcuni testi generati dal computer di passare inosservati.

Ma ancora più preoccupante è l’elevato tasso di falsi positivi dei sistemi di rilevamento precoce. Questi si verificano quando un testo scritto in realtà da un essere umano viene segnalato come prodotto dall’IA, causando stress e provvedimenti disciplinari ingiustificati a studenti che non hanno fatto nulla di male, un inutile controllo da parte degli insegnanti e una perdita di fiducia all’interno della scuola.

Il problema è particolarmente grave tra gli studenti per i quali l'inglese non è la lingua madre. Diversi strumenti di rilevamento dell'IA mostrano un pregiudizio nei confronti dei parlanti non madrelingua. Uno studio del 2023 condotto dall'Università di Stanford ha rilevato che diversi sistemi di rilevamento hanno identificato all'unanimità (e erroneamente) 1 saggio su 5 scritto da un parlante non madrelingua come generato dall'IA. Quasi tutti sono stati erroneamente segnalati da almeno uno dei sistemi di rilevamento.

Con quale frequenza i rilevatori di IA commettono errori?

I rilevatori di IA più diffusi ammettono di commettere questo tipo di errori con una certa frequenza. TurnItIn, ad esempio, dichiara un tasso di falsi positivi di circa 1 su 200, il che significa che per ogni 200 elaborati che un insegnante analizza, il lavoro originale di uno studente verrà erroneamente contrassegnato come generato dall'IA. Altri strumenti dichiarano tassi di falsi positivi compresi tra 1 su 500 e 1 su 100, mentre studi indipendenti hanno rilevato che le cifre possono salire ancora di più.

Il tasso di falsi positivi di Pangram, invece, è di appena 1 su 10.000, secondo i risultati ottenuti dall'analisi di decine di milioni di documenti. Il nostro modello è particolarmente affidabile quando si tratta di testi di oltre qualche centinaio di parole scritti in frasi complete: esattamente il tipo di elaborati che gli studenti solitamente presentano per i compiti più importanti.

Come possono gli insegnanti capire se un rilevatore di IA ha segnalato erroneamente un elaborato scritto da uno studente?

Quando un rilevatore di IA segnala un testo come generato dall’intelligenza artificiale, un insegnante ha a disposizione alcune opzioni per verificare il risultato. Innanzitutto, dovrebbe semplicemente chiedere allo studente se abbia utilizzato l’IA, affrontando la conversazione con umiltà. Se il risultato fosse effettivamente un errore, lo studente potrebbe essere in grado di fornire prove del proprio processo di scrittura, come una cronologia delle revisioni dettagliata in Google Docs o copie delle prime bozze. In questo caso, gli insegnanti possono riconoscere di aver probabilmente individuato un falso positivo estremamente raro. Lo studente dovrebbe anche essere in grado di discutere in dettaglio il proprio processo di scrittura. Questa conversazione potrebbe mettere in luce una profonda comprensione del compito consegnato, suggerendo che lo studente lo abbia effettivamente scritto da solo. D'altra parte, potrebbe rivelare che lo studente ha utilizzato l'IA in un modo che non si rendeva conto fosse sbagliato, confermando i risultati del rilevatore.

Se lo studente continua a sostenere di non aver utilizzato l'IA, ma non è in grado di fornire prove o di spiegare il proprio lavoro in modo coerente, è comunque opportuno concedergli il beneficio del dubbio. Dopotutto, sarebbe estremamente dannoso se venisse punito per qualcosa che non ha fatto. In questo caso, gli insegnanti possono chiedere agli studenti di tenere traccia del loro processo di scrittura in futuro, il che aiuterà a chiarire eventuali ulteriori malintesi. Se lo studente sta mentendo consapevolmente sull'uso dell'IA, probabilmente ci penserà due volte prima di farlo in futuro. Ma se il suo lavoro continua a essere segnalato da un rilevatore di IA accurato come Pangram, probabilmente è il momento di intensificare la situazione. Le probabilità di un errore sono già basse; le probabilità di errori multipli sono minime.