Miti e idee sbagliate sul rilevamento dell'IA

Jason è insegnante di inglese e filosofia alla New Roads School di Los Angeles.

Introduzione

Spesso mi viene chiesto cosa siano in grado di fare e cosa no i rilevatori di IA. Oggi analizzeremo alcuni dei miti e delle idee sbagliate più diffusi riguardo al rilevamento tramite IA. Cominciamo!

Mito n. 1: Anziché ricorrere al rilevamento tramite IA, dovremmo integrare l'IA nel nostro insegnamento e insegnare agli studenti come utilizzarla.

Dovremmo integrare l'intelligenza artificiale nel nostro insegnamento e dovremmo insegnare agli studenti come usarla! Tuttavia, contrapporre l'integrazione dell'IA al suo rilevamento significa mettere in contrapposizione due concetti che in realtà non sono in conflitto tra loro. Il rilevamento dell'IA è un prerequisito necessario per la sua integrazione, al fine di stabilire dei limiti ragionevoli intorno alla tecnologia e garantire che essa venga utilizzata a scopo di supporto, anziché in modo improprio.

Quando emerge una nuova tecnologia e si propone una qualsiasi restrizione, si cade in un certo errore di ragionamento di stampo luddista: in questo caso, l'idea che «rilevamento equivalga a deterrenza», il che è falso.

In realtà, è vero proprio il contrario. Coloro che cercano strumenti efficaci per il rilevamento dell’IA sono solitamente proprio quelli che desiderano maggiormente utilizzarla nelle loro classi. Vogliono utilizzare questi strumenti, ma non vogliono che se ne abusi. D’altra parte, ci sono coloro che sono così entusiasti del futuro dell’IA da voler utilizzare gli strumenti di IA a tutti i costi nelle loro classi, convinti che «questo sia il futuro». Non accettano alcuna restrizione. Tuttavia, ci sono coloro che detestano l'IA e sono i tipi da "carta e penna". Si tratta di individui o scuole che hanno deciso che l'unico approccio valido all'IA è non averne affatto. Non c'è bisogno di rilevamento quando la classe torna ai tempi pre-informatizzati. La verità, tuttavia, è che coloro che cercano il rilevamento dell'IA sono solitamente quelli più interessati a massimizzare l'uso dell'IA per l'apprendimento in classe. Vogliono evitare fattori determinanti inutili mentre sperimentano ed espandono la loro arte con l'IA. Questo ci sembra l'approccio giusto.

Mito n. 2: I rilevatori di IA sono delle "scatole nere" che non rivelano la propria metodologia e, pertanto, non sono affidabili.

Sebbene sia vero che altri rilevatori di IA non siano trasparenti riguardo ai propri metodi, Pangram ha reso pubblica la propria metodologia. Pangram è trasparente sui propri metodi, poiché ritiene importante conquistare la fiducia della comunità scientifica e fornire prove concrete dell'accuratezza del software. Sul proprio sito web, Pangram offre una dimostrazione interattiva e animata della propria metodologia.

Pangram pubblica inoltre alcune delle proprie innovazioni tecniche in occasione di conferenze e su riviste specializzate nel campo dell'intelligenza artificiale. Ad esempio, in occasione della conferenza COLING ha recentemente presentato un lavoro in cui descrive la resistenza del sistema agli strumenti di humanizzazione e parafrasi.

Mito n. 3: Il sistema di rilevamento dell'IA non è stato sottoposto a revisione tra pari né convalidato dal mondo accademico.

Il lavoro di Pangram non solo è stato sottoposto a revisione tra pari, ma può essere consultato da chiunque in qualsiasi momento.

Pangram è stato recentemente oggetto di attenzione e valutato in diversi studi sottoposti a revisione paritaria. Pangram ha vinto il premio come rilevatore più accurato e affidabile nell'ambito del COLING Shared Task, una competizione che ha visto la partecipazione di diversi rilevatori di IA sia open source che disponibili in commercio.

Pangram è stato recentemente citato in uno studio dell'Università del Maryland che dimostra come sia l'unico rilevatore automatizzato basato sull'intelligenza artificiale in grado di superare le prestazioni di esperti umani addestrati nell'individuazione di testi generati dall'intelligenza artificiale, nonché in un altro articolo di ricerca dell'Università di Houston che dimostra come Pangram sia l'unico rilevatore basato sull'intelligenza artificiale in grado di garantire risultati affidabili anche in caso di traduzione.

Gli studi più datati che vengono comunemente citati, come quello di Weber-Wulff del 2023 e quello di Liang che dimostra come i rilevatori di IA siano distorti nei confronti degli studenti di inglese come seconda lingua (ESL), non includono Pangram nei loro test comparativi. Non solo questi studi sono ormai superati, ma abbiamo dimostrato che Pangram eccelle in questi test, mentre altri rilevatori non lo fanno.

Pangram non teme di essere sottoposta a stress test da parte dei ricercatori, ed è per questo che offre accesso gratuito e illimitato ai ricercatori accademici che desiderano studiare l'accuratezza del suo rilevatore basato sull'intelligenza artificiale.

Mito n. 4: I rilevatori di IA sono imprecisi.

Mi è capitato spesso di ricevere segnalazioni da persone che sostenevano che i loro testi fossero stati identificati come generati dall'intelligenza artificiale, nonostante fossero stati scritti da esseri umani. Purtroppo, credo che in questo caso entrino in gioco diversi fattori.

C'è chi ritiene che i rilevatori di IA siano semplicemente inutili, poiché autori e istituzioni continuano a sostenerlo senza remore e senza fornire alcuna prova. Prendiamo ad esempio questo articolo che sostiene che “A metà del 2024, nessun servizio di rilevamento è stato in grado di identificare in modo conclusivo i contenuti generati dall’IA con una percentuale superiore al caso, e l’Illinois State University non ha alcun rapporto con nessuno di questi servizi.”, il che è un’affermazione inventata dato che anche i peggiori rilevatori di IA riescono comunque a individuare alcuni contenuti generati dall’IA. Pangram vanta un tasso di falsi positivi di 1 su 10.000, perché nel loro sviluppo e nella loro metodologia, che si possono leggere nel loro white paper, questi sono i numeri effettivi di rilevamenti errati che osservano, il che è circa 100 volte meglio del secondo miglior software commerciale disponibile.

Nessun software di rilevamento può essere accurato al 100%. Non è possibile. I rilevatori di IA sono generalmente efficaci; il rilevamento di Pangram è migliore. Nessun rilevamento AI è al 100%. Se si sottoponessero a Pangram (o a qualsiasi altro rilevatore) due testi che si dichiarano scritti da esseri umani, e entrambi venissero segnalati come AI quando in realtà non lo sono, la probabilità statistica che il rilevatore si sbagli è assurdamente inferiore alla probabilità che il testo sia stato effettivamente scritto da un'AI. Questo è il problema che le scuole vogliono risolvere: la sicurezza nell'affermare che qualcosa è stato scritto con l'AI, quando in realtà non lo è stato. Con Pangram, possiamo essere molto più sicuri che un testo sia stato scritto da un'IA rispetto a una persona che sostiene il contrario.

Mito n. 5: I rilevatori di IA non individuano gli strumenti di assistenza alla scrittura come Grammarly

C'è un malinteso secondo cui gli strumenti di assistenza basati sull'IA generativa, come Grammarly, non verrebbero rilevati. Forse questo è vero con altri sistemi di rilevamento, ma Pangram è in grado di individuare una quantità significativa di assistenza fornita dall'IA generativa nella scrittura. Ciò significa che, sì, il saggio che hai scritto è opera tua, ma viene segnalato come generato dall'IA perché hai utilizzato una quantità significativa di IA per "rifinirlo". Lo vedo accadere continuamente con gli studenti.

Grammarly non è più solo un correttore grammaticale. È uno strumento di assistenza basato sull'intelligenza artificiale in grado di riscrivere completamente i saggi degli studenti utilizzando un modello linguistico di grandi dimensioni. Se uno studente utilizza Grammarly in questo modo, per modificare radicalmente la struttura e lo stile del proprio testo originale, Pangram rileverà che il saggio è stato generato dall'intelligenza artificiale.

Ecco perché incoraggio vivamente gli insegnanti ad adottare una politica in materia di IA, come ad esempio il sistema a livelli presente sul sito web di Pangram, in modo che non vi siano malintesi su quali tipi di strumenti di IA siano consentiti nel processo di scrittura e su cosa costituisca una condotta scorretta.

Mito n. 6: I rilevatori di IA causano danni generando false accuse nei confronti di studenti onesti.

I detrattori dei sistemi di rilevamento dell'IA sostengono comunemente che accusare ingiustamente gli studenti di aver fatto ricorso all'IA causi un danno irreparabile alla reputazione dello studente e alla credibilità dell'insegnante.

Tuttavia, il pangramma non è di per sé uno strumento accusatorio.

Nella maggior parte dei casi, secondo la mia esperienza, quando si rileva l’uso dell’IA in un elaborato scritto di uno studente, si tratta probabilmente di un malinteso, o semplicemente di uno studente ben intenzionato che si è lasciato sopraffare dalla pressione delle scadenze. Una semplice conversazione tra un insegnante e uno studente non deve necessariamente assumere un tono conflittuale. Riteniamo che gli insegnanti dovrebbero cogliere l'occasione per comprendere il processo di scrittura dello studente: chiedere allo studente quanto bene comprenda il materiale di base, esaminare la cronologia delle revisioni per farsi un'idea di come il documento sia stato redatto e chiedere allo studente di spiegare se e come abbia utilizzato l'assistenza dell'IA nel processo di editing, invece di giungere immediatamente alla conclusione che lo studente intendesse imbrogliare.

Pangram paragona spesso i rilevatori di IA ai metal detector: quando un metal detector suona, non si viene arrestati immediatamente. Piuttosto, un risultato positivo è un motivo per avviare un ulteriore dialogo e comprendere meglio cosa sta realmente accadendo.

Conclusione

È importante – come per qualsiasi strumento – che gli insegnanti comprendano sia i punti di forza che i limiti dei sistemi di rilevamento basati sull'intelligenza artificiale.

Sebbene sistemi come Pangram siano estremamente precisi nell'individuare i testi generati dall'intelligenza artificiale, capita comunque, seppur raramente, che si verifichino degli errori.

Ecco perché è fondamentale che gli insegnanti stabiliscano linee guida, regole e limiti chiari nelle loro classi riguardo al tipo di assistenza fornita dall’IA che è consentita, e perché i risultati positivi rilevati da Pangram debbano essere presi sul serio; tuttavia, il dialogo sull’uso dell’IA dovrebbe essere affrontato con empatia e curiosità. Un risultato positivo rilevato da Pangram non dovrebbe mai essere utilizzato isolatamente per punire o accusare uno studente di comportamento scorretto in ambito accademico senza una comprensione più approfondita del suo processo di scrittura.

Vuoi approfondire l'argomento? Jason sarà lieto di parlare con te e di fornirti ulteriori consigli su come definire una politica sull'intelligenza artificiale per la tua classe. Puoi contattarlo all'indirizzo jason@pangram.com.