Miti e idee sbagliate sul rilevamento dell'IA

Jason è insegnante di inglese e filosofia alla New Roads School di Los Angeles.

Introduzione

Spesso mi viene chiesto cosa possono e non possono fare i rilevatori di IA. Oggi esploreremo alcuni dei miti e delle idee sbagliate più comuni sul rilevamento dell'IA. Cominciamo!

Mito 1: invece di utilizzare il rilevamento dell'IA, dovremmo incorporare l'IA nel nostro insegnamento e insegnare agli studenti come utilizzarla.

Dovremmo integrare l'IA nel nostro insegnamento e insegnare agli studenti come utilizzarla! Tuttavia, integrare l'IA invece di utilizzare il rilevamento dell'IA significa contrapporre due idee che in realtà non sono in conflitto tra loro. Il rilevamento dell'IA è un prerequisito necessario per la sua integrazione, al fine di porre dei limiti ragionevoli alla tecnologia e garantire che venga utilizzata in modo assistivo, piuttosto che abusivo.

Quando emerge una nuova tecnologia e viene suggerita una restrizione, si verifica un certo errore luddista: in questo caso, l'idea che "il rilevamento equivalga alla deterrenza", che è falsa.

In pratica, è vero il contrario. Coloro che cercano strumenti efficaci per il rilevamento dell'IA sono solitamente quelli che desiderano maggiormente utilizzare l'IA nelle loro classi. Vogliono utilizzare gli strumenti, ma non vogliono che questi vengano utilizzati in modo improprio. D'altra parte, ci sono coloro che sono così entusiasti del futuro dell'IA che desiderano utilizzare gli strumenti di IA senza alcuna restrizione nelle loro classi, con l'idea che "questo è il futuro". Non accettano alcuna restrizione. Ci sono poi coloro che detestano l'IA e sono i tipi da "carta e penna". Si tratta di individui o scuole che hanno deciso che l'unico approccio valido all'IA è quello di non averne alcuna. Non c'è bisogno di rilevamento quando la classe torna ai tempi pre-informatizzati. La verità, tuttavia, è che coloro che cercano il rilevamento dell'IA sono solitamente quelli più interessati a massimizzare l'uso dell'IA per l'apprendimento in classe. Vogliono evitare determinanti inutili mentre sperimentano ed espandono la loro arte con l'IA. Questo ci sembra l'approccio giusto.

Mito 2: i rilevatori di IA sono scatole nere che non rivelano la loro metodologia e quindi non sono affidabili.

Mentre è vero che altri rilevatori di IA non sono trasparenti sui loro metodi, Pangram ha condiviso apertamente la sua metodologia. Pangram è trasparente sui propri metodi perché ritiene importante conquistare la fiducia della comunità scientifica e mostrare prove concrete dell'accuratezza del software. Pangram fornisce una dimostrazione interattiva e animata della propria metodologia sul proprio sito web.

Pangram pubblica anche alcune delle sue innovazioni tecniche in conferenze e riviste dedicate all'intelligenza artificiale. Ad esempio, ha recentemente presentato alla conferenza COLING un lavoro che descrive la robustezza del sistema nei confronti di umanizzatori e parafrasatori.

Mito 3: il rilevamento dell'IA non è stato sottoposto a revisione paritaria né convalidato dal mondo accademico.

Il lavoro di Pangram non solo è stato sottoposto a revisione paritaria, ma può essere revisionato da chiunque in qualsiasi momento.

Pangram è stato recentemente citato e valutato in diversi lavori sottoposti a revisione paritaria. Pangram ha vinto il premio come rilevatore più accurato e robusto nel COLING Shared Task, una competizione che ha visto la partecipazione di diversi rilevatori AI open source e disponibili in commercio.

Pangram è stato recentemente citato anche in una ricerca dell'Università del Maryland che dimostra come sia l'unico rilevatore automatico di IA in grado di superare le prestazioni di esperti umani qualificati nel rilevare testi generati dall'intelligenza artificiale, e in un altro articolo di ricerca dell'Università di Houston che dimostra come Pangram sia l'unico rilevatore di IA resistente alla traduzione.

Gli studi di ricerca più datati comunemente citati, come quello di Weber-Wulff del 2023 e quello di Liang che dimostra che i rilevatori di IA sono prevenuti nei confronti dell'ESL, non prendono come riferimento Pangram. Non solo questi studi sono obsoleti, ma abbiamo dimostrato che Pangram eccelle in questi benchmark, mentre altri rilevatori non lo fanno.

Pangram non teme di essere sottoposto a stress test da parte dei ricercatori, ed è per questo che offre accesso gratuito illimitato ai ricercatori accademici che desiderano studiare l'accuratezza del rilevatore di IA di Pangram.

Mito 4: i rilevatori di IA sono imprecisi.

Spesso sono stato contattato da persone che sostenevano che il loro lavoro fosse stato segnalato come AI quando invece era stato scritto da esseri umani. Purtroppo, credo che qui siano in gioco diversi fattori.

Ci sono persone che credono che i rilevatori di IA non siano efficaci, perché autori e istituzioni continuano a sostenerlo senza prove. Prendiamo ad esempio questoarticolo che afferma che "A metà del 2024, nessun servizio di rilevamento è stato in grado di identificare in modo conclusivo i contenuti generati dall'intelligenza artificiale con una percentuale superiore al caso, e l'Illinois State University non ha alcun rapporto con nessuno di questi servizi", il che è un'affermazione inventata, dato che anche i peggiori rilevatori di IA riescono comunque a individuare alcuni contenuti generati dall'intelligenza artificiale. Pangram vanta un tasso di falsi positivi di 1/10.000, perché nel loro sviluppo e nella loro metodologia, che può essere letta nel loro white paper, questi sono i numeri effettivi di rilevamenti errati che vedono, che sono circa 100 volte migliori rispetto al secondo miglior software commerciale disponibile.

Nessun software di rilevamento può essere accurato al 100%. Ciò non è possibile. I rilevatori di IA sono generalmente efficaci; il rilevamento Pangram è migliore. Nessun rilevamento AI è accurato al 100%. Se si sottoponessero due testi che si dichiarano scritti da esseri umani al Pangram (o a qualsiasi altro rilevatore) e entrambi venissero segnalati come AI quando in realtà non lo sono, la probabilità statistica che il rilevatore sia in errore è assurdamente inferiore alla probabilità che il testo sia stato effettivamente scritto da un'intelligenza artificiale. Questo è il problema che le scuole vogliono risolvere: la sicurezza nell'affermare che qualcosa è stato scritto con l'AI, quando in realtà non lo è. Con Pangram, possiamo essere molto più sicuri che un testo sia stato scritto dall'IA rispetto a una persona che sostiene il contrario.

Mito 5: i rilevatori di IA non rilevano strumenti di assistenza alla scrittura come Grammarly

C'è un malinteso secondo cui gli strumenti di assistenza generativa basati sull'intelligenza artificiale, come Grammarly, non vengono rilevati. Forse questo è vero con altri rilevatori, ma Pangram è in grado di rilevare una quantità sufficiente di assistenza generativa basata sull'intelligenza artificiale nella scrittura. Ciò significa che, sì, il documento che hai scritto è tuo, ma viene segnalato come AI perché hai utilizzato una quantità significativa di intelligenza artificiale per "pulirlo". Lo vedo continuamente con gli studenti.

Grammarly non è più solo un correttore grammaticale. È uno strumento di assistenza AI completo che riscrive completamente i saggi degli studenti utilizzando un ampio modello linguistico. Se uno studente utilizza Grammarly in questo modo, per modificare radicalmente la composizione e lo stile del proprio scritto originale, Pangram rileverà che il saggio è stato generato dall'intelligenza artificiale.

Per questo motivo incoraggio vivamente gli insegnanti ad adottare una politica sull'IA, come il sistema a livelli presente sul sito web di Pangram, in modo che non vi siano malintesi su quali tipi di strumenti di IA siano consentiti nel processo di scrittura e cosa costituisca una condotta scorretta.

Mito 6: i rilevatori di IA causano danni creando false accuse contro studenti onesti.

I detrattori del rilevamento dell'IA sostengono comunemente che accusare falsamente gli studenti di utilizzare l'IA causi danni irreparabili alla reputazione dello studente e alla credibilità dell'insegnante.

Tuttavia, Pangram non è uno strumento accusatorio di per sé.

Nella maggior parte dei casi, secondo la mia esperienza, un rilevamento positivo dell'IA nella scrittura di uno studente è probabilmente un malinteso, o semplicemente uno studente ben intenzionato che è stato sopraffatto dalla pressione della scadenza. Una semplice conversazione tra un insegnante e uno studente non deve necessariamente essere di natura conflittuale. Riteniamo che gli insegnanti dovrebbero cogliere l'occasione per comprendere il processo di scrittura dello studente: chiedere allo studente quanto bene comprenda il materiale di base, esaminare la cronologia delle revisioni dello studente per farsi un'idea di come è stato redatto il documento e chiedere allo studente di spiegare se e come ha utilizzato l'assistenza dell'IA nel processo di editing, invece di saltare immediatamente alla conclusione che lo studente avesse intenzione di imbrogliare.

Pangram spesso paragona i rilevatori di IA ai metal detector: quando un metal detector suona, non si viene immediatamente arrestati. Piuttosto, un rilevamento positivo è un motivo per avviare un'ulteriore conversazione e ottenere una comprensione più approfondita di ciò che sta realmente accadendo.

Conclusione

È importante, come per qualsiasi strumento, che gli insegnanti comprendano sia i punti di forza che i limiti del rilevamento dell'IA.

Sebbene sistemi come Pangram siano estremamente accurati nel rilevare i testi generati dall'intelligenza artificiale, raramente si verificano errori.

Ecco perché è fondamentale che gli insegnanti stabiliscano linee guida, politiche e limiti chiari nelle loro classi riguardo al tipo di assistenza AI consentita e perché i rilevamenti positivi di Pangram dovrebbero essere presi sul serio, ma le conversazioni sull'uso dell'AI dovrebbero essere affrontate con empatia e curiosità. Un rilevamento positivo di Pangram non dovrebbe mai essere utilizzato isolatamente per punire o accusare uno studente di cattiva condotta accademica senza una comprensione più approfondita del processo di scrittura dello studente.

Vuoi continuare la conversazione? Jason è disponibile a parlare con te e fornirti ulteriori indicazioni su come definire una politica sull'IA per la tua classe. Puoi contattarlo all'indirizzo jason@pangram.com.