Lo stato dell'integrità accademica e del rilevamento tramite IA nel 2025

Bradley Emi, direttore tecnico di Pangram Labs, ha tenuto una sessione sullo stato dell'arte del rilevamento dell'IA alla conferenza ICAI.

Gli studenti utilizzano ChatGPT, ma spesso ne fanno un uso improprio. La maggior parte di loro ricorre regolarmente agli strumenti di intelligenza artificiale e ritiene che questi possano migliorare i propri risultati. Anche in presenza di politiche chiare che ne vietano l'uso, è probabile che gli studenti continuino a utilizzarli.

Contrariamente a quanto si crede comunemente: l'intelligenza artificiale può essere individuata. Il linguaggio, lo stile e le scelte semantiche possono essere riconosciuti sia dagli esseri umani che dai software automatizzati (previa adeguata formazione).

Perché l'IA ha quel suono?

I modelli di linguaggio di grandi dimensioni (LLM) sono distribuzioni di probabilità che apprendono attraverso grandi quantità di dati. NON rappresentano la media di tutti i testi scritti dall'uomo. Ciò è dovuto al modo in cui i modelli vengono addestrati.

I modelli vengono addestrati in tre fasi: pre-addestramento, ottimizzazione dell'addestramento e allineamento.

Nella fase di pre-addestramento, il modello analizza i modelli statistici ricavati da un ampio set di dati. Il set di dati di addestramento contiene dei pregiudizi che si riflettono nei modelli statistici. Ad esempio, i dati che compaiono frequentemente su Internet sono sovrarappresentati. In un articolo del Guardian, Alex Hern spiega come i lavoratori in Kenya e Nigeria siano stati sfruttati per fornire dati di addestramento a OpenAI. Le parole che questi lavoratori usavano frequentemente, come "delve" e "tapestry", sono le stesse che compaiono spesso nei testi generati dall'IA.

Nell'Instruction Tuning, il modello viene addestrato a rispondere a dei prompt. Il modello impara che è meglio seguire le istruzioni piuttosto che fornire informazioni accurate e corrette. Anche quando vengono implementati filtri di sicurezza, la disinformazione continua ad affliggere la scrittura generata dall'IA, poiché questa cerca di soddisfare l'utente.

Durante l'allineamento, il modello apprende la differenza tra risposte corrette e errate alle richieste. I dati relativi alle preferenze possono essere estremamente distorti, poiché si basano sui punti di vista di chi addestra il modello e non necessariamente sui fatti.

Abbiamo fornito un elenco delle parole e delle espressioni più comuni utilizzate nella scrittura generata dall'intelligenza artificiale. Queste derivano dai pregiudizi introdotti nella fase di pre-addestramento.

L'IA è nota per il suo linguaggio e la sua formattazione altamente strutturati. Le frasi di transizione, gli elenchi puntati e uno stile di scrittura ordinato sono elementi ricorrenti nei testi generati dall'IA a causa della fase di allineamento.

I testi generati dall'IA risultano spesso formali perché i testi formali sono sovrarappresentati su Internet e, di conseguenza, anche nei set di dati utilizzati per l'addestramento dell'IA. La positività e l'utilità vengono rafforzate durante la fase di allineamento.

Nota: Pangram non prevede l'uso dell'IA solo perché un testo contiene termini e formattazioni tipici dell'IA.

Gli umanisti nel mondo accademico

Abbiamo esaminato 19 diversi strumenti di humanizzazione e ne abbiamo creato uno nostro. Abbiamo scoperto che gli strumenti di humanizzazione basati sull'IA preservano il significato originale in misura variabile (da lievi modifiche a testi incomprensibili). Alcuni strumenti di humanizzazione sono efficaci nel parafrasare, ma non riescono a eludere il rilevamento. Più il testo umanizzato risulta fluido, meno è probabile che riesca a eludere il rilevamento. Gli humanizer sono in grado di rimuovere la filigrana SynthID di Google (utilizzata per contrassegnare il testo generato da Gemini).

Rilevamento automatico e manuale tramite IA

La prima generazione di strumenti di rilevamento dell'IA e i loro limiti hanno influenzato l'opinione che il grande pubblico ha di tali strumenti. Questi strumenti si basavano su correlazioni con l'uso dell'IA piuttosto che su segnali causali. Dichiaravano un'accuratezza del 99%, il che li rende inadatti all'uso accademico.

Questa nuova generazione di strumenti di rilevamento vanta un'accuratezza superiore al 99,9% e tassi di falsi positivi (FPR) estremamente bassi! Inoltre, sono in grado di resistere efficacemente ai programmi di parafrasi e di umanizzazione.

Tuttavia, i rilevatori di IA non sono tutti uguali! Esistono diversi livelli di precisione a causa dei diversi metodi utilizzati per addestrare i rilevatori.

Pangram, TurnItIn e Ghostbusters utilizzano un sistema di rilevamento basato sull'apprendimento. In questo tipo di rilevamento, il modello viene addestrato imparando a distinguere, sulla base di un ampio campione, ciò che è generato dall'intelligenza artificiale da ciò che non lo è. Mentre il

Gli esperti umani che hanno esperienza nell'uso dei modelli di linguaggio di grandi dimensioni (LLM) per attività di scrittura sono in grado di individuare i testi generati dall'IA con un'accuratezza del 92%. I linguisti non sono riusciti a raggiungere lo stesso livello di accuratezza senza aver acquisito esperienza nell'uso di strumenti come ChatGPT. I valutatori umani sono in grado di spiegare in dettaglio perché hanno scelto una determinata previsione riguardo al testo. Sebbene Pangram presenti un'accuratezza e tassi di falsi positivi più elevati, non è in grado di contestualizzare il testo.

Creare un processo equo per garantire l'integrità accademica nell'ambito dell'intelligenza artificiale

Nel definire politiche o standard relativi all'uso dell'IA, è fondamentale garantire una comunicazione chiara. L'IA può essere utilizzata per redigere schemi, generare idee, correggere errori grammaticali, effettuare ricerche, stendere bozze o svolgere compiti di scrittura più articolati. È necessario stabilire linee guida precise sui livelli di utilizzo dell'IA consentiti e non consentiti. Per trarne ispirazione, è possibile consultare le politiche universitarie sull'IA presenti nella directory di Gradpilot, che raccoglie oltre 170 atenei.

Studenti e insegnanti devono comprendere come gli strumenti più diffusi si stiano evolvendo grazie all'intelligenza artificiale. La funzione "Aiutami a scrivere" di Google Docs ottiene i propri risultati da Gemini. Grammarly attualmente include funzionalità di generazione e parafrasi basate sull'intelligenza artificiale. Gli strumenti di traduzione potrebbero avvalersi di modelli di linguaggio (LLM) per funzionare. Anche l'utilizzo di brani tratti da ricerche o sessioni di brainstorming generati dall'intelligenza artificiale fa scattare il sistema di rilevamento.

Raccomandiamo di ricorrere sia al giudizio umano che al rilevamento automatico. È estremamente ingiusto nei confronti dello studente affidarsi esclusivamente al rilevamento tramite IA per valutare il suo lavoro, a causa del tasso di falsi positivi (FPR) dello 0,01%. Dopo aver ricevuto un risultato positivo, i passi successivi dovrebbero consistere nel valutare il processo di scrittura dello studente e nel confrontare il testo segnalato con i suoi lavori precedenti. Assicuratevi di testare il sistema di rilevamento con alcuni testi e di tenere conto dei risultati che potreste ottenere utilizzando un modello di linguaggio di grandi dimensioni (LLM) per il compito assegnato.

Se diventa sempre più evidente che uno studente ha consegnato un compito redatto dall'intelligenza artificiale, questa può rappresentare un'occasione per imparare. È importante trattare gli studenti con rispetto ed evitare di essere eccessivamente severi. Gli studenti potrebbero trarre beneficio dal rifare il compito e dal discutere insieme sui motivi che li hanno portati a ricorrere all'intelligenza artificiale.

Per ulteriori informazioni su questo articolo, guarda il webinar completo: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.