Pangram 3.0: quantificare l'entità della modifica dell'IA nel testo

*Nota: il nostro nuovo modello, Pangram 3.0, si basa sulla nostra ricerca pubblicata: EditLens: Quantifying the Extent of AI Editing in Text(EditLens: quantificare l'estensione dell'editing AI nel testo).

La rapida diffusione di modelli linguistici di grandi dimensioni (LLM) come ChatGPT, Claude e Gemini ha trasformato il modo in cui scriviamo, revisioniamo e interagiamo con il testo. Un recente studio di OpenAI ha rilevato che due terzi di tutte le richieste relative alla scrittura inviate a ChatGPT chiedono al modello di modificare il testo fornito dall'utente piuttosto che generare testo da zero. Gli utenti chiedono sempre più spesso ai modelli di migliorare la grammatica, ristrutturare gli argomenti o modificare il tono, partendo da una bozza scritta da un essere umano.

Cosa significa l'aumento dei testi redatti da esseri umani ma modificati dall'IA per gli strumenti di rilevamento dell'IA? Molti strumenti esistenti sono progettati per classificare il testo in un massimo di tre categorie: completamente umano, completamente IA o misto. Questo quadro non distingue tra un paragrafo con correzioni grammaticali apportate da un LLM e un paragrafo ampliato da un modello per aggiungere dettagli.

Per catturare appieno lo spettro delle modifiche apportate dall'IA al testo, introduciamo Pangram 3.0, un modello progettato per quantificare l'entità del coinvolgimento dell'IA nella creazione di un testo. Anziché restituire una categorizzazione tra completamente umano, completamente IA o misto, Pangram genera un punteggio corrispondente alla "forza" dell'intervento dell'IA.

Autorialità mista omogenea vs eterogenea

Pangram 3.0 affronta il caso di quelli che chiameremo testi a paternità mista omogenea. Analizziamo la differenza tra paternità mista omogenea ed eterogenea.

Nel caso eterogeneo, la paternità di ogni segmento di testo può essere attribuita direttamente a un essere umano o all'IA. Nell'esempio riportato di seguito, un essere umano inizia a scrivere una recensione e poi chiede a ChatGPT di aggiungervi qualcosa. In casi come questo, esistono uno o più confini tra i segmenti scritti dall'essere umano e quelli scritti dall'IA. È possibile etichettare ogni frase o anche ogni parola in base a chi l'ha prodotta: un essere umano o l'IA. Il rilevamento di testi misti eterogenei (chiamato anche rilevamento di testi IA a grana fine) è stato precedentemente studiato da Kushnareva et al. (2024), Wang et al. (2023) e Lei et al. (2025).

Nel caso omogeneo, la paternità dell'opera è intrecciata al processo di editing. Continuando con il nostro esempio della recensione del ristorante, si otterrebbe un testo misto omogeneo se un essere umano scrivesse una breve recensione, ma chiedesse a ChatGPT di aggiungere dei dettagli. In questo caso, è impossibile separare le parole scritte dall'autore umano da quelle scritte dall'IA: l'IA ha riformulato il testo umano con nuove parole, ma il significato e le idee alla base del testo provengono direttamente dalla bozza umana (si pensi al caso in cui un autore umano parafrasi un altro senza citarlo: questo è un classico caso di plagio!).

Figura 2: Esempio di testo eterogeneo scritto da autori umani e IA (a sinistra) e testo omogeneo scritto da autori misti (a destra)

Ciascuno dei tre testi modificati nella Figura 1 è un esempio di caso di paternità mista omogenea. Da questi tre esempi, possiamo vedere che c'è una chiara differenza tra il testo prodotto dal prompt "Correggi eventuali errori" e il testo prodotto dal prompt "Rendilo più descrittivo". Questa differenza è particolarmente evidente quando si confrontano i testi di output con il testo originale scritto da un essere umano, ma con Pangram 3.0 facciamo un passo avanti verso la quantificazione di tale differenza quando abbiamo solo il testo modificato, in modo che gli utenti possano comprendere meglio quanto sia pervasiva l'IA in un dato testo.

Creazione di un set di dati modificato dall'intelligenza artificiale

Per addestrare un modello in grado di determinare la quantità di editing AI presente in un testo, abbiamo dovuto creare un set di dati di addestramento composto da testi modificati dall'AI etichettati con la quantità di editing AI presente in ciascun testo. Abbiamo campionato testi originali scritti interamente da esseri umani provenienti da set di dati open source in diversi ambiti: notizie, recensioni, articoli web educativi e prompt di scrittura Reddit. Abbiamo quindi applicato 303 diversi prompt di modifica, come "Rendi questo testo più descrittivo" o "Puoi aiutarmi a ottenere un voto migliore per il mio saggio?", utilizzando 3 diversi LLM commerciali: GPT-4.1, Claude Sonnet 4 e Gemini 2.5 Flash. Infine, abbiamo generato una versione completamente generata dall'IA (chiamata anche "specchio sintetico", vedi il rapporto tecnico Pangram) di ogni testo scritto da esseri umani. Il nostro set di dati finale contiene 60.000 esempi di addestramento, 6.000 di test e 2.400 di validazione.

Come determiniamo il grado di modifica di un testo da parte dell'IA?

Poiché abbiamo accesso al testo originale non modificato durante la creazione del set di dati, siamo stati in grado di misurare la quantità di modifiche apportate dall'IA nel testo confrontando il testo originale e la sua versione modificata dall'IA. Abbiamo utilizzato una metrica di similarità testuale chiamata distanza coseno per stimare quanto l'IA abbia modificato il testo originale scritto da esseri umani su una scala da 0 a 1, assegnando un punteggio di 0 ai testi scritti interamente da esseri umani e un punteggio di 1 ai testi generati interamente dall'IA. Per verificare che questo punteggio corrispondesse al modo in cui gli esseri umani percepiscono la modifica da parte dell'IA, abbiamo condotto uno studio in cui abbiamo assunto 3 esperti con una vasta esperienza nel campo dei testi generati dall'IA e abbiamo chiesto loro di scegliere quale dei due testi modificati dall'IA fosse stato modificato in misura maggiore dall'IA. Il nostro studio ha rivelato che gli annotatori erano generalmente d'accordo con la nostra scelta della metrica di similarità testuale.

Addestramento di un modello per prevedere le modifiche apportate dall'intelligenza artificiale

Una volta ottenuto il nostro set di dati etichettato, era giunto il momento di addestrare un modello. Il nostro modello è addestrato solo sui testi modificati dall'IA, il che riflette il modo in cui un utente utilizzerebbe Pangram 3.0: un insegnante interessato a quanto i propri studenti hanno utilizzato l'IA avrà a disposizione solo il lavoro consegnato dallo studente, senza alcuna bozza precedente. Dato un testo, il nostro modello è addestrato a prevedere il punteggio di modifica IA che gli abbiamo assegnato nella sezione precedente. La figura 3 illustra gli input e gli output del nostro modello sia in fase di addestramento che di test.

Rilevamento dell'assistenza AI nella pratica

Ecco un paragrafo scritto da una persona sull'autore Kazuo Ishiguro:

Leggere le opere dello scrittore britannico Kazuo Ishiguro significa provare frustrazione a molti livelli diversi. Il genio della scrittura frustrante di Ishiguro sta nel fatto che, indipendentemente dal livello di coinvolgimento emotivo del lettore nei personaggi e nella trama, la frustrazione è sempre presente. A livello linguistico, il lettore trova ripetizioni, prolissità e un uso abbondante di aggettivi qualificativi. Ishiguro mi ha condizionato ad avere una reazione fisica avversa ogni volta che uno dei suoi personaggi dice qualcosa del tipo "Sarò breve". I narratori sono tutti impiegati, ma nessuno di loro è un narratore professionista. Le informazioni vengono diffuse lentamente, in modo impreciso e in ordine cronologico. Questo priva il lettore di fatti concreti che facilitano la comprensione della trama.

Ecco come Pangram 3.0 caratterizza le versioni modificate dall'IA di questo paragrafo da ChatGPT dopo aver applicato diversi prompt:

Caso di studio Grammarly

Grammarly è un assistente di scrittura basato su intelligenza artificiale disponibile su abbonamento che consente agli utenti di modificare direttamente il testo utilizzando modelli di linguaggio grandi (LLM) all'interno del proprio elaboratore di testi nativo. Abbiamo raccolto un set di dati in cui abbiamo utilizzato Grammarly per applicare 9 dei suggerimenti di modifica predefiniti a 197 testi scritti da esseri umani. Questi includevano suggerimenti come "Semplifica", "Rendi fluido" e "Rendi più descrittivo". Abbiamo quindi valutato tutti i testi modificati utilizzando Pangram 3.0. Nella Figura 4, presentiamo le distribuzioni dei punteggi dell'assistenza AI raggruppati per suggerimento di modifica. Possiamo vedere che, forse in modo controintuitivo, Pangram 3.0 considera "Correggi eventuali errori" la modifica più minore, mentre "Riassumi" e "Rendilo più dettagliato" sono considerate modifiche molto più invasive.

Figura 4: Distribuzione dei punteggi Pangram 3.0 (EditLens) su un set di dati raccolti da Grammarly. I punteggi sono raggruppati in base alla modifica applicata. Tutte le modifiche sono opzioni predefinite disponibili nel processore di testi di Grammarly.

Il punteggio di assistenza AI aumenta man mano che si applicano più modifiche AI.

Abbiamo condotto un esperimento in cui abbiamo applicato 5 modifiche LLM allo stesso testo e abbiamo rivalutato il testo con Pangram 3.0 dopo ogni modifica. Nella Figura 5, possiamo vedere che, in generale, il punteggio di assistenza AI (EditLens) aumenta man mano che applichiamo ogni modifica progressiva.

Figura 5: Punteggi Pangram 3.0 dopo ciascuna delle 5 modifiche progressive dell'IA sullo stesso documento.

Conferenza internazionale sulle rappresentazioni dell'apprendimento (ICLR) Caso di studio

A novembre, i ricercatori nel campo dell'intelligenza artificiale hanno espresso preoccupazione per l'elevata percentuale di contributi e revisioni tra pari sospettati di essere stati generati dall'intelligenza artificiale alla Conferenza internazionale sulle rappresentazioni dell'apprendimento (ICLR), uno dei principali convegni dedicati all'intelligenza artificiale e all'apprendimento automatico. Il professor Graham Neubig della Carnegie Mellon University ha offerto una ricompensa a chiunque avesse eseguito un controllo di rilevamento dell'intelligenza artificiale sui contributi e sulle revisioni presentati all'ICLR di quest'anno, e noi di Pangram abbiamo accettato con piacere.

Nell'ambito di questa analisi, abbiamo eseguito Pangram 3.0 su tutte le revisioni tra pari che erano state inviate all'ICLR in questo ciclo di revisione, nonché sulle revisioni inviate nel 2022 per verificare il nostro tasso di falsi positivi (FPR). Sulle revisioni del 2022, Pangram 3.0 ha registrato un FPR di circa 1 su 1.000 su "Leggermente modificato" rispetto a "Completamente umano", un FPR di 1 su 5.000 su "Moderatamente modificato" rispetto a "Completamente umano" e un FPR di 1 su 10.000 su "Pesantemente modificato" rispetto a "Completamente umano". Non abbiamo riscontrato alcuna confusione tra Fully AI-generated e Fully Human. Nelle recensioni di quest'anno, Pangram 3.0 ha rilevato che oltre la metà delle recensioni conteneva una qualche forma di assistenza AI. La figura 6 mostra la distribuzione dei punteggi di Pangram 3.0 su tutte le 2026 recensioni ICLR.

Figura 6: Distribuzione delle previsioni di Pangram 3.0 sulle recensioni ICLR del 2026

Per approfondire la nostra metodologia e i nostri risultati, consulta il post sul blog che abbiamo scritto sulla nostra analisi.

In che modo Pangram 3.0 gestisce i testi scritti con l'ausilio dell'intelligenza artificiale da persone che non sono madrelingua inglese?

Abbiamo pubblicato i risultati della nostra analisi e i punteggi Pangram 3.0 per tutte le recensioni, consentendo ai recensori di verificare il punteggio assegnato da Pangram 3.0 alle recensioni da loro scritte. Di conseguenza, abbiamo potuto ricevere feedback aneddotici sulle prestazioni di Pangram 3.0 su testi reali.

Un tema ricorrente nelle risposte su X alla nostra analisi era la questione di come AI Assistance valuta i testi scritti da persone non madrelingua inglese che poi utilizzano LLM per tradurre o perfezionare i loro testi scritti a mano. Di seguito riportiamo alcune risposte dei revisori, che in generale concordavano con la caratterizzazione data da Pangram delle loro recensioni:

Ho controllato le mie recensioni che sono state ottimizzate in inglese dagli LLM e le ho contrassegnate tutte come "nessuna IA rilevata / interamente scritte da esseri umani".

— Ana Marasović (@anmarasovic) 15 novembre 2025

Controllo le mie recensioni. Il risultato è 2 moderate modificate dall'IA, 2 pesantemente e 1 leggermente. Poiché ho scritto la recensione in cinese e gpt mi aiuta a tradurla in inglese. Non è un risultato sorprendente. Ma penso di essere un recensore responsabile :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16 novembre 2025

Ora ci fidiamo più dell'IA per rilevare i contenuti generati dall'IA che dei contenuti generati dall'IA stessi, ahah.
Per essere chiari, ho pieno rispetto per le persone che si sono impegnate per rendere possibile questa analisi.

Dalla mia esperienza personale: ho un contributo in cui tutte e quattro le recensioni... https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17 novembre 2025

Siamo lieti di condividere con voi questo aggiornamento del prodotto. Per ulteriori dettagli tecnici sul rilevamento dell'assistenza AI di Pangram 3.0 (EditLens), consultate il nostro documento di ricerca qui: https://arxiv.org/abs/2510.03154