Pangram 3.0: quantificare la portata della revisione dei testi da parte dell'intelligenza artificiale

*Nota: Il nostro nuovo modello, Pangram 3.0, si basa sulla nostra ricerca pubblicata: EditLens: Quantifying the Extent of AI Editing in Text.

La rapida diffusione dei modelli linguistici di grandi dimensioni (LLM), come ChatGPT, Claude e Gemini, ha trasformato il modo in cui scriviamo, revisioniamo e interagiamo con i testi. Uno studio recente condotto da OpenAI ha rilevato che due terzi di tutte le richieste relative alla scrittura inviate a ChatGPT chiedono al modello di modificare un testo fornito dall'utente piuttosto che di generarne uno ex novo. Gli utenti chiedono sempre più spesso ai modelli di correggere la grammatica, riorganizzare gli argomenti o modificare il tono, partendo da una bozza scritta da un essere umano.

Cosa comporta l'aumento dei testi redatti da esseri umani ma modificati dall'IA per gli strumenti di rilevamento dell'IA? Molti strumenti esistenti sono progettati per classificare i testi in un massimo di tre categorie: interamente redatti da esseri umani, interamente generati dall'IA o misti. Questo schema non distingue tra un paragrafo in cui sono state apportate correzioni grammaticali da un modello di linguaggio (LLM) e un paragrafo ampliato da un modello per aggiungere dettagli.

Per cogliere appieno l'ampiezza delle modifiche apportate dall'IA nei testi, presentiamo Pangram 3.0, un modello progettato per quantificare l'entità del coinvolgimento dell'IA nella creazione di un testo. Anziché fornire una classificazione in "interamente umano", "interamente IA" o "misto", Pangram genera un punteggio che riflette l'"intensità" dell'intervento dell'IA.

Autorialità mista omogenea vs. eterogenea

Pangram 3.0 affronta il caso di quelli che chiameremo «testi a paternità mista omogenea ». Analizziamo la differenza tra paternità mista omogenea ed eterogenea.

Nel caso eterogeneo, la paternità di ciascun segmento di testo può essere attribuita direttamente a un essere umano o all'IA. Nell'esempio riportato di seguito, un essere umano inizia a scrivere una recensione e poi chiede a ChatGPT di completarla. In casi come questo, esistono uno o più confini tra i segmenti scritti dall'uomo e quelli generati dall'IA. Si potrebbe etichettare ogni frase o persino ogni parola in base a chi l'ha prodotta: essere umano o IA. Il rilevamento di testi misti eterogenei (chiamato anche rilevamento di testi IA a grana fine) è stato precedentemente studiato da Kushnareva et al. (2024), Wang et al. (2023) e Lei et al. (2025).

Nel caso omogeneo, la paternità dell'opera si intreccia con il processo di revisione. Riprendendo l'esempio della recensione di un ristorante, si otterrebbe un testo misto omogeneo se un essere umano scrivesse una breve recensione, ma chiedesse a ChatGPT di arricchirla di dettagli. In questo caso, è impossibile distinguere le parole scritte dall'autore umano da quelle scritte dall'IA: l'IA ha riformulato il testo umano con nuove parole, ma il significato e le idee alla base del testo provengono direttamente dalla bozza umana (si consideri un caso in cui un autore umano parafrasi un altro senza citazione: questo è un classico caso di plagio!).

Figura 2: Esempio di testo con paternità mista eterogenea (umana e IA) (a sinistra) e di testo con paternità mista omogenea (a destra)

Ciascuno dei tre testi modificati nella Figura 1 rappresenta un esempio di caso di paternità mista omogenea. Da questi tre esempi si nota una chiara differenza tra il testo generato dal prompt «Correggi eventuali errori» e quello generato dal prompt «Rendilo più descrittivo». Questa differenza è particolarmente evidente quando si confrontano i testi generati con il testo originale scritto da un essere umano, ma con Pangram 3.0 compiamo un passo avanti verso la quantificazione di tale differenza quando disponiamo solo del testo modificato, in modo che gli utenti possano comprendere meglio quanto sia pervasiva l'IA in un dato testo.

Creazione di un set di dati modificato dall'intelligenza artificiale

Per addestrare un modello in grado di determinare la quantità di editing generato dall'IA presente in un testo, abbiamo dovuto creare un set di dati di addestramento composto da testi modificati dall'IA, etichettati con la quantità di editing generato dall'IA presente in ciascuno di essi. Abbiamo selezionato testi di origine interamente scritti da esseri umani da set di dati open source appartenenti a diversi ambiti: notizie, recensioni, articoli web didattici e spunti di scrittura su Reddit. Abbiamo quindi applicato 303 diversi prompt di modifica, come "Rendi questo testo più descrittivo" o "Puoi aiutarmi a ottenere un voto migliore per il mio saggio?", utilizzando 3 diversi modelli di linguaggio (LLM) commerciali: GPT-4.1, Claude Sonnet 4 e Gemini 2.5 Flash. Infine, abbiamo generato una versione interamente generata dall'IA (chiamata anche "specchio sintetico", vedi il Rapporto tecnico Pangram) di ciascun testo scritto da esseri umani. Il nostro dataset finale contiene 60.000 esempi di addestramento, 6.000 di test e 2.400 di validazione.

Come si fa a stabilire in che misura un testo sia stato modificato dall'intelligenza artificiale?

Poiché durante la creazione del set di dati abbiamo accesso al testo sorgente non modificato, siamo stati in grado di misurare la quantità di modifiche apportate dall’IA al testo confrontando il testo sorgente con la sua versione modificata dall’IA. Abbiamo utilizzato una metrica di similarità testuale chiamata «distanza coseno» per stimare in che misura l’IA abbia modificato il testo sorgente scritto da esseri umani su una scala da 0 a 1, in cui ai testi scritti interamente da esseri umani è stato assegnato un punteggio pari a 0, mentre ai testi generati interamente dall’IA è stato assegnato un punteggio pari a 1. Per verificare che questo punteggio corrispondesse alla percezione umana della modifica da parte dell'IA, abbiamo condotto uno studio in cui abbiamo assunto 3 esperti con una vasta esperienza di testi generati dall'IA e abbiamo chiesto loro di scegliere quale dei due testi modificati dall'IA fosse stato modificato in misura maggiore. Il nostro studio ha rivelato che gli annotatori erano generalmente d'accordo con la nostra scelta della metrica di similarità testuale.

Addestrare un modello per prevedere le modifiche apportate dall'IA

Una volta ottenuto il nostro set di dati etichettato, era giunto il momento di addestrare un modello. Il nostro modello è addestrato esclusivamente sui testi modificati dall'IA, il che riflette il modo in cui un utente utilizzerebbe Pangram 3.0: un insegnante interessato a sapere quanto l'IA sia stata utilizzata dal proprio studente avrà a disposizione solo il lavoro consegnato dallo studente, non le bozze precedenti. Dato un testo, il nostro modello è addestrato a prevedere il punteggio di modifica dell'IA che gli abbiamo assegnato nella sezione precedente. La Figura 3 illustra gli input e gli output del nostro modello sia in fase di addestramento che in fase di test.

Il rilevamento dell'assistenza AI nella pratica

Ecco un paragrafo scritto da una persona sull'autore Kazuo Ishiguro:

Leggere le opere dello scrittore britannico Kazuo Ishiguro significa provare frustrazione su molti livelli diversi. Il genio della scrittura frustrante di Ishiguro sta nel fatto che, indipendentemente dal grado di coinvolgimento emotivo del lettore nei personaggi e nella trama, la frustrazione è sempre presente. A livello del linguaggio stesso, il lettore si imbatte in ripetizioni, lungaggini e un uso abbondante di aggettivi qualificativi. Ishiguro mi ha condizionato ad avere una reazione fisica negativa ogni volta che uno dei suoi personaggi dice qualcosa del tipo: «Sarò breve». I narratori sono tutti dei personaggi, ma nessuno di loro è un narratore professionista. Le informazioni vengono diffuse lentamente, in modo impreciso e senza un ordine cronologico. Questo priva il lettore di fatti concreti che facilitino la comprensione della trama.

Ecco come Pangram 3.0 descrive le versioni di questo paragrafo modificate dall'IA tramite ChatGPT dopo aver applicato diversi prompt:

Caso di studio su Grammarly

Grammarly è un assistente di scrittura basato sull'intelligenza artificiale e disponibile su abbonamento che consente agli utenti di modificare direttamente i testi utilizzando modelli di linguaggio di grandi dimensioni (LLM) all'interno del proprio editor di testi nativo. Abbiamo raccolto un set di dati in cui abbiamo utilizzato Grammarly per applicare 9 dei suggerimenti di modifica predefiniti a 197 testi scritti da esseri umani. Tra questi figuravano suggerimenti quali «Semplifica», «Rendi il testo più scorrevole» e «Rendilo più descrittivo». Abbiamo quindi valutato tutti i testi modificati utilizzando Pangram 3.0. Nella Figura 4, presentiamo le distribuzioni dei punteggi dell'assistenza AI raggruppati per suggerimento di modifica. Possiamo notare che, forse in modo controintuitivo, Pangram 3.0 considera "Correggi eventuali errori" come la modifica più minore, mentre "Riassumi" e "Rendilo più dettagliato" sono considerate modifiche molto più invasive.

Figura 4: Distribuzione dei punteggi di Pangram 3.0 (EditLens) su un set di dati raccolto da Grammarly. I punteggi sono raggruppati in base alla correzione applicata. Tutte le correzioni sono opzioni predefinite disponibili nell'editor di testo di Grammarly.

Il punteggio dell'assistenza AI aumenta man mano che si applicano ulteriori modifiche AI

Abbiamo condotto un esperimento in cui abbiamo applicato 5 modifiche generate da modelli di linguaggio di grandi dimensioni (LLM) allo stesso testo e abbiamo ricalcolato il punteggio del testo con Pangram 3.0 dopo ogni modifica. Nella Figura 5 si può notare che, in generale, il punteggio relativo all'assistenza dell'IA (EditLens) aumenta man mano che si applicano le successive modifiche.

Figura 5: Punteggi di Pangram 3.0 dopo ciascuna delle 5 revisioni progressive effettuate dall'IA sullo stesso documento.

Conferenza internazionale sulle rappresentazioni dell'apprendimento (ICLR) – Caso di studio

A novembre, alcuni ricercatori nel campo dell'intelligenza artificiale hanno espresso preoccupazione per l'elevata percentuale di contributi e revisioni tra pari sospettati di essere stati generati dall'intelligenza artificiale presentati alla Conferenza internazionale sulle rappresentazioni di apprendimento (ICLR), uno dei principali eventi nel campo dell'intelligenza artificiale e dell'apprendimento automatico. Il professore della Carnegie Mellon Graham Neubig ha offerto una ricompensa a chiunque avesse eseguito un test di rilevamento dell'intelligenza artificiale sui contributi e sulle revisioni presentati all'ICLR di quest'anno, e noi di Pangram abbiamo accettato con piacere.

Nell'ambito di questa analisi, abbiamo eseguito Pangram 3.0 su tutte le revisioni tra pari inviate all'ICLR in questo ciclo di revisione, nonché sulle revisioni inviate nel 2022, per verificare il nostro tasso di falsi positivi (FPR). Sulle revisioni del 2022, Pangram 3.0 ha registrato un FPR di circa 1 su 1.000 per "Leggermente modificato" rispetto a "Completamente umano", un FPR di 1 su 5.000 per "Moderatamente modificato" rispetto a "Completamente umano" e un FPR di 1 su 10.000 per "Pesantemente modificato" rispetto a "Completamente umano". Non abbiamo riscontrato alcuna confusione tra "Generato interamente dall'IA" e "Interamente umano". Nelle revisioni di quest'anno, Pangram 3.0 ha rilevato che oltre la metà delle revisioni conteneva una qualche forma di assistenza da parte dell'IA. La Figura 6 mostra la distribuzione dei punteggi di Pangram 3.0 su tutte le 2026 revisioni ICLR.

Figura 6: Distribuzione delle previsioni di Pangram 3.0 nelle recensioni dell'ICLR 2026

Per approfondire la nostra metodologia e i risultati, dai un'occhiata al post sul blog che abbiamo scritto sulla nostra analisi.

In che modo Pangram 3.0 gestisce i testi redatti con l'ausilio dell'intelligenza artificiale da persone che non sono di madrelingua inglese?

Abbiamo pubblicato i risultati della nostra analisi e i punteggi assegnati da Pangram 3.0 a tutte le recensioni, consentendo così ai recensori di verificare come Pangram 3.0 avesse valutato le recensioni da loro scritte. Di conseguenza, abbiamo potuto ricevere un feedback empirico sulle prestazioni di Pangram 3.0 su testi reali.

Un tema ricorrente nelle risposte su X alla nostra analisi è stata la questione di come AI Assistance valuti i testi scritti da persone non madrelingua inglese che poi utilizzano i modelli di linguaggio (LLM) per tradurre o perfezionare i propri testi. Di seguito riportiamo alcune risposte dei revisori, che in generale hanno concordato con la descrizione fornita da Pangram delle loro recensioni:

Ho controllato le mie recensioni, che sono state "migliorate" in inglese dai modelli di linguaggio generativo (LLM), e le ho contrassegnate tutte come "nessuna traccia di IA rilevata" / "scritte interamente da esseri umani"

— Ana Marasović (@anmarasovic) 15 novembre 2025

Ho controllato le mie recensioni. Il risultato è: 2 con modifiche moderate da parte dell'IA, 2 con modifiche significative e 1 con modifiche lievi. Questo perché ho scritto la recensione in cinese e GPT mi ha aiutato a tradurla in inglese. Non è un risultato sorprendente. Ma penso di essere un recensore responsabile :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16 novembre 2025

Ormai ci fidiamo più dell'intelligenza artificiale per individuare i contenuti generati dall'intelligenza artificiale che dei contenuti generati dall'intelligenza artificiale stessi, ahah.
Per essere chiari, nutro il massimo rispetto per le persone che si sono impegnate per rendere possibile questa analisi.

Dalla mia esperienza personale: ho un contributo in cui tutte e quattro le recensioni… https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17 novembre 2025

Siamo lieti di condividere con voi questo aggiornamento sul prodotto. Per ulteriori dettagli tecnici sul sistema di rilevamento dell'assistenza AI di Pangram 3.0 (EditLens), consultate il nostro articolo di ricerca qui: https://arxiv.org/abs/2510.03154