Pangram prevede che il 21% delle recensioni dell'ICLR sia generato dall'intelligenza artificiale

Gli autori utilizzano i modelli di linguaggio di grandi dimensioni (LLM) per scrivere articoli di ricerca sull'IA? I revisori affidano la stesura delle loro recensioni di questi articoli a strumenti di IA generativa? Per scoprirlo, abbiamo analizzato tutti i 19.000 articoli e le 70.000 recensioni della Conferenza Internazionale sulle Rappresentazioni di Apprendimento (ICLR), una delle più importanti e prestigiose sedi di pubblicazione nel campo della ricerca sull'IA. Grazie a OpenReview e al processo di revisione pubblico dell'ICLR, tutti gli articoli e le relative recensioni sono stati resi disponibili online, e questo processo di revisione aperto ha reso possibile questa analisi.

Abbiamo reso tutti i risultati disponibili al pubblico sul sito iclr.pangram.com.

Perché studiare i contributi presentati all'ICLR?

Beh, tanto per cominciare, ci hanno offerto una ricompensa!

Il tweet di Graham Neubig in cui offre una ricompensa per l'analisi dei contributi presentati all'ICLR

A dire il vero, molti autori e revisori dell’ICLR hanno segnalato alcuni casi di palese cattiva condotta scientifica legata all’intelligenza artificiale, come ad esempio un articolo generato da un modello di linguaggio (LLM) con riferimenti bibliografici del tutto inventati, e molti autori che sostengono di aver ricevuto recensioni generate interamente dall’intelligenza artificiale.

Un autore ha persino riferito che un revisore ha posto 40 domande generate dall'intelligenza artificiale durante la revisione tra pari!

Volevamo valutare la portata complessiva del problema: questi casi di comportamento scorretto sono episodi isolati o sono indicativi di una tendenza più ampia? Ecco perché abbiamo accettato l'offerta di Graham!

È consentito l'uso dell'intelligenza artificiale nei contributi presentati all'ICLR e nella revisione tra pari?

L'ICLR ha una politica molto chiara ed esauriente su ciò che è consentito e ciò che non lo è per quanto riguarda l'uso dei modelli di linguaggio di grande portata (LLM) sia negli articoli che nelle recensioni.

Linea guida 1. Qualsiasi utilizzo di un modello di linguaggio artificiale (LLM) deve essere dichiarato, in conformità con le disposizioni del Codice etico secondo cui «tutti i contributi alla ricerca devono essere riconosciuti» e i collaboratori «devono poter contare sul fatto che il loro lavoro venga debitamente riconosciuto».

Linea guida 2. Gli autori e i revisori dell'ICLR sono i responsabili ultimi dei propri contributi, in conformità con il Codice etico secondo cui «i ricercatori non devono avanzare deliberatamente affermazioni false o fuorvianti, inventare o falsificare dati, né travisare i risultati».

L'ICLR ha inoltre pubblicato delle linee guida che gli autori dovrebbero seguire quando utilizzano i modelli di linguaggio di grandi dimensioni (LLM) nei propri articoli e nelle proprie recensioni. In sintesi:

• Gli autori possono avvalersi dei modelli di linguaggio di grandi dimensioni (LLM) come supporto alla stesura dei propri articoli e come assistenti di ricerca, ma sono tenuti a dichiararne l'utilizzo e sono responsabili dell'integrità scientifica dei propri articoli.
• Gli autori possono avvalersi dei modelli di linguaggio di grandi dimensioni (LLM) come supporto per la correzione ortografica e grammaticale nelle loro recensioni, ma l'utilizzo di un LLM per redigere l'intera recensione costituisce potenzialmente una violazione del Codice Etico, sia perché comporta la presentazione di un'opinione o di un punto di vista esterno sull'articolo come se fosse proprio, sia perché viola la riservatezza.

Pertanto, non conduciamo questo studio con l'intento di puntare il dito contro singoli trasgressori, dato che l'uso dei modelli di linguaggio di grandi dimensioni (LLM) è effettivamente consentito sia nella presentazione degli articoli che nel processo di revisione tra pari. Desideriamo invece richiamare l'attenzione sull'entità dell'uso dell'IA negli articoli e nella revisione tra pari, e sottolineare che le recensioni generate interamente dall'IA (che, in effetti, costituiscono probabilmente una violazione del Codice Etico) rappresentano un problema molto più diffuso di quanto molti credano.

Metodologia

Per prima cosa abbiamo scaricato tutti i file PDF dei contributi presentati all'ICLR utilizzando l'API di OpenReview. Abbiamo scaricato anche tutte le note, il che ci ha permesso di estrarre la recensione.

Abbiamo riscontrato che l'uso di un normale parser PDF come PyMuPDF non era sufficiente per gli articoli dell'ICLR, poiché i numeri di riga, le immagini e le tabelle spesso non venivano gestiti correttamente. Pertanto, per estrarre il testo principale dell'articolo, abbiamo utilizzato Mistral OCR per analizzare il testo principale dell'articolo dal PDF come Markdown. Poiché anche l'IA tende a preferire l'output in Markdown, al fine di mitigare i falsi positivi derivanti dalla sola formattazione, abbiamo poi riformattato il Markdown come testo semplice.

Abbiamo quindi applicato il classificatore di testo esteso di Pangram al testo in chiaro analizzato proveniente da questi PDF. La versione estesa del classificatore suddivide innanzitutto il testo in segmenti e applica il modello di rilevamento dell'IA a ciascun segmento singolarmente. Il risultato è una percentuale che indica quanti segmenti sono risultati positivi al testo generato dall'IA; pertanto, il risultato può indicare che un articolo è interamente scritto da esseri umani, interamente generato dall'IA o misto, con alcuni segmenti che risultano positivi e altri negativi.

Abbiamo inoltre analizzato le revisioni tra pari relative all'IA utilizzando il nostro nuovo modello EditLens. EditLens non solo è in grado di rilevare la presenza dell'IA, ma può anche descrivere il grado di coinvolgimento dell'IA nel processo di revisione. EditLens è in grado di prevedere se un testo rientri in una delle cinque categorie seguenti:

• Scritto interamente da esseri umani
• Leggermente modificato con l'AI o con l'ausilio dell'AI
• Modificato o assistito dall'intelligenza artificiale
• Fortemente modificato o assistito dall'intelligenza artificiale
• Generato interamente dall'intelligenza artificiale

EditLens è attualmente disponibile solo per i clienti della nostra versione beta privata, ma sarà accessibile al pubblico all'inizio di dicembre. Ne parleremo più approfonditamente nelle prossime settimane, ma nel nostro preprint di ricerca descriviamo le sue prestazioni come all'avanguardia nella generazione di testi in co-autorialità; inoltre, nei benchmark interni, presenta un'accuratezza simile al nostro modello attuale se valutato come classificatore binario e un tasso di falsi positivi eccezionalmente basso, pari a 1 su 10.000, su testi scritti interamente da esseri umani.

Risultati

Nella nostra precedente analisi degli articoli presentati alle conferenze sull'intelligenza artificiale, abbiamo riscontrato che Pangram presenta un tasso di falsi positivi pari allo 0% su tutti gli articoli ICLR e NeurIPS disponibili pubblicati prima del 2022. Sebbene alcuni di questi articoli facciano effettivamente parte del set di addestramento, non tutti ne fanno parte; riteniamo quindi che le reali prestazioni di Pangram sul set di test siano in realtà molto vicine allo 0%.

E per quanto riguarda le revisioni tra pari? Abbiamo condotto un ulteriore esperimento di controllo negativo, in cui abbiamo applicato il nuovo modello EditLens a tutte le revisioni tra pari del 2022. Abbiamo riscontrato un tasso di errore di circa 1 su 1.000 nel confronto tra "Lightly Edited" e "Fully Human", un tasso di errore di 1 su 5.000 nel confronto tra "Medium Edited" e "Fully Human" e un tasso di errore di 1 su 10.000 nel confronto tra "Heavily Edited" e "Fully Human". Non abbiamo riscontrato alcuna confusione tra "Fully AI-generated" e "Fully Human".

Distribuzione delle previsioni di EditLens sulle recensioni dell'ICLR 2022 (controllo negativo)

Per quanto riguarda l'esperimento vero e proprio, abbiamo eseguito Pangram su tutti gli articoli e le revisioni tra pari. Ecco i risultati principali:

Abbiamo riscontrato che il 21%, ovvero 15.899 recensioni, era stato interamente generato dall'intelligenza artificiale. Abbiamo inoltre riscontrato che oltre la metà delle recensioni presentava un qualche tipo di coinvolgimento dell'intelligenza artificiale, che si trattasse di revisione, assistenza o generazione completa da parte dell'intelligenza artificiale.

Distribuzione delle previsioni di EditLens sulle recensioni dell'ICLR 2026

Gli articoli inviati, invece, sono ancora per lo più redatti da esseri umani (il 61% era redatto prevalentemente da esseri umani). Tuttavia, abbiamo individuato diverse centinaia di articoli generati interamente dall’IA, sebbene sembrino costituire dei casi isolati, e il 9% degli articoli inviati presentava oltre il 50% di contenuti generati dall’IA. Va precisato che alcuni articoli generati interamente dall’IA erano già stati respinti a tavolino e rimossi da OpenReview prima che avessimo modo di effettuare l’analisi.

Distribuzione dei contenuti relativi all'intelligenza artificiale nei contributi presentati all'ICLR 2026

Analisi

Dai risultati sono emerse alcune tendenze interessanti che mettono in luce come l'intelligenza artificiale venga utilizzata sia nella presentazione degli articoli che nelle revisioni tra pari, nonché quali siano gli effetti a valle di tale utilizzo sul processo di revisione stesso.

L'uso dell'intelligenza artificiale negli articoli scientifici è associato a valutazioni più basse

Contrariamente a uno studio precedente, secondo cui i modelli di linguaggio di grandi dimensioni (LLM) tendono spesso a preferire i propri testi a quelli scritti da esseri umani quando vengono utilizzati come valutatori, abbiamo riscontrato l’esatto contrario: maggiore è la presenza di testo generato dall’IA in un contributo, peggiori sono le recensioni.

Punteggi medi delle recensioni in base ai contenuti generati dall'intelligenza artificiale negli articoli

Ciò potrebbe essere dovuto a diverse ragioni. Una di queste è che, più l’IA viene utilizzata in un articolo, meno quest’ultimo risulta ben concepito e realizzato nel complesso. È possibile che, quando l’IA viene impiegata nella scrittura scientifica, venga utilizzata più spesso per alleggerire il carico di lavoro e prendere scorciatoie piuttosto che come strumento di supporto integrativo. Inoltre, il fatto che gli articoli generati interamente dall'IA ricevano punteggi più bassi indica potenzialmente che la ricerca generata dall'IA è ancora di scarsa qualità e non rappresenta (ancora) un vero contributo alla scienza.

Le recensioni basate sull'intelligenza artificiale ottengono punteggi più alti

Punteggi medi delle recensioni in base al livello di coinvolgimento dell'IA

Abbiamo riscontrato che maggiore è la presenza dell’IA in una revisione, più alto è il punteggio assegnato. Ciò è problematico: significa che, anziché riformulare la propria opinione utilizzando l’IA come struttura di riferimento (se così fosse, ci aspetteremmo che il punteggio medio fosse lo stesso sia per le revisioni effettuate dall’IA che per quelle umane), i revisori stanno di fatto affidando all’IA anche il giudizio sull’articolo. Presentare l'opinione dell'LLM come se fosse l'opinione effettiva del revisore è una chiara violazione del Codice Etico. Sappiamo che l'IA tende ad essere adulatoria, il che significa che dice cose che le persone vogliono sentire e che sono gradite, piuttosto che dare un'opinione imparziale: una proprietà del tutto indesiderabile quando applicata alla revisione tra pari! Questo potrebbe spiegare il bias positivo nei punteggi delle revisioni effettuate dall'IA.

Le recensioni basate sull'intelligenza artificiale sono più lunghe

Lunghezza media delle recensioni in base al livello di coinvolgimento dell'IA

In passato, una recensione più lunga era sinonimo di un testo ben strutturato e di alta qualità, ma nell’era dei modelli di linguaggio di grandi dimensioni (LLM), spesso può significare proprio il contrario. Le recensioni generate dall’IA sono più lunghe e contengono molti «contenuti di riempimento». Secondo Shaib et al., in un articolo di ricerca intitolato "Measuring AI Slop in Text", una delle caratteristiche dello "slop" dell'IA è la bassa densità di informazioni: ciò significa che l'IA usa molte parole per dire ben poco in termini di contenuto effettivo.

Constatiamo che ciò vale anche per le recensioni dei modelli linguistici di grandi dimensioni (LLM): l’IA utilizza molte parole, ma in realtà non fornisce un feedback particolarmente ricco di informazioni. Riteniamo che ciò sia problematico perché gli autori devono sprecare tempo ad analizzare una lunga recensione e a rispondere a domande vacue che in realtà non contengono molti feedback utili. Vale anche la pena menzionare che la maggior parte degli autori probabilmente chiederà a un modello linguistico di grandi dimensioni una revisione del proprio contributo prima di inviarlo effettivamente. In questi casi, il feedback di una revisione LLM è in gran parte ridondante e inutile, poiché l'autore ha già visto le critiche ovvie che un LLM formulerà.

Ci sono accuse infondate?

Sebbene il tasso di falsi positivi di Pangram sia estremamente basso, non è pari a zero; abbiamo quindi la responsabilità di quantificare l’affidabilità dello strumento prima di raccomandarlo per prendere decisioni concrete sul destino di un articolo (come un rifiuto a prima vista) o per sanzionare un revisore. Abbiamo misurato direttamente il tasso di falsi positivi all’interno del dominio utilizzando gli studi di controllo negativi descritti sopra, ma come si comporta su altri set di dati, benchmark e su testi generici?

Abbiamo documentato il tasso di falsi positivi di Pangram in questo precedente post del blog.

• Il tasso complessivo di falsi positivi di Pangram è di 1 su 10.000 sui documenti del set di test.
• Il tasso di falsi positivi di Pangram sui documenti scientifici esclusi da ArXiv è di 1 su 100.000.
• Il tasso di falsi positivi di Pangram sui documenti medici esclusi dal database PubMed è pari a 0 (con un livello di confidenza di 3 cifre decimali).

L'accuratezza di Pangram è stata inoltre confermata da numerosi studi condotti da enti indipendenti, tra cui quelli recenti della UChicago Booth e dell'American Association for Cancer Research.

Per contestualizzare questi dati, il tasso di falsi positivi di Pangram è paragonabile a quello dei test del DNA o dei test antidroga: un vero falso positivo, ovvero il caso in cui un testo generato interamente dall'intelligenza artificiale venga scambiato per un testo scritto interamente da un essere umano, non è inesistente, ma è estremamente raro.

Come si fa a capire se si è stati sottoposti a una revisione tra pari basata sull'intelligenza artificiale?

Se sei un autore e sospetti di aver ricevuto una recensione generata dall'intelligenza artificiale, ci sono diversi indizi rivelatori che puoi cercare. Sebbene Pangram sia in grado di individuare i testi generati dall'intelligenza artificiale, puoi anche riconoscere i segni distintivi delle recensioni generate dall'intelligenza artificiale a occhio nudo.

Abbiamo redatto una guida generale per individuare a occhio nudo gli schemi di scrittura generati dall'IA, ma abbiamo notato alcuni segnali e indicatori aggiuntivi presenti specificatamente nelle revisioni tra pari effettuate dall'IA.

Alcuni degli "indizi" che notiamo nelle revisioni tra pari nel campo dell'IA:

• Stili dei titoli: le recensioni tra pari generate dall'intelligenza artificiale tendono a creare titoli di sezione in grassetto con tag riassuntivi di 2-3 parole seguiti da due punti. Ad esempio:

Punti di forza: Chiara formulazione del problema: l'articolo affronta un problema reale: i sistemi OCR basati su VLM generano risultati errati su documenti danneggiati senza segnalare l'incertezza, il che è peggiore rispetto ai sistemi OCR classici che producono output palesemente distorti. La motivazione è ben articolata. Metodologia sistematica: l'approccio di addestramento in due fasi (cold start pseudo-etichettato + GRPO) è ragionevole e ben descritto. La progettazione della ricompensa multi-obiettivo con misure di protezione contro l'hacking della ricompensa (in particolare il fattore di smorzamento η per la discrepanza di lunghezza) dimostra un'attenta progettazione.

Domande: 1. Generalizzazione a casi di degrado reali: gli autori possono effettuare una valutazione su documenti degradati reali (ad esempio, set di dati di documenti storici) per dimostrare che l'approccio è generalizzabile al di là della specifica pipeline di degrado sintetico? 2. Confronto con i sistemi MinerU: MinerU e MinerU2.5 [2,3] rappresentano recenti progressi nell'analisi sintattica dei documenti. Come si confronta il metodo proposto con questi sistemi su Blur-OCR? Se questi sistemi non sono in grado di produrre stime di incertezza, possono essere combinati con l'approccio di tagging proposto?

• Critiche superficiali piuttosto che analisi approfondite: le recensioni generate dall'IA tendono a concentrarsi su questioni di superficie piuttosto che su reali preoccupazioni relative all'integrità scientifica dell'articolo. Le critiche tipiche dell'IA potrebbero includere la richiesta di ulteriori ablazioni molto simili a quelle presentate, l'aumento delle dimensioni del set di test o del numero di controlli, oppure la richiesta di ulteriori chiarimenti o esempi.

• Molte parole che dicono ben poco: le recensioni generate dall'intelligenza artificiale presentano spesso una scarsa densità informativa, utilizzando un linguaggio prolisso per esprimere concetti che potrebbero essere sintetizzati in modo più conciso. Questa verbosità comporta un carico di lavoro aggiuntivo per gli autori, che devono setacciare recensioni interminabili per estrapolarne le critiche effettivamente rilevanti.

Perché gli articoli sull'intelligenza artificiale e le revisioni tra pari in questo campo sono dannosi per il processo scientifico?

All'inizio di quest'anno, alcuni ricercatori dell'UNIST in Corea hanno pubblicato un documento programmatico in cui illustrano alcune delle ragioni del calo di qualità del processo di revisione tra pari. Con la continua espansione del settore dell'intelligenza artificiale, la pressione esercitata sulle risorse del sistema di revisione tra pari sta iniziando a mostrare i primi segni di cedimento. Il numero di revisori qualificati è semplicemente insufficiente a far fronte all'aumento esponenziale del numero di articoli.

Il problema principale dei documenti di scarsa qualità generati dall'intelligenza artificiale è che rappresentano semplicemente uno spreco di tempo e risorse già limitate. Secondo la nostra analisi, i documenti generati dall'intelligenza artificiale non sono affatto all'altezza di quelli scritti da esseri umani e, cosa ancora più preoccupante, possono essere prodotti a basso costo da revisori disonesti e da "fabbriche di articoli" che adottano la strategia del "spray and pray" (inviare un gran numero di proposte a un convegno nella speranza che una di esse venga accettata per caso). Se si permette che gli articoli generati dall'IA invadano il sistema di revisione tra pari, la qualità della revisione continuerà a diminuire e i revisori saranno meno motivati dal dover leggere articoli "scadenti" invece di vere ricerche.

Capire perché le recensioni generate dall'IA possano essere dannose è una questione un po' più complessa. Siamo d'accordo con l'ICLR sul fatto che l'IA possa essere utilizzata in modo positivo come strumento di supporto per aiutare i revisori a esprimere meglio le loro idee, specialmente quando l'inglese non è la loro lingua madre. Inoltre, l'IA può spesso fornire un feedback davvero utile, ed è spesso produttivo per gli autori simulare il processo di revisione tra pari con i modelli di linguaggio (LLM), in modo che questi ultimi critichino e mettano in discussione la ricerca, individuando errori e imprecisioni che l'autore potrebbe non aver colto inizialmente.

Rimane tuttavia una domanda: se l'intelligenza artificiale è in grado di fornire un feedback utile, perché dovremmo vietare le recensioni generate interamente dall'intelligenza artificiale? L'economista dell'Università di Chicago Alex Imas sintetizza il nocciolo della questione in un recente tweet: la risposta dipende dal fatto che si voglia o meno il coinvolgimento del giudizio umano nella revisione scientifica tra pari.

Il tweet di Alex Imas sulle recensioni generate dall'intelligenza artificiale

Se riteniamo che gli attuali modelli di IA siano sufficienti a sostituire completamente il giudizio umano, allora le conferenze dovrebbero semplicemente automatizzare l’intero processo di revisione: inserire gli articoli in un modello di linguaggio di grandi dimensioni (LLM) e assegnare i punteggi in modo automatico. Se invece riteniamo che il giudizio umano debba rimanere parte integrante del processo, allora i contenuti generati interamente dall’IA devono essere vietati. Imas individua due problemi chiave: in primo luogo, un equilibrio di pooling in cui i contenuti generati dall'IA (essendo più facili da produrre) soppiantano rapidamente il giudizio umano nel giro di pochi cicli di revisione; e in secondo luogo, un problema di verifica in cui determinare se una revisione dell'IA sia effettivamente valida richiede lo stesso sforzo della revisione dell'articolo da parte dell'utente stesso – quindi, se gli LLM possono generare revisioni migliori rispetto agli esseri umani, perché non automatizzare l'intero processo?

A mio avviso, i giudizi umani sono complementari alle valutazioni dell'IA, pur apportando un valore aggiunto. Spesso gli esseri umani sono in grado di fornire un feedback fuori dagli schemi che potrebbe non risultare immediatamente evidente. Le opinioni degli esperti sono più utili dei modelli di linguaggio di grandi dimensioni (LLM) perché sono plasmate dall'esperienza, dal contesto e da una prospettiva che viene affinata e perfezionata nel tempo. Gli LLM sono potenti, ma le loro valutazioni spesso mancano di gusto e discernimento e risultano quindi "piatte".

Forse in futuro le conferenze potrebbero affiancare la revisione SOTA dei modelli di linguaggio di ultima generazione (LLM) alle recensioni umane, per garantire che queste ultime non si limitino a ribadire le critiche "ovvie" che potrebbero essere evidenziate da un LLM.

Conclusione

L'aumento dei contenuti generati dall'intelligenza artificiale nella revisione tra pari in ambito accademico rappresenta una sfida cruciale per la comunità scientifica. La nostra analisi dimostra che le revisioni tra pari interamente generate dall'intelligenza artificiale costituiscono una quota significativa del corpus complessivo delle revisioni dell'ICLR, e che anche il numero di articoli generati dall'intelligenza artificiale è in aumento. Tuttavia, questi articoli generati dall'intelligenza artificiale sono più spesso lavori di scarsa qualità che autentici contributi alla ricerca.

Riteniamo che questa tendenza sia problematica e dannosa per la scienza, e invitiamo i congressi e gli editori ad adottare i sistemi di rilevamento basati sull'intelligenza artificiale come soluzione per scoraggiare gli abusi e preservare l'integrità scientifica.