Rapporto tecnico Pangram 4

Pangram 4 è il nostro modello di rilevamento di testi generati dall'IA più recente e all'avanguardia. Rispetto al suo predecessore, Pangram 4 mostra un netto miglioramento nella capacità di distinguere tra testi generati interamente dall'IA, testi con autori misti e testi assistiti dall'IA, offrendo al contempo una granularità superiore, che consente una distinzione più precisa tra i segmenti scritti dall'uomo e quelli generati dall'IA all'interno di un documento. È inoltre resistente agli "humanizer" e ai prompt avversariali, ed è significativamente più accurato sui modelli di ultima generazione.

A nostra conoscenza, Pangram 4 è il primo modello di rilevamento dell’IA in grado di distinguere contemporaneamente, in un unico passaggio, i testi redatti con l’ausilio dell’IA da quelli redatti in modo misto (IA e umano).

Risultati principali:

• Nei nostri test comparativi, Pangram 4 identifica correttamente il 99,66% dei documenti generati dall’IA, mentre classifica erroneamente i testi scritti da esseri umani come generati dall’IA solo nello 0,0041% dei casi, ovvero circa un falso positivo ogni 24.000 documenti.
• Pangram 4 presenta miglioramenti rispetto a Pangram 3 sotto entrambi gli aspetti, con un numero di falsi negativi quasi 6 volte inferiore e un numero di falsi positivi 14 volte inferiore.
• Pangram 4 non confonde una leggera rifinitura da parte dell'IA con la generazione da parte dell'IA: classifica i testi scritti da esseri umani e rifiniti dall'IA come interamente generati dall'IA solo nello 0,009% dei casi, con una riduzione di 20 volte rispetto a Pangram 3.
• Se confrontato con 13 dei più diffusi strumenti commerciali di umanizzazione, Pangram 4 individua l'intervento dell'IA nei testi umanizzati generati dall'IA nel 98,83% dei casi.

Autorialità mista e assistenza tramite IA

Molti documenti scritti prodotti oggi non rientrano più chiaramente nella categoria dei testi generati interamente dall’intelligenza artificiale o di quelli scritti interamente da esseri umani; viviamo infatti in un’epoca in cui lo stile di un testo e la sua argomentazione possono plausibilmente avere origini diverse.

Riteniamo importante distinguere questa categoria di documenti sia dai testi generati interamente dall’IA sia da quelli redatti interamente da esseri umani. Questo aspetto è importante per noi sia perché crediamo nella trasparenza della paternità dell’opera, sia perché, in quanto tecnologia popolare ed emergente, i modelli linguistici plasmano il mondo in modi che non comprendiamo ancora appieno – ma di cui abbiamo già alcune indicazioni. Alcune ricerche indicano che l’uso dei modelli linguistici per modificare un testo ne altera lo stile in modi misurabili; ad esempio, gli articoli accademici riscritti da un modello linguistico di grandi dimensioni (LLM) tendono ad accumulare parole di cautela (“potrebbe”, “tipicamente”, “suggerisce”) e parole di enfasi (“forte”, “robusto”, “coerente”). Studi correlati rilevano che le modifiche apportate da un LLM alterano il significato di un testo anche quando al modello viene richiesto di correggere solo la grammatica, e che le revisioni tra pari redatte da un LLM attribuiscono un peso diverso alla chiarezza e alla rilevanza rispetto a quanto fanno i revisori umani. Altrove, vi sono indicazioni secondo cui è difficile rimuovere le tracce di una bozza generata dall’IA anche con un editing approfondito: gli autori che modificano l’output di un LLM per adattarlo al proprio stile personale producono comunque un testo che risulta più simile alla scrittura del modello che alla propria.

Per affrontare il problema, prendiamo in considerazione due modalità principali con cui è possibile combinare la paternità umana e quella dell’IA. Nel caso di documenti eterogenei, in cui i segmenti sono chiaramente attribuibili a un autore umano o a un’IA, Pangram utilizza una previsione per singolo token. D’altra parte, per un segmento modificato in modo iterativo in cui nessun token può essere attribuito in modo definitivo a un singolo autore umano o a un’IA, Pangram contrassegna il segmento come “assistito dall’IA”.

Il pangram è resistente agli humanizer e ai prompt avversari

Con il miglioramento delle tecnologie di rilevamento dell’IA, cresce anche la domanda di software in grado di riscrivere i testi generati dall’IA per eludere il rilevamento automatico. Questi strumenti mirano spesso a eludere i sistemi di rilevamento in contesti in cui l’attribuzione della paternità è fondamentale, come il mondo accademico, la ricerca o l’editoria. Per contrastare questo fenomeno, Pangram 4 dispone di una funzionalità dedicata al rilevamento dei testi “umanizzati”. Quando viene confrontato con 13 diffusi strumenti commerciali di umanizzazione, Pangram identifica il coinvolgimento dell’IA nei testi umanizzati generati dall’IA nel 98,83% dei casi.

Un’altra strategia avversaria comune per eludere il rilevamento è il “prompting avversario”, come nel caso dell’humanizer Blader, in cui un utente istruisce un modello di linguaggio di grandi dimensioni (LLM) a discostarsi dal proprio stile di scrittura tipico. Per valutare le nostre prestazioni in tale ambito, abbiamo concesso a un agente di intelligenza artificiale (Codex GPT 5.6 Sol) l’accesso all’API Pangram 4 per 24 ore, con l’obiettivo di generare falsi negativi ripetibili.

Nel corso della sua ricerca, GPT 5.6 ha testato una serie di strategie, tra cui l’imitazione dello stile, registri professionali concisi e il precaricamento del contesto con testi di origine umana. Durante il periodo di test, è riuscito a superare con successo il filtro solo una volta, imitando appunti di patologia chirurgica dettati. Sebbene impressionante, riteniamo in definitiva che questo tentativo esuli dall’ambito del nostro studio, sia perché l’input conteneva più contesto rispetto all’output, sia perché il testo risultante era costituito da punti concisi anziché dalla prosa aperta che tipicamente prendiamo di mira.

Formazione e architettura

Ai fini della determinazione della paternità dell’opera, definiamo “testo generato dall’IA” quella prosa originale in linguaggio naturale prodotta da un modello di linguaggio di grandi dimensioni (LLM) in risposta a un compito di scrittura a risposta aperta o a una domanda. Richiediamo inoltre che l’LLM contribuisca con token originali ed escludiamo i casi in cui il modello ripeta alla lettera un testo scritto da un essere umano; ad esempio, citando dalla finestra di contesto, recitando contenuti memorizzati o sintetizzando stringhe inserite dall’utente.

Dati di addestramento

Abbiamo addestrato Pangram 4 utilizzando sia testi scritti da esseri umani sia testi generati dall’intelligenza artificiale, provenienti da un’ampia varietà di ambiti, lingue e modelli di IA.

Come nelle versioni precedenti, tutti i dati di addestramento redatti manualmente sono coperti da licenza commerciale o di proprietà dell’azienda. Come sempre, Pangram 4 non è stato addestrato su dati inviati dagli utenti, dati dei clienti provenienti da utenti dell’API né dati ottenuti tramite scansioni non autorizzate di Internet.

Di seguito è riportata una distribuzione approssimativa dei domini presenti nel nostro set di dati relativo agli esseri umani.

Ripartizione approssimativa del testo di origine umana per categoria.

Per la parte del nostro set di dati dedicata all’IA, generiamo internamente tutti gli esempi sintetici utilizzando 75 dei modelli più diffusi, compresi tutti i modelli OpenAI e Anthropic attualmente disponibili. Il nostro obiettivo nella creazione del set di dati sintetico è quello di fornire un contesto che aiuti il modello a comprendere come è stato scritto un testo, anziché limitarsi ad assorbire gli indicatori relativi all’argomento, al linguaggio o al tono dei testi generati dall’IA.

Per ridurre i falsi positivi relativi a testi scritti in modo insolito da esseri umani, applichiamo un modello candidato addestrato a un insieme di riserva di testi scritti da esseri umani, al fine di identificare gli elementi che il modello candidato etichetta erroneamente come generati dall’IA. Successivamente, generiamo copie sintetiche degli elementi etichettati erroneamente e riaddestriamo il modello candidato sull’insieme combinato. Chiamiamo questo metodo “hard-negative mining”.

Architettura

Pangram 4 è il nostro modello più grande mai realizzato, con un numero di parametri sei volte superiore a quello di Pangram 3.3. Pangram 4 presenta diverse modifiche architetturali significative rispetto al suo predecessore. È inoltre il nostro primo modello di tipo “mixture of experts”, in cui un meccanismo di instradamento sparsa indirizza diversi tipi di input verso diverse parti della rete neurale. Riteniamo che questo tipo di architettura sia particolarmente adatto al rilevamento basato sull’intelligenza artificiale, grazie all’ampia gamma di possibilità di input.

Meccanismi di previsione

Al fine di aumentare la risoluzione delle proprie previsioni, Pangram 4 assegna tre punteggi a ciascun token di una data stringa di input, corrispondenti alla sua stima sul fatto che quel token sia stato scritto da un essere umano, assistito dall’IA o generato dall’IA. I documenti più lunghi vengono valutati in finestre sovrapposte da 512 token, in modo tale che per ciascuna finestra si ottenga anche un punteggio a livello di finestra insieme a un’aggregazione dei punteggi a livello di token. Tutti i punteggi vengono quindi mediati e livellati per ridurre le oscillazioni casuali delle previsioni relative ai singoli token. Questo metodo sostituisce il precedente approccio che prevedeva una suddivisione ingenua del testo in blocchi durante la pre-elaborazione, ed è proprio ciò che ci permette di dedurre con precisione il confine tra contenuti generati dall’IA e quelli scritti dall’uomo.

Prestazioni e test comparativi

Al fine di modellare con precisione i casi d'uso reali dei modelli di linguaggio di grandi dimensioni (LLM), abbiamo valutato Pangram 4 su testi scritti da esseri umani, generati dall'IA e assistiti dall'IA, utilizzando una serie di benchmark standard e di sfida.

Falsi positivi

Per la parte del set di test relativa ai testi scritti da esseri umani, Pangram 4 è stato sottoposto a benchmark su un insieme di 2 milioni di documenti con licenza commerciale risalenti a prima del 2022, che erano stati esclusi dall’addestramento del modello. In questo benchmark, Pangram 4 raggiunge un tasso di falsi positivi dello 0,0041%, con un intervallo di confidenza al 95% compreso tra (0,0032%, 0,0050%). Ciò corrisponde a un falso positivo ogni circa 24.000 documenti.

Falsi negativi nel set di dati generato dall'intelligenza artificiale

Abbiamo creato questo benchmark attingendo dai prompt degli utenti presenti nelle conversazioni di Chatbot Arena; abbiamo selezionato questa raccolta di prompt al fine di rispecchiare la distribuzione reale dei prompt che gli utenti inviano ai modelli di linguaggio di grandi dimensioni (LLM). Abbiamo quindi utilizzato un modello di linguaggio di piccole dimensioni (Mistral-Small-24B-Instruct-2501) per filtrare tutti i prompt che richiedevano aiuto in matematica o programmazione, nonché le risposte a scelta multipla, poiché li abbiamo considerati fuori dall’ambito di analisi. Dopo il filtraggio, ci siamo ritrovati con un insieme completo di 20.000 prompt che hanno suscitato risposte aperte da parte dei modelli. Da ciascun prompt di questo insieme, abbiamo generato una risposta per ogni modello linguistico del nostro set di 26 modelli, tra cui GPT-5.5, Claude Opus 4.8 e Gemini 3.1 Pro, per un totale di 519.993 campioni valutati con esito positivo.

In questo benchmark, Pangram 4 raggiunge un tasso complessivo di falsi negativi (FNR) dello 0,3396%, rispetto all'FNR dell'1,99% registrato da Pangram 3 sullo stesso set di dati.

Robustezza rispetto ai modelli di frontiera

Pangram 4 è applicabile a tutti i modelli linguistici all'avanguardia: ogni famiglia di modelli viene rilevata con un FNR inferiore allo 0,7% e non riscontriamo alcuna correlazione significativa tra la data di rilascio di un modello e la sua rilevabilità.

Prestazioni con documenti misti e modificati

Creiamo un set di dati composto da testi corretti e rifiniti dall’IA per valutare il nostro tasso di falsi positivi assistiti dall’IA, ovvero la percentuale con cui un modello segnala erroneamente come “IA” le modifiche minori apportate dall’IA stessa. Utilizziamo prodotti di consumo (Grammarly, Apple Intelligence e Gemini in Google Docs) e modelli di linguaggio di ultima generazione (Opus 4.8, Gemini 3.1 e GPT-5.5) per applicare lievi modifiche ai testi degli studenti provenienti da ELLIPSE, PELIC e ICNALE. Ad esempio, abbiamo utilizzato la funzione “Strumenti di scrittura” integrata nell’editor di testo Pages di Apple per “correggere” alcuni testi, oppure abbiamo chiesto a Opus 4.8 di “correggere piccoli problemi di stile accademico mantenendo la bozza riconoscibilmente umana”.

E adesso?

Siamo entusiasti di presentare questo modello, che riteniamo sia attualmente il migliore al mondo nel suo genere. Tuttavia, poiché Pangram è un modello statistico, c'è sempre margine di miglioramento; pertanto, per questa serie di modelli, ci siamo prefissati alcuni obiettivi.

In primo luogo, speriamo di affrontare in modo preventivo la deriva dei dati prima che diventi un problema. Al momento non è dato sapere per quanto tempo un set di addestramento precedente al 2022 continuerà a essere sufficiente per produrre i modelli predittivi robusti richiesti dai nostri standard; pertanto, trovare metodi per ampliare il nostro set di addestramento creato da esseri umani è una priorità assoluta – ma, ovviamente, senza compromettere la nostra garanzia di un valore di riferimento umano per ogni documento organico su cui effettuiamo l’addestramento.

Successivamente, vorremmo garantire la stabilità delle previsioni di Pangram 4 in contesti diversi. Talvolta, un sottoinsieme di un testo più lungo riceve previsioni diverse a seconda che sia isolato o inserito nel documento circostante. È possibile che questa situazione rifletta il modo in cui il contesto aggiuntivo fornisce al modello maggiori informazioni o un segnale più forte, ma speriamo di riuscire a ridurre al minimo questo effetto grazie a una migliore calibrazione.

Infine, vorremmo proseguire il nostro lavoro sull’interpretabilità per approfondire la nostra comprensione dell’attribuzione delle caratteristiche, dello spazio di embedding e dell’identificazione dei generatori. Si tratta di uno dei nostri progetti più ambiziosi e non vediamo l’ora di condividere i nostri progressi nei prossimi mesi.

Scheda del modello

Tutti i dettagli sono riportati nella scheda tecnica del modello Pangram 4.