Come funziona Pangram?

Riteniamo che sia importante poter identificare in modo affidabile i testi generati dall'intelligenza artificiale, pertanto abbiamo sviluppato un sistema di rilevamento in grado di farlo. Data l'importanza della questione, è opportuno spiegare in modo trasparente come funziona.

Quando un autore scrive una frase, prende migliaia di decisioni, consce e inconsce, su come essa debba essere composta. Fondamentalmente, il rilevamento dell’IA è un problema di identificazione dell’autore: classificare quali decisioni sono caratteristiche di un determinato tipo di autore. Possiamo farlo perché, sebbene i modelli di linguaggio di grandi dimensioni (LLM) come ChatGPT non siano umani, rappresentano comunque un unico autore che prende decisioni. Anche il tipo di decisioni che tendono a prendere è limitato: i modelli di assistenza devono produrre testi chiari e utili per rispondere efficacemente alle domande. Queste preferenze vengono radicate nel modello durante l’addestramento e, una volta consolidate, è molto difficile impedire che emergano.

Che cos’è un pangramma?

Pangram è un tipo di rete neurale denominata " modello classificatore". In senso lato, Pangram analizza un brano scritto e, avvalendosi di un vastissimo insieme di modelli appresi, valuta se sia stato generato dall'intelligenza artificiale.

Pangram impara a distinguere i testi scritti da esseri umani da quelli generati dai modelli linguistici di grandi dimensioni (LLM) creando una sorta di mappa in cui gli autori con stili di scrittura simili vengono collocati vicini tra loro, mentre quelli con stili diversi vengono posizionati più lontani. Su questa mappa, i testi scritti da esseri umani e quelli generati dall’IA formano cluster distinti, e la nostra ricerca dimostra che Pangram è persino in grado di collocare i principali modelli linguistici commerciali, come ChatGPT e Claude, in regioni diverse.

Quando Pangram incontra un testo che non ha mai visto prima, ne determina la collocazione sulla mappa confrontandolo con i testi che già conosce. Nessun singolo aspetto del testo determina la sua collocazione, quindi uno scrittore umano non corre il rischio di essere classificato erroneamente semplicemente perché ChatGPT ha adottato uno dei suoi espedienti preferiti, come il trattino lungo. Gli “LLM-ismi” evidenti sono solo uno dei centinaia di migliaia di segnali che Pangram prende in considerazione.

Se le coordinate risultanti ricadono in una regione in cui si presume che il testo sia stato scritto da un essere umano, Pangram prevede che il testo sia di origine umana; se invece ricadono in un’area più ambigua, o se diversi passaggi dello stesso testo indicano direzioni diverse, Pangram inizia a sospettare che possa contenere testo generato dall’IA. Questo è il motivo per cui Pangram prevede un numero minimo di parole: più parole significano coordinate più precise. Lo stesso approccio aiuta inoltre Pangram a generalizzare i risultati ai nuovi modelli di IA rilasciati, che tendono a ereditare gran parte dello stile e della voce dei loro predecessori, occupando così aree molto simili della mappa.

Pangram è migliore rispetto ad altri rilevatori di IA

I precedenti tentativi di individuare i testi generati dall’intelligenza artificiale si sono rivelati fallimenti clamorosi e pubblici. Ciò è dovuto al fatto che si è cercato di ricostruire a ritroso il modo in cui i modelli linguistici di grandi dimensioni (LL M) producono il testo. Dopo ogni parola di una frase, questi rilevatori si chiedevano: se fossi un LLM, quale parola mi aspetterei che venisse dopo?

Ad esempio, dato un frammento di frase come “Sto per portare il mio cane a…”, un modello di IA potrebbe considerare “passeggiata” o “corsa” come parole successive molto probabili, mentre termini illogici come “presagio” o “verglas” non sarebbero candidati plausibili. I primi sistemi di rilevamento cercavano di ricostruire la classifica delle parole più probabili stilata da un LLM e di confrontarla con la parola effettivamente presente; pertanto, quanto più spesso il testo seguiva la scelta prevedibile, tanto più il sistema di rilevamento era incline a classificarlo come generato dall’IA. In sostanza, ciò riflette quanto un LLM sarebbe perplesso nel trovare una determinata parola come successiva in una frase; per questo motivo, questa modalità di rilevamento dell’IA è stata denominata “analisi della perplessità”.

L'analisi della perplessità presenta numerosi problemi. Non costituisce un buon indicatore di ciò che cerca di distinguere, poiché le frasi scritte dall'uomo sono spesso altrettanto "canalizzate" quanto la prosa generata dai modelli di linguaggio di grandi dimensioni (LLM). Pertanto, i testi scritti dall'uomo che risultano prevedibili o strutturati vengono spesso segnalati erroneamente dai rilevatori di perplessità, mentre, allo stesso tempo, tali rilevatori vengono aggirati con estrema facilità ricorrendo a strategie ovvie, come la sostituzione di parole con sinonimi meno comuni.

Come è noto, i modelli basati sulla perplessità falliscono anche con molti testi precedenti all’avvento del computer. Il rilevamento basato sulla perplessità tende a indicare che la Bibbia, la Dichiarazione d’Indipendenza o il *Frankenstein* di Mary Shelley siano generati al 100% dall’IA. Ciò accade perché i modelli di linguaggio di grandi dimensioni (LLM) leggono la Dichiarazione d’Indipendenza migliaia di volte nel corso del loro addestramento, quindi ogni parola successiva in essa contenuta non è affatto sorprendente dal punto di vista dell’LLM. Il rilevatore interpreta erroneamente tale probabilità come prova che il testo sia stato generato dall’IA.

Pangram evita questo problema perché non cerca di ricostruire il modo in cui un modello di linguaggio di grandi dimensioni (LLM) genera il testo. Anziché esaminare ogni singola parola e chiedersi “cosa scriverebbe qui un LLM?”, Pangram analizza il testo nel suo insieme e si chiede “a chi ricorda questo stile?”. In questo modo, il livello di familiarità di ChatGPT non potrebbe mai indurre Pangram a classificare erroneamente documenti storici come generati dall’IA – ma non tutti i casi sono così semplici.

Come abbiamo addestrato Pangram

Non è difficile addestrare un classificatore affinché raggiunga un’accuratezza del 98%. La maggior parte dei testi generati dall’IA è facile da riconoscere e una rete neurale può apprendere rapidamente gli indizi più evidenti. Proprio come quasi chiunque potrebbe confrontare una poesia di E. E. Cummings con una citazione da *I fratelli Karamazov* e concludere che sono state scritte da autori diversi, un classificatore di base può distinguere con estrema facilità una ricetta di pasta generata dall’IA da una pagina di diario scritta da un essere umano. Ma nel campo del rilevamento dell’IA, un’accuratezza del 98% è palesemente insufficiente: un tasso di errore del 2% significherebbe classificare erroneamente un documento su 50, il che metterebbe in discussione qualsiasi previsione. Quindi, immagina di essere tra il 2% dei migliori esperti nel distinguere Dostoevskij: quale strategia useresti per entrare nello 0,01% dei migliori?

A quel livello, rileggere Dostoevskij porta direttamente a rendimenti decrescenti: per colmare il divario occorre individuare le caratteristiche che nessuno, tranne Dostoevskij, potrebbe produrre. Una buona strategia potrebbe essere quella di ingaggiare alcuni imitatori professionisti per scrivere i cloni di Dostoevskij più convincenti possibili e studiarne le differenze. È così che addestriamo Pangram: per ogni elemento del nostro set di dati composto da testi scritti da esseri umani e disponibili su licenza commerciale, generiamo un “doppio” creato dall’IA che sia il più fedele possibile alla fonte. I “doppi” hanno la stessa lunghezza, lo stesso tono e lo stesso argomento, ma sono generati dall’IA. Successivamente addestriamo il modello Pangram su queste coppie di testi scritti da esseri umani e generati dall’IA.

Imparando a distinguere tra queste coppie, Pangram aumenta di fatto la risoluzione delle aree di confine sulla propria mappa interna. Per garantire che la mappa di Pangram sia il più accurata possibile, prestiamo estrema attenzione al fenomeno del “data poisoning”: il nostro set di dati di testi umani noti proviene dal 2021 e dagli anni precedenti, prima che l’IA fosse diffusa su Internet. Per ora questo approccio funziona bene, ma siamo consapevoli del fatto che dovremo adeguarci man mano che la lingua evolve. Affrontare in modo preventivo la deriva dei dati prima che diventi un problema è una delle nostre principali priorità di ricerca.

Come facciamo a sapere che Pangram ha ragione?

Pangram è un modello statistico che formula previsioni basandosi esclusivamente sul testo, pertanto anche la sua accuratezza deve essere verificata statisticamente. Ed è proprio quello che facciamo. Pubblichiamo benchmark interni per ogni modello Pangram che rilasciamo, nonché ogni volta che un laboratorio di intelligenza artificiale aggiorna i propri modelli di linguaggio di grandi dimensioni (LLM). Siamo stati inoltre sottoposti a test e verifiche da parte di soggetti terzi indipendenti, quali i team dell’Università di Chicago e dell’Università del Maryland.

Se sei un ricercatore – o se hai un’idea davvero valida e ti impegni a pubblicarne i risultati – puoi richiedere una delle nostre sovvenzioni sotto forma di crediti API e testare tu stesso i nostri modelli. Siamo sempre alla ricerca di modi per migliorare.