Perché la perplessità e la discontinuità non riescono a individuare l'intelligenza artificiale

Quando si cerca online come funzionano i rilevatori di IA, in genere si trovano molte fonti che citano i termini "perplexity" e "burstiness". Cosa significano questi termini e perché, in definitiva, non funzionano per individuare i contenuti generati dall'IA? Oggi vorrei approfondire cosa sono la "perplexity" e la "burstiness" e spiegare perché non sono adatte a individuare i testi generati dall'IA. Cercheremo inoltre di capire perché non funzionano, perché i rilevatori basati su perplessità e burstiness erroneamente identificano la Dichiarazione di Indipendenza come generata dall'IA e perché questi rilevatori sono anche di parte nei confronti di chi non è madrelingua inglese. Cominciamo!

Cosa sono la perplessità e la burstiness?

Inizieremo con una definizione non tecnica e approssimativa di "perplessità", solo per avere un'idea generale di cosa sia e come funzioni. Per approfondire l'argomento, ho trovato molto utile questo articolo esplicativo di due minuti.

La "perplessità" indica quanto ogni parola di un testo risulti inaspettata o sorprendente se considerata dal punto di vista di un particolare modello linguistico o LLM.

Ad esempio, ecco due frasi. Concentriamoci sull'ultima parola di ciascuna frase, a scopo dimostrativo. Nel primo esempio, l'ultima parola presenta una bassa perplessità, mentre nel secondo esempio l'ultima parola presenta un'alta perplessità.

Bassa perplessità:

Oggi a pranzo ho mangiato una scodella di *zuppa*.

Elevata perplessità:

Oggi a pranzo ho mangiato una ciotola di *ragni*.

Il motivo per cui la seconda frase presenta un alto livello di perplessità è che è molto raro che un modello linguistico incontri esempi di persone che mangiano ciotole di ragni nel proprio set di dati di addestramento; pertanto, per il modello linguistico è molto sorprendente che la frase si concluda con "ragni", anziché con qualcosa come "zuppa", "un panino" o "un'insalata".

Il termine "perplexity" deriva dalla stessa radice della parola "perplexed", che significa "confuso" o "perplesso". È utile pensare alla "perplexity" come alla confusione del modello linguistico: quando questo incontra qualcosa di sconosciuto o inaspettato rispetto a ciò che ha letto e assimilato durante la fase di addestramento, possiamo immaginare che il modello linguistico si senta confuso o disorientato dal completamento.

Ok, perfetto, e che dire della "burstiness"? La "burstiness" è la variazione della perplessità nel corso di un documento. Se nel documento sono disseminate parole e frasi sorprendenti, diremmo che presenta un alto livello di "burstiness".

Come funzionano i rilevatori basati sulla perplessità e sulla burstiness?

Purtroppo, la maggior parte dei rilevatori commerciali (ad eccezione di Pangram) non fornisce informazioni chiare sulla propria metodologia; tuttavia, da quanto si evince dalle loro descrizioni, il testo scritto dall'uomo è considerato caratterizzato da una maggiore perplessità e da una maggiore variabilità, mentre il testo generato dall'intelligenza artificiale presenta una minore probabilità e una minore variabilità.

Di seguito potete vedere una rappresentazione grafica di questo concetto! Ho scaricato il modello GPT-2 da Huggingface e ho calcolato la perplessità di tutto il testo contenuto in due documenti: una serie di recensioni di ristoranti scritte da persone e una serie di recensioni generate dall'intelligenza artificiale. Ho poi evidenziato in blu il testo con bassa perplessità e in rosso quello con alta perplessità.

Visualizzazione delle discrepanze tra testi generati dall'intelligenza artificiale e testi scritti da esseri umani

Come potete vedere, il testo generato dall'IA è di un blu intenso su tutta la superficie, il che indica valori di perplessità uniformemente bassi. Il testo generato dall'uomo, invece, è prevalentemente blu, ma presenta delle punte di rosso. È proprio questo che definiremmo un alto livello di burstiness.

È proprio questa idea che sta alla base dei rilevatori di perplessità e di picchi di attività. Non solo alcuni dei primi rilevatori di IA disponibili in commercio si basano su questo concetto, ma esso ha anche ispirato alcuni studi accademici, come DetectGPT e Binoculars.

A onor del vero, questi rilevatori di perplessità e di picchi di attività funzionano davvero in alcuni casi! Semplicemente non crediamo che possano funzionare in modo affidabile in contesti di grande importanza in cui è fondamentale evitare imprecisioni, come ad esempio in classe, dove un falso positivo rilevato dall’IA potrebbe potenzialmente minare la fiducia tra insegnante e studente o, peggio ancora, fornire prove inattendibili in un procedimento giudiziario.

Punto debole n. 1: il testo nel set di addestramento viene erroneamente classificato come IA

Per chi non sapesse come vengono creati i modelli linguistici di grandi dimensioni (LLM), prima che questi possano essere implementati e utilizzati come chatbot, devono essere sottoposti a una procedura denominata "addestramento". Durante l'addestramento, il modello linguistico analizza miliardi di testi e apprende i modelli linguistici sottostanti di quello che viene definito il suo "set di addestramento".

I dettagli meccanici precisi della procedura di addestramento esulano dall'ambito di questo post sul blog, ma l'aspetto fondamentale è che, nel processo di ottimizzazione, il modello di linguaggio di grandi dimensioni (LLM) è direttamente incentivato a ridurre al minimo la perplessità sui documenti del proprio set di addestramento! In altre parole, il modello impara col tempo che i frammenti di testo che incontra ripetutamente durante la procedura di addestramento dovrebbero presentare il minor livello possibile di perplessità.

Perché è un problema?

Poiché al modello viene richiesto di ridurre la perplessità dei documenti del set di addestramento, i rilevatori di perplessità e di burstiness classificano i documenti comuni del set di addestramento come generati dall'IA, anche quando in realtà sono stati scritti da esseri umani!

Ecco perché i rilevatori di IA basati sulla perplessità classificano la Dichiarazione d'Indipendenza come generata dall'IA: poiché la Dichiarazione d'Indipendenza è un famoso documento storico che è stato riprodotto in innumerevoli libri di testo e articoli su Internet, compare molto spesso nei set di addestramento dell'IA. E poiché il testo è esattamente lo stesso ogni volta che viene visto durante l'addestramento, il modello può memorizzare cos'è la Dichiarazione d'Indipendenza quando la vede, e quindi assegnare automaticamente a tutti i token una perplessità molto bassa, il che rende anche la burstiness davvero bassa.

Ho applicato la stessa visualizzazione sopra descritta alla Dichiarazione d'Indipendenza e si nota la stessa firma tipica dell'IA: un colore blu intenso e uniforme su tutto il testo, a indicare che ogni parola presenta una bassa perplessità. Dal punto di vista di un rilevatore basato sulla perplessità e sulla burstiness, la Dichiarazione d'Indipendenza è del tutto indistinguibile da un contenuto generato dall'IA.

È interessante notare che la prima frase della Dichiarazione d'Indipendenza presenta un colore blu ancora più intenso e un indice di perplessità inferiore rispetto al resto del testo. Ciò è dovuto al fatto che la prima frase è di gran lunga la parte più riprodotta del brano e quella che ricorre con maggiore frequenza nel set di addestramento di GPT-2.

Visualizzazione della "perplexity" della Dichiarazione d'Indipendenza

Allo stesso modo, abbiamo riscontrato che anche altre fonti comuni di dati di addestramento per i modelli di linguaggio di grandi dimensioni (LLM) presentano tassi elevati di falsi positivi quando vengono utilizzati rilevatori di perplessità e di burstiness. Wikipedia è un dataset di addestramento molto diffuso grazie alla sua elevata qualità e alla licenza non restrittiva; di conseguenza, è estremamente frequente che i suoi articoli vengano erroneamente identificati come generati dall'intelligenza artificiale, poiché i modelli linguistici sono ottimizzati specificamente per ridurre la perplessità sugli articoli di Wikipedia.

Si tratta di un problema in continua aggravazione man mano che l'IA si evolve e diventa sempre più avanzata, poiché i modelli linguistici di ultima generazione richiedono enormi quantità di dati: i crawler di OpenAI, Google e Anthropic stanno tutti setacciando freneticamente Internet proprio mentre leggete questo articolo, continuando ad acquisire dati per l'addestramento dei modelli linguistici. Gli editori e i proprietari di siti web dovrebbero preoccuparsi del fatto che consentire a questi scraper di scansionare il loro sito web per l'addestramento degli LLM possa significare che i loro contenuti potrebbero essere erroneamente classificati come generati dall'IA in futuro? Le aziende che stanno valutando la possibilità di concedere in licenza i propri dati a OpenAI dovrebbero valutare il rischio che tali dati vengano erroneamente identificati come generati dall'IA una volta che gli LLM li avranno acquisiti? Riteniamo che si tratti di un caso di fallimento del tutto inaccettabile, che sta peggiorando col passare del tempo.

Limite n. 2: la perplessità e la variabilità sono diverse a seconda dei modelli linguistici

Un altro problema legato all'uso della perplessità e della burstiness come metriche di rilevamento è che esse sono relative a un particolare modello linguistico. Ciò che ci si può aspettare da GPT, ad esempio, potrebbe non valere per Claude. Inoltre, quando vengono introdotti nuovi modelli, anche la loro perplessità risulta diversa.

I cosiddetti rilevatori basati sulla perplessità di tipo "scatola nera" devono scegliere un modello linguistico per misurare la perplessità effettiva. Tuttavia, quando la perplessità di quel modello linguistico differisce da quella del generatore, si ottengono risultati estremamente imprecisi, e questo problema non fa che aggravarsi con l'uscita di nuovi modelli.

Punto debole n. 3: i modelli commerciali non sempre mettono in luce la perplessità

I fornitori di modelli a codice chiuso non sempre rendono note le probabilità associate a ciascun token, quindi non è nemmeno possibile calcolare la perplessità per i modelli commerciali a codice chiuso, come ChatGPT, Gemini e Claude. Nella migliore delle ipotesi, è possibile utilizzare un modello open source per misurare la perplessità, ma ciò comporta gli stessi problemi descritti nel punto 2.

Punto debole n. 4: i testi in inglese non madrelingua (ESL) vengono erroneamente classificati come generati dall'IA

È emersa l'idea che i sistemi di rilevamento basati sull'intelligenza artificiale siano distorti a sfavore di chi non è madrelingua inglese, come dimostra uno studio condotto da Stanford nel 2023 su 91 saggi TOEFL. Sebbene Pangram analizzi approfonditamente i testi redatti da chi non è madrelingua inglese e li integri nel proprio set di addestramento affinché il modello sia in grado di riconoscerli e individuarli, i rilevatori basati sulla perplessità presentano effettivamente un tasso elevato di falsi positivi sui testi redatti da chi non è madrelingua inglese.

Ciò è dovuto al fatto che i testi scritti da chi sta imparando l'inglese presentano in genere una perplessità e una burstiness inferiori. Riteniamo che ciò non sia casuale: ciò deriva dal fatto che, durante il processo di apprendimento della lingua, il vocabolario dello studente è notevolmente più limitato, e lo studente non è inoltre in grado di formare strutture sintattiche complesse che risulterebbero fuori dal comune, o ad alto grado di sorpresa, per un modello linguistico. Riteniamo che imparare a scrivere in modo linguisticamente corretto, pur mantenendo un alto livello di perplessità e burstiness, sia una competenza linguistica avanzata che deriva dall'esperienza con la lingua.

Gli studenti per cui l'inglese non è la lingua madre, e riteniamo che ciò valga, per estensione, anche per gli studenti neurodiversi o con disabilità, sono più esposti al rischio di essere individuati dai sistemi di rilevamento basati sull'intelligenza artificiale che si avvalgono della tecnica della "perplessità".

Limite n. 5: i rilevatori basati sulla perplessità non sono in grado di migliorarsi autonomamente in modo iterativo

A nostro avviso, il principale limite dei rilevatori basati sulla perplessità – e il motivo per cui noi di Pangram abbiamo optato invece per un approccio basato sul deep learning – è che tali rilevatori non sono in grado di migliorarsi autonomamente con l'aumentare della quantità di dati e della potenza di calcolo.

Cosa significa? Man mano che Pangram acquisisce maggiore esperienza con i testi scritti da esseri umani grazie al nostro algoritmo di apprendimento attivo, migliora progressivamente. È così che siamo riusciti a ridurre il nostro tasso di falsi positivi dal 2% all'1%, poi allo 0,1% e ora allo 0,01%. I rilevatori basati sulla perplessità non sono in grado di migliorare con l'aumentare dei dati analizzati.

Risorse e letture consigliate

• DetectGPT: Rilevamento di testi generati da macchine in modalità zero-shot tramite la curvatura della probabilità è un articolo che analizza il panorama della perplessità locale per distinguere la scrittura umana da quella generata dall'IA, anziché basarsi sui valori assoluti di perplessità.

• Individuare i modelli di linguaggio di grandi dimensioni (LLM) con il binocolo: il rilevamento "zero-shot" dei testi generati automaticamente utilizza una nuova metrica denominata "cross-perplexity" per migliorare il rilevamento basato sulla perplessità di base.

• Il white paper tecnico di Pangram approfondisce la nostra soluzione alternativa per il rilevamento di testi generati dall'intelligenza artificiale basata sul deep active learning.

Conclusione

C'è una grande differenza tra il calcolo di una statistica che sia correlata alla scrittura generata dall'IA e la creazione di un sistema di livello produttivo in grado di individuare in modo affidabile i testi generati dall'IA. Sebbene i rilevatori basati sulla perplessità colgano un aspetto importante di ciò che rende umana la scrittura umana e ciò che rende "IA" la scrittura generata dall'IA, per i motivi descritti in questo articolo non è possibile utilizzare un rilevatore basato sulla perplessità per individuare in modo affidabile i testi generati dall'IA mantenendo un tasso di falsi positivi sufficientemente basso per le applicazioni di produzione.

In contesti come quello dell'istruzione, dove evitare i falsi positivi è fondamentale, speriamo di vedere un numero crescente di ricerche orientarsi verso metodi basati sul deep learning, abbandonando quelli basati sulla perplessità e sulla burstiness o sui parametri.

Ci auguriamo che questo chiarisca in parte il motivo per cui Pangram ha scelto di non ricorrere alla perplessità e alla burstiness per individuare i testi generati dall'intelligenza artificiale, concentrandosi invece su metodi affidabili e scalabili.

Pangram utilizza il deep learning anziché euristiche statistiche. Prova il nostro rilevatore di contenuti basato sull'intelligenza artificiale per ottenere una precisione di livello professionale.