No, i modelli di linguaggio di grandi dimensioni (LLM) non si limitano a imitare il testo umano

Alcuni ritengono che non sia possibile individuare l’intelligenza artificiale perché i modelli di linguaggio di grandi dimensioni (LLM) sono addestrati a imitare il testo umano, ma non è così. In realtà, gli LLM scrivono in modo nettamente diverso dagli esseri umani, ed è proprio questo che rende possibile l’individuazione dell’intelligenza artificiale.

Nel suo articolo pubblicato su Substack, Freddie DeBoer scrive:

"Da dove provengono i modelli [di scrittura basati sull’IA]? Provengono dai testi scritti dall’uomo presenti nei corpora di addestramento utilizzati per costruire i modelli di linguaggio di grandi dimensioni (LLM). Ogni modello testuale di un LLM – ogni modello testuale di un LLM – è, in ultima analisi, il prodotto della produzione testuale umana. La natura stessa di un LLM consiste nel modellare il testo umano sulla base del testo umano."

Egli conclude che non è quindi possibile realizzare un rilevatore di IA con un tasso di falsi positivi estremamente basso, poiché c'è sempre la possibilità che qualcuno possa pensare e scrivere la stessa stringa di testo che un LLM produrrebbe.

Spesso sentiamo dire diverse versioni di questa storia:

"I modelli di linguaggio di grandi dimensioni (LLM) campionano una distribuzione di testi scritti da esseri umani; pertanto non è possibile individuare un testo generato da un LLM, poiché la distribuzione utilizzata per l'addestramento di questi modelli è quella dei testi scritti da esseri umani."

"I modelli di linguaggio di grandi dimensioni (LLM) sono addestrati a scrivere come gli esseri umani, quindi, se fanno bene il loro lavoro, i testi generati dall'IA riusciranno a eludere qualsiasi sistema di rilevamento."

A prima vista queste argomentazioni sembrano valide, ma non tengono conto del fatto che i moderni modelli di linguaggio (LLM) sono sistemi complessi. I moderni LLM sono addestrati a fare molto di più che limitarsi a riprodurre la distribuzione testuale umana. In questo post del blog vedremo perché e in quali punti i moderni LLM, come ChatGPT, Claude e Gemini, si discostano dalla distribuzione testuale umana e cosa conferisce loro quello stile e quella voce unici che rendono possibile individuare i loro testi.

Sintesi: Si è tentati di credere che, poiché i modelli di linguaggio di grandi dimensioni (LLM) siano addestrati a riprodurre il testo umano, i loro risultati diventeranno indistinguibili dalla scrittura umana. In realtà, però, gli LLM non si limitano a riprodurre approssimativamente il testo umano: vengono sottoposti a un addestramento successivo per diventare assistenti utili in grado di seguire le istruzioni, il che limita la loro scrittura a una ristretta serie di scelte individuabili a livello algoritmico.

All’inizio: Previsione sul prossimo token

La storia dei modelli linguistici ha avuto inizio con i modelli di completamento. Questi primi modelli linguistici erano piuttosto semplici: imparavano, sulla base di un ampio insieme di dati testuali, in che modo le parole si susseguivano comunemente. A quel punto, l’utente forniva al modello di completamento alcune parole iniziali e, partendo da quelle, il modello prevedeva la parola successiva più probabile.

Un modello di completamento prevede una distribuzione di probabilità relativa al token successivo

Fonte immagine: AIML.com

In sostanza, un modello di completamento accetta una stringa iniziale, o prefisso, come ad esempio “Il deep learning è molto”, e poi genera un elenco di probabilità relative a ciò che potrebbe seguire. Queste probabilità vengono aggregate su tutti i completamenti presenti in un corpus di addestramento molto ampio, costituito principalmente da dati provenienti da Internet. Il risultato è stato un modello probabilistico di tutta la scrittura umana, in grado di indovinare quali parole fossero più probabili in un determinato ordine, tenendo conto delle frequenze naturali delle parole presenti nel set di dati di addestramento.

Da qui sono nati i primi modelli linguistici: GPT-1, GPT-2 e GPT-3. Questi modelli sono ora definiti “modelli di base”: rappresentano le distribuzioni grezze del linguaggio umano, ma i loro output sono grezzi e non rifiniti: non seguono le istruzioni e non sono in grado di condurre una conversazione. Oggi chiamiamo «pre-addestramento» questa fase iniziale dello sviluppo dei modelli linguistici , e si tratta solo della prima fase nella creazione di un assistente IA o di un chatbot: dopo di essa, il processo prosegue con molte altre fasi.

Da GPT a ChatGPT

Quando siamo passati da una distribuzione grezza sulle parole alla capacità di interagire con un modello linguistico come se fosse una persona? Per rispondere a questa domanda, dobbiamo tornare indietro al marzo 2022, quando si è verificata la prima grande svolta nella trasformazione dei modelli linguistici in assistenti: InstructGPT, lanciato da OpenAI.

InstructGPT ha rappresentato la prima occasione in cui un modello linguistico è stato addestrato in modo esplicito non solo a imitare il linguaggio umano, ma anche a seguire le istruzioni fornite da un utente, che oggi chiamiamo “prompt”.

Le tre fasi successive all'addestramento descritte nell'articolo su InstructGPT: messa a punto supervisionata, addestramento del modello di ricompensa e apprendimento per rinforzo

Ecco una figura tratta dall'articolo originale su InstructGPT. L'articolo originale ha dimostrato che è possibile applicare una tecnica chiamata "post-training" per personalizzare un modello di base, in questo caso GPT-3, trasformandolo in un assistente utile e in grado di seguire le istruzioni, modificandone lo stile in modo da attribuirgli una personalità specifica.

L'articolo descrive tre fasi:

1. Gli autori umani forniscono esempi di quelle che ritengono essere risposte accettabili da parte dell'IA in risposta a un prompt
2. I ricercatori nel campo dell'intelligenza artificiale hanno sviluppato un modello di ricompensa in grado di apprendere quali, tra le risposte fornite, gli esseri umani tendono a preferire
3. Utilizzando il modello di ricompensa, i ricercatori nel campo dell’intelligenza artificiale addestrano il modello di linguaggio di grandi dimensioni (LLM) a massimizzare la ricompensa nel corso di un ampio insieme di risposte generate

È simile al condizionamento pavloviano della psicologia! I ricercatori premiano il modello per alcuni output e non per altri, e attraverso la ripetizione il modello impara ad associare qualcosa che in precedenza era neutro, ovvero una risposta preferita dall’utente, a un valore positivo derivante dalla funzione di ricompensa. Questa tecnica è chiamata “instruction tuning” ed è ciò che trasforma il modello di base in un “instruct model”: un modello in grado di sostenere una conversazione e di seguire le istruzioni dell’utente.

La messa a punto delle istruzioni impedisce ai modelli linguistici di andare fuori strada, di dimenticare informazioni chiave contenute nel prompt o di lanciarsi in digressioni assurde. Inoltre, offre agli sviluppatori come OpenAI e Anthropic il controllo sul comportamento dei propri modelli. Ad esempio, i modelli dovrebbero rifiutarsi di spiegare a un utente come costruire una bomba o rapinare una banca, anche se questa fosse la risposta desiderata dall’utente. Senza il post-addestramento, l’allineamento dei modelli, ovvero la capacità di rendere i modelli linguistici di grandi dimensioni utili, innocui e sicuri, non sarebbe possibile. Anthropic è stata pioniera in questo tipo di specificazione del comportamento dei modelli con il suo articolo sulla «Constitutional AI», che descrive come l’azienda utilizzi tecniche di post-addestramento per creare un’IA che segua una serie di principi delineati nella costituzione di Anthropic. Infine, in teoria, l’ottimizzazione delle istruzioni rende i modelli più piacevoli con cui interagire. Poiché i valutatori umani premiano il modello per aver fornito risposte gradevoli, il modello diventa più amichevole e sviluppa una personalità migliore.

Non c'è nulla di gratis: le conseguenze negative del post-allenamento

Il post-addestramento non porta solo vantaggi. La rimodellazione dell’output influisce notevolmente sul comportamento di un modello e rende il suo linguaggio molto diverso da quello del modello di base originale.

Adulazione

L'ottimizzazione di un modello di linguaggio di grandi dimensioni (LLM) in base alle preferenze umane può indurre il modello a privilegiare il desiderio di compiacere le persone rispetto alla correttezza. Se questo fenomeno si spinge troppo oltre, l'LLM finirà per rafforzare le false convinzioni di un utente invece di contraddirle. Nell'aprile 2025 si è verificato un notevole scandalo riguardo a questo tipo di comportamento servile da parte del modello, quando OpenAI ha ammesso che la sua nuova versione di GPT-4o era eccessivamente adulatoria e accondiscendente, persino a discapito degli utenti.

Perdita di creatività e diversità nei risultati generati dall'intelligenza artificiale

Il post-addestramento porta inoltre a risposte meno creative e originali da parte dei modelli di linguaggio di grandi dimensioni (LLM). Alcuni ricercatori ipotizzano che il post-addestramento faccia sì che i testi generati dagli LLM risultino piatti, banali, tutti uguali o simili a scarti prodotti dall’IA.

Un articolo del 2024, intitolato “Creativity has Left the Chat”, mette a confronto la diversità delle versioni “instruct” e “base” del modello di IA di Meta, Llama 2. Gli autori hanno riscontrato che il modello “instruct” di Llama 2 mostrava una diversità semantica e stilistica notevolmente inferiore nei propri output; ad esempio, nella scelta dei personaggi delle storie, Llama 2 “instruct” sceglieva sistematicamente personaggi della stessa età, nazionalità e tipo di personalità, attribuendo loro persino gli stessi nomi. Di seguito è riportata una nuvola di parole dei nomi scelti dai modelli base e "instruct".

Nuvole di parole composte da nomi generate da modelli di base rispetto a modelli allineati, tratte da "Creativity Has Left the Chat"

Logit appiattiti e collasso della moda

A questo proposito, il post-addestramento determina i cosiddetti "logit appiattiti", per cui i modelli di linguaggio di grandi dimensioni (LLM) sottoposti a post-addestramento sceglieranno in modo deterministico un'unica parola successiva, anziché produrre una distribuzione variegata delle possibili parole successive.

Sebbene a prima vista ciò non sembri un problema, porta a quello che viene definito “collasso modale”, che si verifica quando i modelli di linguaggio di grandi dimensioni (LLM) smettono di produrre una ricca varietà di espressioni e si limitano invece a ripetere continuamente le stesse scelte limitate.

Collasso modale vs. copertura modale: un modello con collasso modale concentra la probabilità su un’unica moda

Ecco un esempio illustrativo del “mode collapse”: dati tre modi generali e comuni per esprimere un concetto, un LLM soggetto a “mode collapse” opterà per default per il modo più comune di esprimerlo, anziché distribuire la propria probabilità su tutti i modi possibili di esprimerlo.

Che cosa c'entra questo con la rilevabilità?

Il fatto che gli LLM siano addestrati in questo modo comporta alcune implicazioni per il rilevamento. Poiché gli LLM sono ottimizzati per specifiche preferenze umane, tendono ad assumere personalità molto distinte. Queste personalità presentano peculiarità, tic e idiosincrasie che un modello di rilevamento è in grado di distinguere dalla scrittura umana. I logit appiattiti e il collasso della moda indicano inoltre che gli LLM allineati tendono a compiere scelte molto coerenti durante la generazione di testo; ciò significa che possiamo individuare quali siano tali scelte analizzando grandi quantità di dati provenienti sia da esseri umani che dall’IA.

Inoltre, i modelli di linguaggio di grandi dimensioni (LLM) sviluppati al giorno d’oggi finiscono per assimilare i propri stessi output nel corso dell’addestramento, semplicemente a causa della crescente “slopificazione” dei testi su Internet. Ad esempio, alla fine del 2024, oltre un terzo dei nuovi articoli su Internet era generato dall’IA; una tale quantità di testo generato dall’IA porta a un effetto di amplificazione per cui i nuovi modelli assumono anche le personalità dei modelli più vecchi che hanno generato quel testo, persino tra famiglie di modelli diverse. Ecco perché molti modelli linguistici di grandi dimensioni (LLM) mostrano somiglianze stilistiche con il ChatGPT originale, anche se sono stati realizzati da laboratori completamente diversi! A volte, ciò avviene addirittura di proposito: è opinione diffusa che i laboratori cinesi cerchino di “distillare” dai modelli pionieristici americani come Claude addestrando i propri modelli sui loro output. Ciò conferisce a questi modelli linguistici una personalità simile a quella di Claude!

I modelli di linguaggio di grandi dimensioni (LLM) saranno sempre così facilmente individuabili?

Comprendere e risolvere il fenomeno del “mode collapse” è un ambito di ricerca in continua evoluzione nel campo dell’intelligenza artificiale. I modelli di linguaggio di grandi dimensioni (LLM) saranno un giorno in grado di produrre distribuzioni di output più diversificate? La mia risposta è sì, e ci sono persino alcuni modelli di linguaggio che sono già piuttosto diversificati: infatti, li abbiamo già a disposizione sotto forma di modelli di base!

Tuttavia, il post-addestramento come paradigma non è destinato a scomparire. Il motivo per cui i modelli di linguaggio di grandi dimensioni (LLM) compiono scelte coerenti e hanno preferenze specifiche riflette le preferenze dei loro sviluppatori. Chiedete a un modello di linguaggio cinese cosa sia successo in Piazza Tienanmen nel 1989 e potrete notare immediatamente le preferenze di quello sviluppatore! Il fatto è che non possiamo avere modelli linguistici sicuri e allineati che si comportino in modo utile e innocuo senza il post-addestramento. In fin dei conti, le aziende che sviluppano LLM stanno realizzando prodotti di consumo che presentano requisiti comportamentali: ci sono alcune aree dello spazio testuale umano (come la tossicità, la disinformazione, ecc.) da cui le aziende che sviluppano LLM non vogliono che i loro modelli attingano. Infine, le aziende che sviluppano modelli di linguaggio di grandi dimensioni (LLM) vogliono anche ottimizzare i propri modelli affinché abbiano personalità piacevoli: più le persone si divertono a interagire con i loro modelli, più è probabile che utilizzino un modello specifico e non quelli della concorrenza. Si è potuto osservare come ciò si sia manifestato nel modo in cui alcuni fan di GPT-4o hanno reagito alla decisione di OpenAI di interrompere il supporto per quel modello.

Queste preferenze degli sviluppatori e delle persone si traducono, in ultima analisi, in modelli che limitano lo spazio della personalità e degli output di questi LLM in cambio di allineamento, modellamento del comportamento e ottimizzazione della personalità. Pertanto, fintanto che gli sviluppatori di questi modelli continueranno ad avere preferenze e scelte specifiche riguardo al comportamento dei modelli, ritengo che Pangram dovrebbe essere in grado di rilevare tali preferenze in modo coerente.