Presentazione dell'identificazione tramite IA: Pangram è in grado di distinguere i diversi modelli di linguaggio (LLM) l'uno dall'altro

Pangram è il software leader nel rilevare i testi generati dall'intelligenza artificiale tramite ChatGPT, Claude, Gemini e altri strumenti, e nel distinguere i testi scritti dall'intelligenza artificiale da quelli scritti da esseri umani.

Ora facciamo un ulteriore passo avanti e lanciamo un modello avanzato in grado non solo di individuare i contenuti generati dall'intelligenza artificiale, ma anche di stabilire da quale modello di linguaggio (LLM) provenga un determinato testo generato dall'IA. Abbiamo chiamato la nostra nuova tecnologia "AI Identification".

Identificazione tramite IA

Intuitivamente, le persone stanno iniziando a rendersi conto che i diversi modelli di linguaggio (LLM) hanno stili di scrittura diversi. Ad esempio, ChatGPT è noto per essere piuttosto diretto e schietto, Claude per essere più fluido e colloquiale, Grok per essere senza censure e provocatorio, mentre Deepseek-R1 sta iniziando a distinguersi per essere prolisso e verboso.

Graham Neubig ironizza sulle diverse tendenze stilistiche dei modelli di linguaggio di grandi dimensioni

Ethan Mollick riflette sulla simpatica personalità di Claude Sonnet.

Uno studio recente condotto da Lisa Dunlap e dai suoi collaboratori dell'Università della California, Berkeley, ha analizzato le differenze qualitative (o, in termini più informali, le "vibrazioni") dei diversi modelli di linguaggio di grandi dimensioni (LLM). Sono emersi molti aspetti interessanti, come ad esempio il fatto che "Llama è più spiritoso, utilizza una maggiore formattazione, fornisce più esempi e si esprime molto meno su questioni etiche rispetto a GPT e Claude". Ciò implica che le prestazioni dei modelli non sono sempre in linea con le preferenze umane: anche se GPT-4 e Claude-3.5 sono modelli più avanzati rispetto alla serie Llama, Llama sembra sempre andare oltre le aspettative su Chatbot Arena, una classifica dei modelli di linguaggio basati su Elo (sistema di classificazione) e alimentata dal crowdsourcing, che si basa sulle preferenze relative alle risposte agli stessi prompt. I modelli che ottengono buoni risultati su Chatbot Arena sono più intelligenti e capaci, o stanno semplicemente cercando di manipolare la psicologia umana in modo da rendersi più "simpatici"? E se alcuni modelli sono più utili e simpatici di altri, è davvero importante che possano essere meno capaci di risolvere problemi di ragionamento a livello di dottorato? Queste sono domande che vale la pena approfondire e che sono importanti per comprendere l'utilità di sistemi come Chatbot Arena rispetto alle valutazioni tradizionali dei modelli.

Noi di Pangram ci siamo chiesti se fosse possibile che il nostro modello potesse sfruttare queste caratteristiche per identificare e distinguere questi modelli di linguaggio di grandi dimensioni (LLM) gli uni dagli altri.

Sistema di identificazione basato sull'intelligenza artificiale di Pangram

Proprio come addestriamo il nostro modello di base per il rilevamento dell'IA a distinguere i testi generati dall'IA da quelli scritti da esseri umani, addestriamo lo stesso modello di rilevamento anche a identificare l'IA utilizzando una tecnica chiamata "multi-task learning". In pratica, classifichiamo i vari modelli linguistici in 9 famiglie, che abbiamo individuato attraverso una serie di esperimenti approfonditi.

Le famiglie sono le seguenti:

1. GPT-3.5
2. GPT-4 (comprende GPT-4o, GPT-4-turbo e GPT-4o-mini)
3. Modelli di ragionamento di OpenAI
4. Claude
5. Google (comprende sia le varianti Gemini che Gemma)
6. Grok
7. DeepSeek
8. Amazon Nova
9. Altro (comprende LLaMA, Mistral, Qwen e altri derivati open source di questi modelli)

In pratica, ciò avviene aggiungendo un altro "strato" alla nostra rete neurale. Quando addestriamo il modello per il compito di rilevamento dell'IA, addestriamo contemporaneamente anche il modello per il compito di identificazione dell'IA, passando l'etichetta del modello alla rete ed effettuando la retropropagazione dell'errore sia per la previsione di identificazione dell'IA che per quella di rilevamento.

Fonte dell'immagine: GeeksForGeeks

Quasi tutti i livelli del modello sono condivisi tra i due compiti, mentre solo il livello di previsione finale è separato.

Nell'apprendimento multitasking si osserva che alcuni compiti si favoriscono a vicenda quando vengono appresi insieme, mentre altri si ostacolano a vicenda. In biologia, un concetto simile è l'idea di simbiosi contro parassitismo. Ad esempio, un pesce pagliaccio che vive in un anemone di mare è un esempio di simbiosi: il pesce pagliaccio si nutre dei predatori che possono danneggiare l'anemone, mentre il pesce pagliaccio è protetto dai propri predatori mimetizzandosi e nascondendosi all'interno dell'anemone.

Abbiamo riscontrato che l'aggiunta del compito di identificazione dei modelli di linguaggio di grandi dimensioni (LLM) è complementare a quella del compito di rilevamento degli stessi. In altre parole, chiedere al nostro modello non solo di rilevare i testi generati dall'IA, ma anche di identificare il modello da cui provengono, risulta complessivamente utile per riuscire a individuare l'IA. Anche altri ricercatori hanno confermato che i vari modelli di linguaggio di grandi dimensioni non solo sono distinguibili dai testi scritti da esseri umani, ma sono anche distinguibili gli uni dagli altri.

Un embedding è una rappresentazione di un brano di testo sotto forma di vettore numerico. I valori effettivi dell'embedding non hanno significato se considerati isolatamente, ma quando due embedding sono vicini tra loro, ciò significa che hanno un significato simile o uno stile simile. Utilizzando una tecnica chiamata UMAP, possiamo visualizzare gli embedding, che sono di dimensione molto elevata, in uno spazio bidimensionale. Questi autori hanno scoperto che quando i documenti scritti da esseri umani e dai modelli di linguaggio (LLM) vengono convertiti in embedding di stile, come si può vedere nell'immagine sopra, tutti i documenti corrispondenti allo stesso LLM sono separabili nello spazio degli embedding! Ciò significa che, nel complesso, tutti i documenti scritti dallo stesso LLM sono più vicini nello stile rispetto a quelli scritti da LLM diversi, o da LLM e esseri umani.

Questo risultato ci ha dato la certezza che fosse possibile realizzare un classificatore in grado di identificare il modello di linguaggio di base (LLM) di origine.

Precisione dell'identificazione tramite IA

Il nostro modello ha un'accuratezza del 93% nell'identificare la famiglia di LLM corretta da cui proviene un testo generato dall'IA. Di seguito è riportata la matrice di confusione, che mostra la frequenza con cui il nostro modello identifica correttamente ciascuna famiglia di LLM (celle diagonali) rispetto alla frequenza con cui confonde un LLM con un altro (celle fuori dalla diagonale). Più scuro è il colore, maggiore è il numero di previsioni che ricadono in quella cella. Un modello perfetto avrebbe quadrati scuri solo lungo la diagonale e quadrati bianchi ovunque altrove.

Alcune osservazioni interessanti sulla nostra matrice di confusione:

• Le confusioni si verificano più spesso tra le diverse famiglie di modelli. Ad esempio, GPT-4 viene spesso confuso con la serie di modelli di ragionamento di OpenAI. Ciò è comprensibile, poiché GPT-4 è probabilmente un componente o un punto di partenza per i modelli di ragionamento di OpenAI!

• Il modello tende a classificare i modelli di linguaggio di grandi dimensioni (LLM) nella categoria "Altro" più spesso che in quella di un LLM specifico. Ciò dimostra che, nei casi in cui il modello non è sicuro, è più propenso a optare per "Altro" piuttosto che indicare un LLM specifico.

Sebbene il classificatore LLM non sia perfetto, spesso è accurato e, cosa più importante, quando commette un errore, confonde determinati sistemi di IA con altri sistemi di IA, ma non confonde i risultati prodotti dai sistemi di IA con la vera scrittura umana.

Perché l'identificazione tramite IA è importante?

Abbiamo ritenuto importante andare oltre il semplice rilevamento dell'IA e occuparci anche della sua identificazione, per una serie di motivi.

• In primo luogo, riteniamo che insegnare al modello a distinguere gli stili di scrittura dei diversi modelli di linguaggio (LLM) – un compito più complesso rispetto al semplice riconoscimento della presenza o meno dell’IA – contribuisca a migliorare le prestazioni dello stesso rilevatore di IA. Chiedendo al modello di spingersi oltre i propri limiti, esso acquisisce in un certo senso competenze avanzate e conoscenze latenti che lo aiutano a generalizzare il proprio funzionamento, consentendogli di rilevare i testi generati dall’IA con maggiore precisione.

• L'interpretabilità è un altro motivo per cui desideriamo visualizzare i risultati del classificatore LLM. Vorremmo rassicurare gli utenti sul fatto che il modello sappia effettivamente cosa sta facendo "dietro le quinte" e non si limiti a formulare ipotesi casuali (come molti altri rilevatori casuali). Mostrando non solo il punteggio relativo all'IA, ma anche da quale LLM provenga il testo, speriamo di rafforzare la fiducia nella capacità del modello di cogliere le sfumature dello stile di scrittura generato dall'IA.

• Infine, vogliamo individuare delle tendenze nel tempo: quali modelli di linguaggio (LLM) vengono utilizzati nella pratica e con quale frequenza? Quali sono i modelli di linguaggio preferiti dagli studenti, dai truffatori e dai programmatori? Questi sono i tipi di domande a cui speriamo di poter rispondere in studi futuri.

Conclusione

Speriamo che apprezzerete la nostra funzione di identificazione basata sull'intelligenza artificiale e che vi sia utile per aiutare le persone a comprendere le caratteristiche intrinseche e gli stili delle diverse famiglie di modelli di linguaggio di grandi dimensioni (LLM). Per ulteriori informazioni, scriveteci all'indirizzo info@pangram.com!