Aggiornamento del testo del pangramma: GPT-4o, Claude 3, LLaMA 3

Foto di Google DeepMind.

Oggi siamo lieti di dimostrare la nostra capacità di adattarci rapidamente ai nuovi modelli di linguaggio (LLM) presenti sul mercato, grazie al rilascio di un aggiornamento del nostro modello che raggiunge una precisione quasi perfetta nell'individuare i testi generati dall'intelligenza artificiale provenienti da GPT-4o, Claude 3 e LLaMA 3.

TL;DR:

• Abbiamo rilasciato una nuova versione di Pangram Text che migliora le prestazioni su GPT-4o, Claude 3 e LLaMA 3.
• La nostra pipeline infrastrutturale è progettata per acquisire rapidamente grandi quantità di testo generato dall'intelligenza artificiale proveniente da nuovi modelli non appena questi diventano disponibili al pubblico.
• Abbiamo notato che, man mano che le prestazioni di tutti questi nuovi modelli si avvicinano a quelle di GPT-4, anche dal punto di vista stilistico iniziano a sembrare tutti uguali.

Risultati

Il nostro modello più recente si è dimostrato piuttosto efficace nel rilevare i risultati dei nuovi modelli, pur senza averne visto alcun esempio nel set di addestramento. Tuttavia, non ci accontentiamo di un risultato semplicemente «piuttosto buono»: vogliamo assicurarci di spingerci sempre oltre i limiti di ciò che è possibile ottenere con il rilevamento basato sull'intelligenza artificiale e garantire la massima precisione possibile ai nostri clienti.

Per verificare le nostre prestazioni sui modelli linguistici di nuova generazione, abbiamo rinnovato il nostro set di valutazione, composto da 25.000 esempi di testi umani difficili da classificare e di testi generati dall'IA provenienti da una selezione di modelli linguistici. Circa il 40% di questo nuovo set di valutazione è costituito da un'ampia varietà di testi generati dall'IA provenienti da GPT-4o, Claude 3 e LLaMA 3, che coprono diversi ambiti, tra cui notizie, recensioni, istruzione e altro ancora.

Utilizziamo tutte le versioni dei nuovi modelli, quando disponibili: ad esempio, preleviamo campioni in modo equo dalle versioni Opus, Sonnet e Haiku di Claude 3.

Dopo aver aggiornato il nostro set di dati di addestramento per includere i modelli linguistici di grande scala (LLM) più recenti, abbiamo riscontrato che stiamo nuovamente ottenendo una precisione quasi perfetta sui testi generati dalla nuova generazione di modelli linguistici.

Oltre a migliorare le prestazioni sui nuovi modelli, abbiamo riscontrato che l'utilizzo di dati di addestramento provenienti dall'ultima generazione di modelli migliora in realtà leggermente anche le prestazioni di diversi modelli precedenti.

Abbiamo riscontrato che, pur non introducendo alcun peggioramento rispetto al nostro precedente set di valutazione del modello, siamo riusciti a migliorare i risultati in diversi casi rispetto al rilevamento di GPT-3.5 e GPT-4 (standard). Nello specifico, abbiamo riscontrato che 8 casi relativi a GPT-3.5, precedentemente non superati dal modello, ora vengono superati, e che 13 casi relativi a GPT-4, precedentemente non superati dal modello, ora vengono superati. Concludiamo quindi che la maggiore capacità del nostro modello di rilevare GPT-4o, Claude 3 e LLaMA 3 non comporta alcun costo in termini di capacità di rilevare i modelli più vecchi.

Stare al passo con i tempi

Eravamo consapevoli fin dall'inizio che il panorama dei modelli di linguaggio di grandi dimensioni (LLM) sarebbe cambiato rapidamente, quindi abbiamo progettato l'architettura del nostro sistema tenendo conto di questo aspetto. I nostri sistemi sono progettati per essere in grado di rigenerare i dati e avviare l'addestramento di un nuovo modello entro poche ore dalla pubblicazione di una nuova API.

Quando viene rilasciato un nuovo modello, generare un nuovo set di dati e addestrare nuovamente il modello è semplice come modificare una configurazione. Disponiamo di una libreria standard di modelli di prompt progettati per essere inseriti nei modelli di linguaggio di grandi dimensioni (LLM) al fine di produrre testi simili a quelli umani, vicini ma non identici alla parte umana del nostro set di dati. Descriviamo in dettaglio questo processo, denominato "Hard Negative Mining with Synthetic Mirrors", nel nostro rapporto tecnico.

Il calendario per il lancio di questo nuovo modello era il seguente:

13 maggio: GPT-4o è stato rilasciato e reso disponibile nell'API di OpenAI. 14 maggio: la pipeline dei dataset è stata aggiornata e sono stati creati nuovi set di addestramento e valutazione. 15-16 maggio: il modello di rilevamento dell'IA è stato addestrato utilizzando i nuovi dataset. 17 maggio: sono stati effettuati controlli di qualità e di correttezza e il modello è stato rilasciato.

L'infrastruttura che abbiamo realizzato ci permette di adattarci rapidamente, integrando i testi dei nuovi modelli nel sistema di rilevamento di produzione in appena una settimana.

Rendimenti decrescenti?

Man mano che i nuovi modelli migliorano sempre di più, devono diventare più difficili da individuare, giusto? Non abbiamo ancora trovato prove a sostegno di questa tesi allettante ma, in definitiva, errata.

Dall'osservazione emerge che i modelli più avanzati, proprio grazie ai loro stili più particolari, sono in realtà più facili da individuare rispetto a quelli meno avanzati. Ad esempio, abbiamo riscontrato che il nostro vecchio modello era più efficace nel rilevare Claude Opus rispetto a Sonnet e Haiku.

Come si evince dalla classifica di LMSYS, molti modelli di base stanno convergendo asintoticamente al livello di GPT-4, ma nessun modello è ancora riuscito a superarlo in modo convincente con un margine sostanziale. Guardando la situazione da una prospettiva più ampia, se diverse aziende produttrici di modelli di base adottano la stessa architettura basata sull'attenzione e la addestrano sull'intero Internet, non sorprende che il linguaggio prodotto da tutti i modelli finisca per sembrare incredibilmente simile tra loro. Chi interagisce regolarmente con i modelli linguistici capirà immediatamente cosa intendiamo dire.

Da un punto di vista osservativo, continuiamo a constatare che i modelli di linguaggio di grandi dimensioni (LLM), quando viene loro chiesto di scrivere in modo creativo e autentico – ad esempio un saggio di opinione, una recensione o un racconto breve di fantasia – producono ancora testi banali e privi di fantasia. Riteniamo che ciò sia fondamentalmente una conseguenza dell'obiettivo di ottimizzazione volto a prevedere completamenti ad alta probabilità, evitando al contempo pensieri e idee originali che esulano dalla distribuzione.

Apprezziamo gli scritti originali dei nostri simili perché possono offrirci una prospettiva nuova o un modo diverso di pensare, non perché rispecchiano ciò che una persona direbbe in genere. Finché questo valore rimarrà valido, ci sarà sempre bisogno di strumenti di rilevamento dell'IA e ci sarà sempre un modo per risolvere il problema.