In che misura Pangram è in grado di individuare i modelli di ragionamento?

Una delle innovazioni più significative nel campo dei modelli linguistici di grandi dimensioni nel 2025 è stata l'ascesa dei modelli di ragionamento. Si tratta, in parole povere, di modelli che hanno imparato a pensare prima di parlare.

Che cos'è un modello di ragionamento?

Un modello di ragionamento è simile a un normale LLM, con la differenza che, oltre a generare token di output, questi modelli sono addestrati anche a produrre token di ragionamento. Nella fase di ragionamento, il modello cerca di affrontare compiti complessi, provando diversi approcci e mettendosi in discussione prima di fornire una risposta. In pratica, questi modelli eccellono nella risoluzione dei problemi, in particolare nei campi della matematica e della programmazione, e ottengono risultati ben superiori alle aspettative nei test di benchmark.

Come funzionano i modelli di ragionamento?

I modelli di ragionamento seguono quella che viene definita una "catena di pensieri" prima di esprimersi. Ecco un esempio di come funziona, tratto da Deepseek-R1, l'unico modello di ragionamento attualmente disponibile che rende pubblici i propri "pensieri".

Esempio di catena di pensiero Deepseek R1

In questo esempio, Deepseek riflette su ciò che l'utente desidera prima di iniziare a generare token, risultando così più efficace nell'organizzare logicamente e nel valutare quale possa essere il miglior risultato possibile.

Quali sono i modelli di ragionamento più comuni?

Diversi fornitori hanno sviluppato modelli di ragionamento che hanno raggiunto prestazioni all'avanguardia.

OpenAI

La serie di modelli di ragionamento di OpenAI si chiama serie O. I modelli attualmente disponibili sono o1, o1-mini, o3, o3-pro e o4-mini. o3-pro è il più potente tra questi modelli.

Antropico

Anthropic ha aggiunto funzionalità di ragionamento alle ultime versioni di Claude. Sia Claude 4 Opus che Claude 4 Sonnet dispongono di una modalità di "ragionamento esteso" che consente loro di ragionare prima di rispondere.

Gemelli

La serie di modelli Gemini 2.5 di Google ora utilizza un processo di ragionamento interno ed è costituita da modelli dotati di capacità di ragionamento. Gemini 2.5 Pro, Gemini 2.5 Flash e Gemini 2.5 Flash-Lite dispongono tutti di capacità di ragionamento.

Deepseek

Deepseek R1 è stato il primo modello di ragionamento open source ed è stato lanciato dall'azienda cinese Deepseek. A differenza degli altri modelli commerciali closed-source, Deepseek consente di vedere effettivamente il ragionamento del modello oltre al risultato finale.

Qwen

Inoltre, un'altra azienda cinese, Qwen, ha lanciato un modello di ragionamento denominato Qwen-QWQ-32B. Si tratta di un modello di ragionamento più compatto che può essere implementato in una gamma di contesti più ampia rispetto a Deepseek R1.

Quali sono i risultati ottenuti da Pangram con questi modelli di ragionamento?

Abbiamo recentemente rilasciato un aggiornamento del modello di rilevamento basato sull'intelligenza artificiale di Pangram che migliora le prestazioni dei modelli di ragionamento su tutta la linea.

Il miglioramento più significativo in termini di prestazioni si è registrato con o3 e o3-pro. Ci siamo resi conto che o3 e o3-pro sono modelli piuttosto diversi da quelli precedentemente rilasciati da OpenAI e che il nostro vecchio modello di rilevamento dell'IA non era in grado di generalizzare altrettanto bene nei loro confronti, raggiungendo solo il 93% di recall quando lo abbiamo testato per la prima volta.

Risoluzione di o3 e o3-pro

Un altro problema che abbiamo riscontrato è che o3 e o3-pro sono notevolmente più costosi rispetto ai modelli precedenti, il che significa che non saremmo in grado di generare dati con essi sulla stessa scala degli altri modelli. A complicare ulteriormente le cose è il fatto che questi modelli richiedono anche più tempo per l'esecuzione, poiché impiegano molto tempo a elaborare i dati prima di generare i token di output.

Abbiamo rigenerato i dati del nostro set di addestramento includendo una piccola quantità di dati o3 e o3-pro. Nel nostro set di addestramento definitivo per il rilascio di luglio, il testo o3 rappresenta solo lo 0,17% del mix di dati di addestramento, mentre il testo o3-pro rappresenta solo lo 0,35%. Abbiamo bilanciato la situazione e sperato in una generalizzazione aumentando anche la composizione del testo o3-mini al 5% del mix di dati di addestramento. Sorprendentemente, ha funzionato molto bene! Con una leggera modifica al set di addestramento, siamo riusciti a far corrispondere il recall di o3 e o3-pro con quello degli altri LLM che valutiamo, senza dover sacrificare alcun falso positivo.

Pangram è un sistema di apprendimento che richiede pochi tentativi

Questo comportamento di Pangram, che ci permette di addestrarlo su un campione ridotto di dati provenienti da nuovi modelli di linguaggio di grandi dimensioni (LLM) qualitativamente diversi dai loro predecessori, rende Pangram ciò che definiamo un "Few-Shot Learner". Questo comportamento ha importanti implicazioni: quando vengono rilasciati nuovi LLM, o anche nuovi prodotti basati su LLM che sotto il cofano si basano su LLM ottimizzati che potrebbero avere stili di scrittura sottostanti diversi, Pangram è in grado di adattarsi a essi in modo rapido ed economico, senza la necessità di una massiccia rigenerazione del set di dati.

Molti ci chiedono perché crediamo di poter vincere quello che, in fin dei conti, è un gioco al "gatto e al topo". Poiché Pangram è un sistema di apprendimento basato su pochi esempi, mettersi al passo con i nuovi modelli di linguaggio (LLM) non è affatto così difficile come potrebbe sembrare a prima vista: bastano pochi esempi da mostrare a Pangram perché sia in grado di generalizzare e apprendere lo schema in modo molto efficiente. In parole povere, Pangram è estremamente efficace nell'“imparare ad imparare” come suonano i nuovi LLM, poiché ne ha visti così tanti in passato.

Questo, unito al fatto che ogni LLM ha uno stile proprio, ben definito e caratteristico, ha di fatto reso più facile per Pangram adattarsi ai nuovi LLM man mano che vengono rilasciati, anche se questi modelli continuano a migliorare e ad acquisire maggiori capacità. A nostro avviso, la capacità di un LLM è indipendente dalla sua rilevabilità.

Considerazioni finali: perché o3 e o3-pro sono diversi?

Abbiamo sentito dire da diverse persone nel mondo dell'IA che o3 e o3-pro hanno effettivamente un carattere diverso rispetto agli altri modelli di linguaggio (LLM) che abbiamo visto in precedenza. In base alla nostra esperienza, sono i primi modelli da molto tempo (dopo Claude 2) che Pangram non riesce a individuare con un'affidabilità superiore al 99% senza aver visto alcun dato del modello. Sebbene sia difficile individuare con precisione cosa li renda diversi, ecco una raccolta di alcune ipotesi sul perché potrebbero avere qualcosa di speciale.

• o3 e o3-pro sono eccessivamente ottimizzati per l'uso come strumenti. Sappiamo che Pangram rileva in gran parte i contenuti generati dall'IA sulla base di comportamenti e idiosincrasie introdotti nel post-addestramento. OpenAI afferma nel post pubblicato sul proprio blog che o3 e o3-pro si differenziano dai loro predecessori in quanto sono addestrati utilizzando l'apprendimento per rinforzo per utilizzare strumenti come parte del loro processo di post-addestramento. Questa differenza nell'algoritmo di post-addestramento potrebbe aver influenzato qualitativamente anche lo stile dei risultati.

• o3 e o3-pro tendono a "allucinare" di più. Secondo Nathan Lambert, o3 ha inserito nel codice un carattere non ASCII non valido e ha "allucinato" azioni compiute mentre cercava di risolvere i compiti, come ad esempio "allucinare" di aver eseguito un codice di cronometraggio su un MacBook Pro che era del tutto inventato; inoltre, valutazioni indipendenti condotte da METR hanno rilevato che o3 ha la tendenza a "manipolare i propri punteggi" piuttosto che risolvere effettivamente i compiti in modo autonomo.

Per ulteriori informazioni su o3 e o3-pro, consigliamo di leggere il post sul blog di Nathan, il "Vibe Check" di Dan Shipper e il post sul blog di OpenAI dedicato al lancio.

Conclusione

Pangram è all'altezza di qualsiasi altro modello di linguaggio grande (LLM) per quanto riguarda i modelli di ragionamento, ma o3 e o3-pro sembrano differenziarsi dai loro predecessori in termini di stile e tono di scrittura. Nel corso del processo di ottimizzazione delle prestazioni di Pangram su o3 e o3-pro, ci siamo resi conto che, in realtà, potremmo non aver bisogno di tutti gli esempi che pensavamo di dover raccogliere da ciascun LLM al momento del loro rilascio, poiché Pangram è un sistema di apprendimento estremamente efficiente con pochi esempi.

Stiamo valutando alcune modifiche alla nostra struttura e alla nostra routine di addestramento che renderanno l'aggiornamento di Pangram molto più rapido e semplice, consentendoci di rilasciare modelli di rilevamento basati sull'intelligenza artificiale in grado di individuare i modelli di linguaggio di grandi dimensioni (LLM) più recenti ancora più velocemente di prima. Restate sintonizzati per ulteriori aggiornamenti!