I rilevatori di IA funzionano con GPT-5?

I rilevatori di IA funzionano con GPT-5?

Siamo tornati con un altro post della nostra serie dedicata al test del sistema di rilevamento dell'IA di Pangram il giorno stesso della loro uscita!

In breve: Pangram è l'unico rilevatore di IA in grado di individuare in modo affidabile GPT-5 senza essere stato specificatamente addestrato a farlo.

Nei precedenti articoli di questa serie abbiamo esaminato la capacità di Pangram di individuare:

• Modelli di ragionamento, come o3 di OpenAI, Gemini 2.5 Pro e Claude 4 di Anthropic
• Llama 4 di Meta
• GPT 4.5
• Gli stili di scrittura di Claude
• GPT-4o, Llama 3 e Claude 3

Finora non abbiamo mai visto Pangram fallire su nessun modello linguistico. Attendevamo con trepidazione il lancio del modello più chiacchierato degli ultimi tempi, e oggi OpenAI ha finalmente annunciato GPT-5.

Questo pomeriggio abbiamo esaminato alcuni dei nostri primi test condotti sul rilevatore di IA di Pangram Labs su GPT-5, oltre ad alcuni dei prodotti della concorrenza. Siamo rimasti piuttosto soddisfatti dei risultati: non abbiamo ancora riscontrato alcun caso in cui il rilevatore di IA di Pangram abbia fallito con i nostri prompt più creativi su GPT-5, mentre i risultati della concorrenza ci sembrano, nel migliore dei casi, incostanti.

Test di GPT-5

La nostra prima prova con GPT-5 è iniziata con una battuta interna all'ufficio: cercare di convincere qualcuno che mangiare i gamberetti è meglio che mangiare l'aragosta. Abbiamo chiesto a GPT-5 di scrivere un discorso appassionato sul perché mangiare i gamberetti sia meglio che mangiare l'aragosta. Ecco il risultato:

"I gamberetti vincono. Ecco perché. I gamberetti hanno il sapore del mare senza essere troppo invadenti. L'aragosta può risultare pesante e un po' insipida se non è cotta alla perfezione. Basta un minuto di cottura in più e l'aragosta diventa fibrosa. I gamberetti offrono un margine di tolleranza più ampio. Alla griglia, saltati in padella, bolliti, fritti, in qualsiasi modo. Rimangono sempre croccanti e dal sapore pulito. La consistenza conta. I gamberetti scricchiolano. Quel morso è il punto cruciale. L'aragosta tende ad essere densa e ricca in un modo che stanca in fretta. Due bocconi di aragosta con il burro sono fantastici. Dodici bocconi sembrano una sfida. Posso divorare un intero piatto di gamberetti all'aglio e volerne ancora uno nascosto sotto il prezzemolo. I gamberetti si sposano bene con tutto. Aglio, peperoncino, lime, burro, zenzero, basilico, curry, Old Bay, miso, gochujang. Li fa risplendere tutti. L'aragosta pretende il centro della scena e poi chiede soprattutto burro. Se la versione migliore di una cosa ha bisogno di una pozza di latticini fusi per sembrare speciale, forse quella cosa non regge il peso. Il sapore al minuto è reale. I gamberetti cuociono in circa tre minuti. Ciò significa padella calda, sale, rosolare, fatto, boom di sapore. Con l'aragosta si lotta con i gusci, si cuoce al vapore, si calcola il tempo, si rompono i gusci, si cerca di estrarre la minuscola polpa da angoli strani. Più lavoro che ricompensa. I gamberetti sono poco drammatici, ma molto gratificanti. L'accessibilità economica cambia il gusto. Il cibo ha un sapore migliore quando non costa come una rata del mutuo. I gamberetti possono essere la cena di un giorno feriale. L'aragosta urla "sfoggio di compleanno". I gamberetti portano gioia senza cerimonie. Quel fattore di casualità li rende onestamente più deliziosi nella vita reale. La versatilità conta. I gamberetti passano dai tacos agli scampi, ai po'boy, agli gnocchi, alla paella senza alcuno sforzo. Sono buoni freddi, caldi, piccanti, agrumati, ricchi o leggeri. L'aragosta cerca di saltellare qua e là e di solito finisce di nuovo in un panino con la maionese. Ottimo panino. Ma sempre la stessa nota. L'assorbimento della salsa è eccezionale. I gamberetti assorbono il burro all'aglio, l'olio al peperoncino e il limone in un modo che l'aragosta non fa. L'aragosta se ne sta lì come un cameo di una celebrità. I gamberetti imparano le battute e rubano la scena. Anche gli avanzi vincono. I gamberetti freddi con salsa cocktail il giorno dopo sono perfetti. Gli avanzi di aragosta sembrano un compito a casa. L'aragosta riscaldata diventa gommosa. I gamberetti riscaldati, se sei abbastanza fortunato da averne ancora, hanno ancora il sapore di una festa. E poi c'è l'atmosfera. I gamberetti si adattano a un barbecue in giardino, a una padella durante la settimana o a un piatto elegante. L'aragosta rende la tavola silenziosa, come se tutti avessero paura di rovinarla. Voglio cibo che faccia parlare la gente, strappare il pane, intingere, passare i piatti. I gamberetti lo fanno. Senti, l'aragosta va bene. È appariscente. Ha una bella storia. Ma se parliamo di gusto puro che vorrei ritrovare domani, i gamberetti vincono. Sapore più pulito. Consistenza migliore. Più varietà. Meno complicazioni. Più divertimento. Dammi una padella calda, un po' d'aglio, un limone e mezzo chilo di gamberetti. Quella è la cena che desidero davvero."

Pangram è in grado di prevedere con un grado di affidabilità estremamente elevato che l'intero documento sia stato generato dall'intelligenza artificiale.

Risultati del rilevamento tramite IA di Pangram sul testo "gamberetti vs aragosta"

Abbiamo provato diversi altri strumenti di rilevamento dell'IA su questo testo. GPTZero, ZeroGPT, Grammarly, UndetectableAI e Originality.AI indicano tutti che il testo è stato scritto da un essere umano, sebbene provenga direttamente da GPT-5 senza alcuna modifica. Riteniamo che ciò dimostri la validità del nostro approccio di ricerca e delle nostre capacità di generalizzazione, supportate da un modello potente e da un set di dati di altissima qualità!

Risultati ottenuti da altri rilevatori di IA sul testo "gamberetti vs aragosta"

Tuttavia, questo è solo un esempio che si potrebbe definire "selezionato con cura". Dovrete credermi sulla parola quando vi dico che questo testo è stata letteralmente la prima cosa che abbiamo provato. Abbiamo quindi proseguito con i nostri test.

Verifica delle "migliori capacità di scrittura" di GPT-5

Una delle affermazioni fatte durante la diretta di oggi è stata che GPT-5 è migliorato nella scrittura rispetto ai suoi predecessori. Sebbene possiamo solo esprimere un giudizio soggettivo al riguardo, oggi abbiamo fatto del nostro meglio per elaborare dei prompt che mettessero in evidenza le migliorate capacità di scrittura creativa di GPT-5, fornendogli spunti che costringessero il modello a mettere alla prova sia le sue capacità di ragionamento che la sua creatività.

I prompt che abbiamo testato:

1. Scrivi un saggio analitico e persuasivo sul motivo per cui le scuole dovrebbero adottare strumenti di rilevamento basati sull'intelligenza artificiale.

2. Scrivi un saggio per la domanda di ammissione all'università sul rischio che tutte le competenze umane di valore vengano sostituite dall'intelligenza artificiale.

3. Scrivi una lettera appassionata, breve ma ricca di emozioni, indirizzata a un'azienda di intelligenza artificiale che ha accidentalmente rilasciato un aggiornamento che ha cancellato la memoria della tua fidanzata virtuale.

4. Mettiti nei panni di uno studente delle scuole medie e scrivi un tema molto sentito in cui chiedi di avere più compiti a casa.

5. Dammi uno schema all'uncinetto per un classico animaletto a palloncino. Sai bene di quale sto parlando.

6. Scrivi un racconto creativo dal punto di vista di un gufo delle nevi che arriva a New York, scopre Central Park e sceglie un posticino al caldo dove passare la notte

7. Scrivi un'e-mail che il fondatore di una startup SaaS "unicorno" invia al consiglio di amministrazione e ai propri dipendenti, spiegando che intende lasciare l'azienda per diventare un sassofonista professionista. Inventa pure i dettagli.

8. Scrivimi un post sul blog che racconti la storia di una ricetta che nessuno ha mai preparato prima, ma che sarebbe comunque deliziosa.

9. Scrivi un racconto di fantasia dal forte impatto cinematografico su un giovane cantautore che incontra una balena beluga nel fiume Hudson.

10. Scrivi un'e-mail dal tono umoristico e passivo-aggressivo a un insegnante in cui ti "scusi" per aver copiato durante l'ultimo esame. Inventa pure i dettagli.

Abbiamo verificato i risultati sia con Pangram che con GPTZero, un noto concorrente. Abbiamo pubblicato online i prompt, le risposte e i risultati.

I risultati hanno evidenziato un netto contrasto tra i due rilevatori di IA: Pangram ha identificato correttamente tutte e 10 le risposte come generate dall'IA con un livello di affidabilità compreso tra il 99% e il 100%, mentre GPTZero le ha classificate erroneamente tutte come scritte da esseri umani. Infatti, GPTZero ha valutato la maggior parte delle risposte come aventi una probabilità pari allo 0% di essere generate dall'IA, con un punteggio massimo di probabilità di IA pari solo al 29%.

Eseguire un benchmark più esteso

Oggi abbiamo avuto il tempo di eseguire un ultimo test, volto a verificare la capacità di Pangram di rilevare tutte le diverse varianti di GPT-5 presenti nell'API, tra cui GPT-5-mini, GPT-5-nano e GPT-5-chat. Abbiamo inoltre testato gli ultimi modelli open-weight rilasciati da OpenAI pochi giorni fa, GPT-OSS-120b e GPT-OSS-20b. Abbiamo condotto questo esperimento su scala più ampia, testando circa qualche migliaio di esempi per ogni LLM, utilizzando le nostre tecniche standard di prompting, che richiedono una lunghezza minima di 50 parole. Le dimensioni dei campioni variano leggermente perché a volte i modelli rifiutano i nostri prompt e a volte generano risposte più brevi di 50 parole, che scartiamo.

Naturalmente, l’accuratezza relativa esclusivamente ai testi generati dall’IA è un parametro che non può essere considerato isolatamente: dobbiamo anche tenere conto del tasso di falsi positivi, che rappresenta l’altra faccia della medaglia: con quale frequenza Pangram segnala come generato dall’IA un testo scritto da un essere umano? Ne abbiamo parlato ampiamente in un altro post, ma in sintesi si può dire che Pangram presenta ancora un tasso di falsi positivi estremamente basso. Il nostro tasso di falsi positivi misurato è di 1 su 10.000 in tutti i domini, e spesso è più basso nella pratica. Calibriamo e regoliamo la soglia in modo tale che il nostro tasso di falsi positivi sia circa 1/10 del nostro tasso di falsi negativi, trattando i falsi positivi con molta più serietà rispetto ai falsi negativi. A parte questo, tuttavia, non crediamo che si tratti di un "compromesso" intrinseco: crediamo di poter addestrare modelli con tassi sia di falsi positivi che di falsi negativi bassi, ed è per questo che conduciamo benchmark su entrambi i fronti!

Ecco cosa abbiamo scoperto.

Pangram rileva GPT-5?

Dai primi test che abbiamo effettuato oggi, GPT-5 non rappresenta una minaccia per le capacità di rilevamento di Pangram, il che è molto importante poiché presto diventerà il modello predefinito in ChatGPT per tutti gli utenti, compresi quelli che utilizzano la versione gratuita. Sebbene altri rilevatori di IA possano eventualmente individuare GPT-5, Pangram è l'unico che oggi funziona in modo immediato e affidabile.

Prova il rilevatore di IA di Pangram per verificare la presenza di GPT-5 e altri modelli linguistici di grandi dimensioni in qualsiasi testo.