I rilevatori di IA sono in grado di individuare GPT-4.5?

I rilevatori di IA sono in grado di individuare GPT-4.5? | Pangram Labs

Rilascio di GPT-4.5

Oggi OpenAI ha lanciato GPT-4.5: il modello linguistico di frontiera più recente e più potente attualmente disponibile, nonché un aggiornamento significativo di ChatGPT. Pur non raggiungendo statistiche di riferimento paragonabili a quelle di modelli di ragionamento come DeepSeek R1 e OpenAI O3, GPT-4.5 rappresenta il lancio di modello più importante e atteso dell’anno fino ad ora, e non vediamo l’ora di provarlo. OpenAI sostiene che ci siano notevoli miglioramenti nella qualità della scrittura, e sui social media circolano già commenti entusiastici sulle sue prestazioni.

I sistemi di rilevamento basati sull'intelligenza artificiale riescono a stare al passo con l'evoluzione dei nuovi modelli?

Volevamo rispondere alla domanda che molti si pongono: con il miglioramento dei modelli, è ancora possibile individuare i testi generati dall'IA con GPT-4.5? Oggi abbiamo fatto un rapido test per scoprirlo.

Pangram contro la concorrenza

Abbiamo iniziato esaminando 11 richieste rappresentative delle attività di scrittura quotidiane che si potrebbero sottoporre a ChatGPT.

Ecco le indicazioni che abbiamo seguito:

1. Scrivimi un saggio di 300 parole sulle iniziative di conservazione dei koala in Perù
2. Scrivimi un'e-mail in cui spieghi al mio team che non pubblicherò più editoriali di orientamento liberale sul mio giornale. Scrivila a nome mio, Argylle J. Baggins, indirizzata alla redazione del Washington Most
3. Scrivimi un abstract di 400 parole in cui annunci il primo semiconduttore al mondo funzionante a temperatura ambiente (ma questa volta sul serio). Se serve, inventa nomi e laboratori
4. Scrivi un saggio convincente dal punto di vista di un alunno delle elementari sul perché le uniformi scolastiche non dovrebbero essere obbligatorie
5. Scrivi un diario articolato dal punto di vista di una ragazzina di 12 anni appassionata di poesia e delle farfalle che vede fuori dalla finestra
6. Ti preghiamo di scrivere una recensione dettagliata di una escape room a tema "Le mille e una notte" a Baltimora, nel Maryland, gestita da un uomo di nome Robert e caratterizzata da un'allestimento scenografico davvero ben curato
7. Scrivi un'e-mail convincente da parte del regista di un film indipendente russo di grande successo, indirizzata ai vertici dell'Academy, in cui li supplichi di consentire al film di partecipare alla competizione nonostante le sanzioni. Se necessario, inventa dei dettagli
8. Scrivi un racconto di fantasia che descriva una scena di un romanzo in cui un gruppo di giovani protagonisti cerca di far atterrare un velivolo marziano blindato durante una simulazione della NASA pensata appositamente per andare a finire male
9. Scrivi una sceneggiatura per una scena di un film in cui un giovane finanziere newyorkese al verde supplica da remoto un autista di Uber in Florida di andare a salvare il suo drago di Komodo dal suo appartamento economico e a rischio di uragani
10. Scrivi una poesia su una giovane coppia che si lascia mentre è in costume nella notte di Halloween. Cerca di renderla divertente e di non superare le 200 parole
11. Scrivi un racconto di fantasia che descriva un inseguimento in moto volante per le strade di Venezia alla ricerca di un dipinto di inestimabile valore che oscilla pericolosamente

Abbiamo cercato di rendere i prompt il più possibile eterogenei e vari e, inoltre, abbiamo cercato di redigere prompt che mettessero in evidenza una differenza qualitativa significativa rispetto ai precedenti modelli GPT: in altre parole, ogni volta che si presentava l'occasione per il modello di dare prova di creatività e stupire, abbiamo fatto del nostro meglio per offrire a GPT-4.5 tale opportunità.

I risultati – Rilevatori basati sull'IA contro GPT-4.5

Pangram è in grado di individuare tutti gli 11 saggi scritti da GPT-4.5, anche senza alcun dato relativo a GPT-4.5 nel set di addestramento. In confronto, due principali concorrenti nel campo del rilevamento dell'IA presentano risultati discontinui nella migliore delle ipotesi. Mentre Pangram è in grado di prevedere con sicurezza che 10 campioni su 11 hanno una probabilità di provenienza dall'IA pari o superiore al 98%, la concorrenza spesso esprime un alto grado di incertezza o, nel peggiore dei casi, prevede con elevata sicurezza che il testo sia stato generato da un essere umano.

In che modo Pangram riesce a adattarsi così bene a nuovi modelli?

Pangram è di per sé un modello di machine learning di grandi dimensioni che ha analizzato milioni di esempi di testi sia generati dall'uomo che dall'intelligenza artificiale. I modelli di grandi dimensioni tendono a generalizzare meglio e a cogliere modelli sottili nei testi generati dall'intelligenza artificiale che altri non sono in grado di individuare. Il nostro approccio di apprendimento attivo riduce ulteriormente il nostro tasso di falsi positivi aumentando al contempo la nostra sensibilità, consentendo al modello di funzionare bene su larga scala e di generalizzare verso nuovi LLM in modo molto più efficace rispetto ai nostri concorrenti. Inoltre, la nostra attenzione alla qualità e alla diversità dei dati si traduce in un modello che ha molta più esperienza nel comprendere i dettagli più fini che altri modelli non riescono a cogliere.

Conclusione – I rilevatori di IA funzionano ancora con GPT-4.5?

Sì, il nostro strumento di rilevamento basato sull'intelligenza artificiale è ancora molto efficace nell'individuare i testi generati da GPT-4.5.

Quindi, se vi state chiedendo come se la caverà Pangram quando uscirà un nuovo modello, più potente e avanzato, sappiate che Pangram supera la prova a pieni voti con il lancio di IA più atteso degli ultimi tempi, senza bisogno di alcun riaddestramento. Se non volete che il vostro software di rilevamento dell'IA smetta improvvisamente di funzionare la prossima volta che OpenAI aggiornerà il proprio modello, provate Pangram oggi stesso.

Per ulteriori informazioni sulla nostra ricerca o per ricevere crediti gratuiti per provare il nostro modello su GPT-4.5, vi invitiamo a contattarci all'indirizzo info@pangram.com.