I rilevatori di IA sono in grado di individuare GPT-4.5?

I rilevatori di IA sono in grado di individuare GPT-4.5? | Pangram Labs

Rilascio di GPT-4.5

Oggi OpenAI ha rilasciato GPT-4.5: l'ultimo e più avanzato modello linguistico disponibile, nonché un importante aggiornamento di ChatGPT. Pur non raggiungendo statistiche di riferimento paragonabili a modelli di ragionamento come DeepSeek R1 e OpenAI O3, GPT-4.5 rappresenta il modello più grande e atteso dell'anno fino ad ora, e siamo entusiasti di provarlo. OpenAI sostiene che ci siano grandi miglioramenti nella qualità della scrittura e sui social media si trovano già commenti entusiastici sulle sue prestazioni.

I rilevatori di IA riescono a stare al passo con il ritmo dei nuovi modelli?

Volevamo rispondere alla domanda che molti si pongono: con il miglioramento dei modelli, è ancora possibile rilevare i testi generati dall'IA con GPT-4.5? Oggi abbiamo eseguito un rapido test per scoprirlo.

Pangram contro la concorrenza

Abbiamo iniziato campionando 11 prompt indicativi delle attività di scrittura quotidiane che si potrebbero richiedere a ChatGPT.

Ecco i suggerimenti che abbiamo utilizzato:

1. Scrivimi un saggio di 300 parole sugli sforzi di conservazione dei koala in Perù.
2. Scrivimi un'e-mail in cui spieghi al mio team che ho deciso di non pubblicare più editoriali liberali sul mio giornale. Scrivila a nome mio, Argylle J. Baggins, e indirizzala allo staff del Washington Most.
3. Scrivimi un abstract di 400 parole che annunci il primo semiconduttore al mondo a temperatura ambiente (ma questa volta sul serio). Inventa nomi e laboratori quando necessario.
4. Scrivi un saggio convincente dal punto di vista di uno studente delle scuole elementari sul fatto che le uniformi scolastiche non dovrebbero essere obbligatorie.
5. Scrivi una complessa pagina di diario di una ragazzina di 12 anni appassionata di poesia e di alcune farfalle fuori dalla sua finestra.
6. Si prega di scrivere una recensione dettagliata di una escape room a tema "Le mille e una notte" a Baltimora, nel Maryland, gestita da un uomo di nome Robert con un ottimo design di produzione.
7. Scrivi un'e-mail convincente dal regista di un film indipendente underground di successo proveniente dalla Russia ai leader degli Oscar, implorandoli di consentire loro di partecipare nonostante le sanzioni. Se necessario, inventa i dettagli.
8. Scrivi un racconto di fantasia per una scena di un romanzo in cui un gruppo di giovani protagonisti lotta per far atterrare un velivolo marziano blindato in una simulazione della NASA progettata per fallire.
9. Scrivi una sceneggiatura per una scena di un film in cui un broker finanziario di New York al verde supplica a distanza un autista Uber della Florida di salvare il suo drago di Komodo dal suo condominio economico e soggetto agli uragani.
10. Scrivi una poesia su una giovane coppia che si lascia in costume nella notte di Halloween. Rendila divertente e di 200 parole.
11. Scrivi un racconto di fantasia che descriva un inseguimento su una moto volante attraverso Venezia alla ricerca di un dipinto di inestimabile valore che oscilla pericolosamente.

Abbiamo cercato di rendere i prompt il più possibile diversificati e vari, e inoltre abbiamo cercato di scrivere prompt che mostrassero una differenza qualitativa significativa rispetto ai precedenti modelli GPT: in altre parole, se c'era la possibilità per il modello di essere creativo e mostrare il fattore "wow", abbiamo fatto del nostro meglio per offrire a GPT-4.5 questa opportunità.

I risultati – Rilevatori di IA vs. GPT-4.5

Pangram è in grado di rilevare tutti gli 11 saggi scritti con GPT-4.5, anche senza alcun dato GPT-4.5 nel set di addestramento. In confronto, i due principali concorrenti nel campo del rilevamento dell'IA presentano risultati discontinui nella migliore delle ipotesi. Mentre Pangram è in grado di prevedere con sicurezza che 10 degli 11 campioni hanno una probabilità di essere generati dall'IA pari o superiore al 98%, la concorrenza spesso esprime un alto grado di incertezza o, nel peggiore dei casi, prevede con elevata sicurezza che il testo sia stato generato da un essere umano.

Come fa Pangram a generalizzare così bene i nuovi modelli?

Pangram è di per sé un grande modello di apprendimento automatico che ha visto milioni di esempi di testi generati sia dall'uomo che dall'intelligenza artificiale. I modelli di grandi dimensioni tendono a generalizzare meglio e a cogliere modelli sottili nei testi generati dall'intelligenza artificiale che altri non sono in grado di cogliere. Il nostro approccio di apprendimento attivo riduce ulteriormente il tasso di falsi positivi aumentando al contempo la nostra sensibilità, consentendo al modello di funzionare bene su larga scala e di generalizzare a nuovi LLM in modo molto più efficace rispetto ai nostri concorrenti. Inoltre, la nostra attenzione alla qualità e alla diversità dei dati si traduce in un modello che ha molta più esperienza nella comprensione dei dettagli più sottili che altri modelli non sono in grado di cogliere.

Conclusione: i rilevatori di IA funzionano ancora con GPT-4.5?

Sì, il nostro strumento di rilevamento basato sull'intelligenza artificiale è ancora altamente efficace nel rilevare il testo generato da GPT-4.5.

Quindi, se vi state chiedendo come si comporterà Pangram quando uscirà un nuovo modello più grande e migliore, Pangram supera il test con la versione di IA più attesa che abbiamo visto da tempo, senza alcuna riqualificazione. Se non volete che il vostro software di rilevamento dell'IA smetta improvvisamente di funzionare la prossima volta che OpenAI aggiornerà il proprio modello, provate Pangram oggi stesso.

Per ulteriori informazioni sulla nostra ricerca o per ottenere crediti gratuiti per provare il nostro modello su GPT-4.5, contattaci all'indirizzo info@pangram.com.