Come si posiziona Pangram rispetto a GPTZero?

Il mercato dei rilevatori di IA è oggi caratterizzato dalla presenza di diversi grandi operatori. Forse ne avete già sentito parlare: Pangram, GPTZero, Turnitin, ZeroGPT e altri ancora. Per una panoramica completa delle caratteristiche di questi strumenti, consultate la nostra guida ai migliori rilevatori di IA attualmente disponibili.

Molte di queste aziende aggiornano regolarmente i propri modelli e pubblicano i dati relativi alle loro prestazioni. Recentemente, GPTZero ha lanciato un aggiornamento estivo dei modelli e ha reso noti i nuovi dati relativi alle prestazioni su una serie di modelli aggiornati. In questo post del blog, metteremo a confronto le prestazioni del nuovo modello di GPTZero con il sistema di rilevamento AI di Pangram, includendo anche gli ultimi modelli GPT-5.

Pangram contro GPTZero: dati pubblicati

Nota: GPTZero non rende pubblici i propri set di dati di valutazione interni, pertanto questi dati non provengono esattamente dagli stessi documenti. Inoltre, GPTZero non rende noto il numero di documenti su cui effettua i test, quindi non è possibile nemmeno confrontare i dati in termini quantitativi. Tuttavia, per quanto riguarda i dati sulle prestazioni di Pangram, abbiamo effettuato la valutazione su migliaia di documenti per ciascun modello, oltre che su un'ampia varietà di ambiti tematici e schemi di prompt, al fine di simulare un utilizzo reale.

Inoltre, l'accuratezza di Pangram non si limita a segnalare il maggior numero di documenti generati dall'IA. Pangram è anche leader di mercato nel mantenere bassi i tassi di falsi positivi. Per noi è una priorità assoluta non segnalare come generati dall'IA i documenti scritti da esseri umani. Di seguito è riportata la differenza tra i tassi di falsi positivi registrati da Pangram e GPTZero:

Post sul blog relativo al tasso di falsi positivi di GPTZero

Qui vediamo che il rapporto sulle prestazioni di GPTZero indica un tasso di falsi positivi (FPR) pari all'1%.

Cosa emerge dalla ricerca? Pangram contro GPTZero

Pangram e GPTZero si sono confrontati anche in articoli scientifici sull'intelligenza artificiale sottoposti a revisione paritaria. Ciò trova la sua massima espressione nel recente studio dell'Università del Maryland intitolato «Le persone che utilizzano frequentemente ChatGPT per attività di scrittura sono in grado di individuare con precisione e affidabilità i testi generati dall'intelligenza artificiale». Lo studio ha esaminato la capacità di annotatori umani esperti di distinguere tra testi scritti da esseri umani e testi generati dall'intelligenza artificiale.

Nell'ambito dello studio, le prestazioni degli annotatori umani sono state confrontate con quelle dei rilevatori disponibili in commercio e open source. Pangram ha ottenuto risultati migliori rispetto a ogni singolo rilevatore umano, nonché rispetto a tutte le alternative commerciali, compreso GPTZero.

Prestazioni multilingue

Le differenze tra il modello di punta di Pangram e GPTZero non finiscono qui. Entrambi i modelli sono «multilingue», nel senso che sono in grado di rilevare l'uso dell'IA in diverse lingue oltre all'inglese. Pangram è multilingue e copre tutte le prime 20 lingue più diffuse su Internet. GPTZero supporta l'inglese, il francese e lo spagnolo. Ecco le lingue in cui è stato testato ciascun modello:

Per ulteriori informazioni sulle prestazioni di Pangram con i testi multilingue, consulta questo post sul blog

Prestazioni ESL

Inoltre, entrambi i modelli sono stati addestrati prestando particolare attenzione alle prestazioni con testi scritti da persone per cui l'inglese non è la lingua madre, poiché è risaputo che i rilevatori basati sull'intelligenza artificiale potrebbero essere soggetti a pregiudizi nei confronti di chi non è madrelingua inglese. Sia GPTZero che Pangram hanno pubblicato risultati specifici relativi a testi scritti da persone per cui l'inglese non è la lingua madre. Di seguito è possibile vedere come si comportano:

Per saperne di più sull'approccio di Pangram ai testi ESL, dai un'occhiata a questo post sul blog https://www.pangram.com/blog/how-accurate-is-pangram-ai-detection-on-esl

Modelli inediti e GPT-5

Un altro motivo di preoccupazione per chi è alla ricerca di soluzioni di rilevamento dell'IA è la loro efficacia sui modelli non ancora rilasciati. Con l'intensificarsi della "guerra dell'IA", sia i grandi laboratori di ricerca che le piccole startup pubblicano regolarmente modelli di rilievo. È fondamentale che una soluzione di rilevamento dell'IA continui a fornire risultati accurati anche su modelli sui quali potrebbe non essere stata addestrata direttamente.

Il recente lancio di GPT-5 ha offerto un'ottima occasione per scoprirlo! A poche ore dal rilascio del nuovo modello, il team di Pangram ha testato le prestazioni di GPTZero e Pangram su una varietà di tipi di prompt. Ecco i risultati:

Nota: GPTZero ha successivamente rilasciato un aggiornamento del modello che, secondo quanto dichiarato, offre prestazioni migliori rispetto a GPT-5! Per ulteriori dettagli sul nostro confronto originale, si prega di consultare questo post sul blog. Inoltre, invitiamo gli utenti a effettuare i propri test per confrontare le prestazioni in qualsiasi momento.

Conclusione

In definitiva, Pangram rimane la soluzione più solida e affidabile per individuare i contenuti generati dall'intelligenza artificiale. Che le vostre esigenze riguardino il settore dell'istruzione, l'editoria, la moderazione dei contenuti o ambiti ancora più specifici, siamo qui per offrirvi un sistema di rilevamento basato sull'intelligenza artificiale accurato ed equo. Scoprite di più sul nostro blog o contattateci all'indirizzo info@pangram.com.