Valutazioni di pangrammi effettuate da terzi

Riteniamo importante che le istituzioni possano fare affidamento sull'elevata precisione di Pangram; pertanto, incoraggiamo la verifica da parte di terzi dei nostri indicatori di qualità (falsi positivi e falsi negativi). Di seguito presenteremo le valutazioni su Pangram effettuate dai ricercatori dell'Università di Chicago (UChicago) e dell'Università del Maryland (UMD), nonché da revisori del settore commerciale.

Conclusione principale: i test interni di Pangram reggono al vaglio di soggetti terzi.

Affidabilità e accuratezza di Pangram (Università di Chicago)

Esperimento

Presso il Becker Friedman Institute for Economics dell’Università di Chicago, i ricercatori hanno messo a confronto quattro strumenti di rilevamento dell’IA: Pangram, GPTZero, Originality AI e RoBERTa (uno strumento open source). Lo studio ha utilizzato ciascuno di questi strumenti per analizzare 1.992 testi scritti da esseri umani prima del 2020 e 1.992 testi generati dall’IA, appartenenti a generi diversi e con un numero di parole variabile. Sono stati esaminati due tipi di errori nel rilevamento dell'IA: i tassi di falsi positivi (FPR) e i tassi di falsi negativi (FNR). Questi tassi sono stati confrontati per diverse soglie. I rilevatori hanno anche classificato i testi generati dall'IA da modelli di linguaggio (LLM) popolari come ChatGPT, Claude e Gemini. I ricercatori hanno creato diversi limiti massimi per la politica FPR tra i rilevatori per osservare le variazioni nell'FNR.

Risultati

Dallo studio " Scrittura artificiale e rilevamento automatico " di Brian Jabarian e Alex Imas, agosto 2025:

Pangram supera gli altri rilevatori a tutti i livelli di soglia.

Pangram è l'unico rilevatore in grado di rispettare un limite massimo molto rigoroso (FPR ≤ 0,005) senza compromettere la capacità di individuare con precisione i testi generati dall'intelligenza artificiale.

Pangram rimane il leader in termini di convenienza in tutti i generi e, in media, costa 0,0228 dollari per ogni passaggio segnalato correttamente dall'IA, contro i 0,0416 dollari di OriginalityAI e i 0,0575 dollari di GPTZero, il che rende Pangram il rilevatore più conveniente sia per i passaggi completi che per i frammenti.

Lo studio ha dimostrato che:

Pangram raggiunge tassi di falsi positivi e falsi negativi praticamente pari a zero su brani di lunghezza medio-lunga.

L'elevata precisione di Pangram è stata apprezzata in diversi tipi di testo, quali: blog, recensioni, curriculum, notizie e romanzi. Nei testi più brevi, i tassi di falsi positivi e falsi negativi aumentano leggermente, «ma rimangono ben al di sotto delle soglie ragionevoli previste dalle linee guida».

I ricercatori dell'Università di Chicago hanno sottolineato le prestazioni superiori di Pangram rispetto ad altri rilevatori di IA disponibili. Con un limite massimo di FPR fissato a 0,0001, «né GPTzero né Originality.AI ottengono risultati soddisfacenti con il limite massimo di FPR più rigoroso... Pangram raggiunge comunque un tasso di FNR di circa 0,01 sulla maggior parte dei modelli LLM».

Pangram non fornisce più previsioni per testi di meno di 50 parole, ma come sottolineato nello studio,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Esibizione dei Pangram contro gli Humanizers (Università del Maryland)

Esperimento

Nell'esperimento 1 di questo studio dell'UMD, sono stati impiegati annotatori con diversi livelli di conoscenza dei modelli di linguaggio di grandi dimensioni (LLM) per prevedere se un testo fosse stato generato dall'intelligenza artificiale. Dopo aver osservato che un annotatore era quasi perfetto nell'identificare i testi generati dall'IA, sono stati utilizzati altri quattro annotatori esperti con background simili nell'uso degli LLM per classificare lo stesso campione di 60 testi. I risultati dei voti degli esperti sono stati confrontati con rilevatori commerciali come Pangram, Pangram Humanizer e GPTZero, nonché con strumenti open source come Fast-DetectGPT. Durante questo processo, Pangram è stato confrontato con altri rilevatori.

Le prestazioni costanti di Pangram rispetto a testi parafrasati e umanizzati

Risultati

Pangram è in grado di individuare con precisione i testi generati dall'intelligenza artificiale e poi "umanizzati". Ciò è confermato dagli informatici dell'Università del Maryland, i quali hanno osservato che Pangram ha ottenuto il punteggio complessivo più alto nel rilevamento di testi "umanizzati" e parafrasati, superando altri software di rilevamento dell'IA con un'accuratezza del 99,3%.

Scopri di più su come Pangram regge il confronto con gli humanizer

Valutazioni dei pangrammi al di fuori degli istituti di ricerca

Amanda Caswell di Tom’s Guide ha affermato in un articolo che, dopo aver provato decine di strumenti di rilevamento dell’IA, Pangram «ha superato tutti gli altri che ho testato». È emerso inoltre che Pangram sta lavorando con impegno per ridurre il numero già esiguo di falsi positivi.

David Gewirtz di ZDNET descrive Pangram come «un nuovo arrivato nei nostri test che è subito balzato in testa alla classifica».

Dato che l'uso dell'IA negli articoli di ricerca è aumentato, si teme che ciò possa essere un indicatore di condotta scorretta. L'articolo di Adam Day su Medium ha utilizzato il rilevamento dell'IA di Pangram per ottenere risultati affidabili sulla prevalenza dei contenuti generati dall'IA, concludendo al contempo che esistono casi d'uso legittimi per l'IA generativa nella ricerca. Day raccomanda di utilizzare Pangram per condurre ricerche, affermando: "Se qualcuno volesse fare un'indagine sull'uso dell'IA generativa nella letteratura pubblicata, penso che ci sia un'ottima opportunità per farlo con gli strumenti di Pangram".

L'utilizzo dei risultati di Pangram in studi scientifici autorevoli (Università del Maryland)

I ricercatori dell'UMD (in collaborazione con Microsoft e Pangram) hanno utilizzato i risultati del sistema di rilevamento basato sull'intelligenza artificiale di Pangram in un recente studio per analizzare la presenza di testi generati dall'intelligenza artificiale nelle notizie, utilizzando un campione di 186.000 articoli di giornale. Sebbene sia emerso che solo una bassa percentuale delle notizie fosse generata dall'intelligenza artificiale, l'uso di tale tecnologia non è stato reso noto. Pangram è stato utilizzato per identificare "219 articoli contenenti contenuti generati dall'IA nelle pagine di opinione del New York Times, del Wall Street Journal e del Washington Post".

Lo studio ha messo in luce alcune sfumature nell'uso dell'intelligenza artificiale, quali:

I giornalisti che scrivono i propri articoli potrebbero non rendersi conto che le persone che citano nei loro articoli hanno utilizzato l'intelligenza artificiale per formulare la propria risposta.

L'intelligenza artificiale nelle notizie grazie al rilevamento dei pangrammi

Conclusione

Noi di Pangram crediamo che la trasparenza sia fondamentale per instaurare un rapporto di fiducia. Saremmo lieti di collaborare con voi per garantire la trasparenza dell'IA nella vostra organizzazione.