Valutazioni Pangram di terze parti

Riteniamo importante che le istituzioni possano fare affidamento sull'elevata accuratezza di Pangram, pertanto incoraggiamo la verifica da parte di terzi dei nostri parametri di qualità (falsi positivi e falsi negativi). Di seguito riportiamo le valutazioni di Pangram da parte dei ricercatori dell'Università di Chicago (UChicago) e dell'Università del Maryland (UMD) e di revisori commerciali.

Conclusione principale: i test interni di Pangram superano il controllo da parte di terzi.

Affidabilità e accuratezza di Pangram (Università di Chicago)

Esperimento

Presso il Becker Friedman Institute for Economics dell'Università di Chicago, i ricercatori hanno confrontato quattro rilevatori di IA: Pangram, GPTZero, Originality AI e RoBERTa (un rilevatore di IA open source). Lo studio ha utilizzato ciascun rilevatore per analizzare 1.992 testi scritti da esseri umani prima del 2020 e 1.992 testi generati dall'IA di diversi generi e con un numero di parole variabile. Sono stati esaminati due tipi di errori nel rilevamento dell'IA: i tassi di falsi positivi e i tassi di falsi negativi. Questi tassi sono stati confrontati per più soglie. I rilevatori hanno anche classificato i testi generati dall'IA da LLM popolari come ChatGPT, Claude e Gemini. I ricercatori hanno creato più limiti di politica FPR tra i rilevatori per annotare i cambiamenti nell'FNR.

Risultati

Dallo studio Artificial Writing and Automated Detection (Scrittura artificiale e rilevamento automatico) di Brian Jabarian e Alex Imas dell'agosto 2025:

Pangram domina gli altri rilevatori in tutte le soglie.

Pangram è l'unico rilevatore che soddisfa un rigoroso limite massimo (FPR ≤ 0,005) senza compromettere la capacità di rilevare con precisione il testo generato dall'intelligenza artificiale.

Pangram rimane il leader in termini di basso costo in tutti i generi e in media: 0,0228 dollari per ogni passaggio AI correttamente segnalato contro 0,0416 dollari per OriginalityAI e 0,0575 dollari per GPTZero, rendendo Pangram il rilevatore più efficiente in termini di costi sia per i passaggi completi che per gli stub.

Lo studio ha dimostrato che:

Pangram raggiunge tassi di falsi positivi e falsi negativi praticamente pari a zero su passaggi di lunghezza medio-lunga.

L'elevata accuratezza di Pangram è stata apprezzata in diversi generi di testo, quali blog, recensioni, curriculum, notizie e romanzi. Nei testi più brevi, i tassi di falsi positivi e falsi negativi aumentano leggermente, "ma rimangono ben al di sotto delle soglie ragionevoli".

I ricercatori dell'Università di Chicago hanno sottolineato le prestazioni superiori di Pangram rispetto ad altri rilevatori di IA disponibili. Con un limite FPR di 0,0001, "né GPTzero né Originality.AI ottengono risultati soddisfacenti con il limite FPR più rigoroso... Pangram raggiunge comunque un tasso FNR di circa 0,01 sulla maggior parte dei modelli LLM".

Pangram non prevede più testi inferiori a 50 parole, ma come osservato nello studio,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Prestazioni di Pangram contro Humanizers (Università del Maryland)

Esperimento

Nell'esperimento 1 di questo studio dell'UMD, sono stati utilizzati annotatori con vari livelli di conoscenza dei modelli linguistici di grande dimensione (LLM) per prevedere se un testo fosse stato generato dall'intelligenza artificiale. Dopo aver osservato che un annotatore era quasi perfetto nell'identificare i testi generati dall'IA, sono stati utilizzati altri quattro annotatori esperti con background simili nell'uso degli LLM per classificare lo stesso campione di 60 testi. I risultati delle votazioni degli esperti sono stati confrontati con quelli di rilevatori commerciali come Pangram, Pangram Humanizer e GPTZero, nonché con strumenti open source come Fast-DetectGPT. Durante questo processo, Pangram è stato confrontato con altri rilevatori.

La performance di Pangram rispetto al testo parafrasato e umanizzato

Risultati

Pangram è in grado di rilevare con precisione i testi generati dall'intelligenza artificiale umanizzata. Ciò è confermato dagli scienziati informatici dell'UMD, che hanno osservato che Pangram ha ottenuto il punteggio più alto in assoluto nel rilevamento di testi umanizzati e parafrasati, superando altri software di rilevamento dell'intelligenza artificiale con una precisione del 99,3%.

Scopri di più su come Pangram regge il confronto con gli umanizzatori

Valutazioni Pangram al di fuori degli istituti di ricerca

Amanda Caswell di Tom's Guide ha affermato in un articolo che, dopo aver provato decine di strumenti di rilevamento dell'IA, Pangram "ha superato tutti gli altri che ho provato". Pangram ha anche dimostrato di lavorare con impegno per ridurre il già basso numero di falsi positivi.

David Gewirtz di ZDNET descrive Pangram come "un nuovo arrivato nei nostri test che è subito balzato nella cerchia dei vincitori".

Poiché l'uso dell'IA nei documenti di ricerca è aumentato, c'è il timore che ciò possa essere indice di comportamenti scorretti. L'articolo di Adam Day su Medium ha utilizzato il rilevamento dell'IA di Pangram per ottenere risultati affidabili sulla prevalenza dei contenuti generati dall'IA, concludendo tuttavia che esistono casi di utilizzo legittimo dell'IA generativa nella ricerca. Day raccomanda di utilizzare Pangram per condurre ricerche, affermando: "Se qualcuno desidera condurre un'indagine sull'uso della genAI nella letteratura pubblicata, penso che gli strumenti di Pangram offrano un'ottima opportunità per farlo".

Utilizzo dei risultati di Pangram nella ricerca autorevole (Università del Maryland)

I ricercatori dell'UMD (in collaborazione con Microsoft e Pangram) hanno utilizzato i risultati del rilevamento dell'IA di Pangram in un recente studio per analizzare la presenza di testi generati dall'IA nelle notizie utilizzando un campione di 186.000 articoli di giornale. Sebbene sia stata riscontrata una bassa percentuale di notizie generate dall'IA, l'uso dell'IA non è stato divulgato. Pangram è stato utilizzato per identificare "219 articoli contenenti contenuti generati dall'intelligenza artificiale nelle pagine di opinione del New York Times, del Wall Street Journal e del Washington Post".

Lo studio ha evidenziato alcune sfumature nell'uso dell'IA, quali:

I giornalisti che scrivono i propri articoli potrebbero non essere consapevoli del fatto che le persone che citano nei loro articoli hanno utilizzato l'intelligenza artificiale per creare le loro risposte.

L'intelligenza artificiale nelle notizie utilizzando il rilevamento dei pangrammi

Conclusione

Noi di Pangram crediamo che la trasparenza sia fondamentale per instaurare un rapporto di fiducia. Saremmo lieti di collaborare con voi per portare la trasparenza dell'IA nella vostra organizzazione.