Pangram è affidabile?

L'accuratezza è una misura dell'efficacia con cui Pangram riesce a classificare correttamente un testo come generato dall'IA, assistito dall'IA o scritto da un essere umano. L'accuratezza è definita da due diversi tipi di errori, ciascuno dei quali viene misurato separatamente:

1. Tasso di falsi negativi: con quale frequenza Pangram non rileva un documento scritto o redatto con l'ausilio dell'intelligenza artificiale, classificandolo erroneamente come scritto da un essere umano
2. Tasso di falsi positivi: con quale frequenza Pangram classifica erroneamente un documento scritto da un essere umano come generato dall'IA o assistito dall'IA

Pangram è uno strumento che fornisce previsioni statistiche. Abbiamo deliberatamente ottimizzato Pangram in modo che tenda a generare falsi negativi piuttosto che falsi positivi; abbiamo fatto questa scelta perché, mentre un falso negativo occasionale può essere fastidioso, un falso positivo può causare danni concreti.

Se riscontri un falso positivo o un falso negativo, puoi segnalarlo utilizzando il nostro modulo di feedback. Le segnalazioni degli utenti vengono utilizzate esclusivamente per la revisione manuale da parte di personale umano e per la diagnostica: non utilizziamo mai i dati degli utenti per l'addestramento o il benchmarking.

Come viene misurata l'accuratezza di Pangram?

Per valutare l’accuratezza di Pangram, il sistema viene testato su ampi set di dati costituiti da documenti in cui ogni elemento ha un autore noto, che sia un essere umano, un’intelligenza artificiale o una combinazione dei due. Per garantire che i test di benchmark producano risultati affidabili, non addestriamo mai i modelli sui nostri set di benchmark, né effettuiamo test su testi in cui la verità di riferimento sia incerta.

L'accuratezza di Pangram viene verificata sia internamente, da noi stessi, sia da ricercatori indipendenti. Siamo sempre alla ricerca di nuovi valutatori indipendenti: se sei un ricercatore interessato a metterci alla prova, ti offriamo dei crediti! Contattaci per richiedere un credito API.

Set di benchmark

Testiamo Pangram su molti tipi diversi di dati, tra cui contenuti scritti da esseri umani, generati dall’intelligenza artificiale, assistiti dall’intelligenza artificiale e misti (esseri umani e intelligenza artificiale).

I nostri dati di riferimento, redatti da esseri umani, sono costituiti da testi con licenza commerciale e di proprietà esclusiva che coprono un’ampia gamma di generi e ambiti. Non utilizziamo mai come riferimento dati provenienti da testi inviati dagli utenti o da contenuti piratati.

Vogliamo che i nostri set di benchmark generati dall’IA riflettano la più ampia varietà possibile di applicazioni reali della scrittura generata dall’IA. Ecco perché il nostro benchmark principale generato dall’IA viene alimentato da una serie di richieste di scrittura aperte che abbiamo ricavato dal dataset LMSYS-Chat-1M, composto da conversazioni anonimizzate di modelli di linguaggio di grandi dimensioni (LLM).

Effettuiamo inoltre test comparativi su diversi set di dati disponibili pubblicamente e compilati da ricercatori esterni; per ulteriori informazioni, consultare i benchmark di terze parti riportati nella scheda del modello Pangram 4.

L'applicazione del pangram a diversi tipi di scrittura

Il tasso di falsi positivi target di Pangram è dello 0,01%, ovvero 1 su 10.000. Nei nostri test di benchmarking interni, Pangram 4 ha ottenuto risultati leggermente migliori, registrando circa 41 falsi positivi ogni 1.000.000 di documenti, con un tasso di falsi positivi osservato dello 0,0041%. Il nostro tasso di falsi negativi complessivo, misurato su quasi 520.000 documenti generati dall’intelligenza artificiale, è stato dello 0,3396%.

Tutti i nostri benchmark utilizzano una definizione rigorosa di falso positivo e falso negativo: qualsiasi segmento scritto da un essere umano che venga segnalato come generato dall’IA o assistito dall’IA — anche se costituisce solo una piccola frazione del testo totale — viene segnalato come falso positivo. Analogamente, nel caso di documenti generati dall’IA, qualsiasi segmento, anche minimo, segnalato come scritto da un essere umano o assistito dall’IA viene segnalato come falso negativo per l’intero documento.

Per garantire l'affidabilità dei nostri benchmark, misuriamo le prestazioni di Pangram su una vasta gamma di testi scritti da esseri umani e generati dall'intelligenza artificiale. Di seguito troverete informazioni sulle prestazioni di Pangram in diversi ambiti e generi, modelli di IA e tipi di testo.

Ambito e genere

Lo stile, la tecnica e la struttura di scrittura variano a seconda dei diversi tipi di testo, quali saggi, narrativa o giornalismo, e un’analisi comparativa a livello generale può nascondere i tassi di errore relativi a specifici ambiti. Ecco perché suddividiamo i nostri dati di riferimento in sottoinsiemi specifici per ambito ed esaminiamo sia i tassi di falsi positivi che quelli di falsi negativi su tali sottoinsiemi.

Tasso di falsi positivi per dominio

Analizziamo una serie di brani scritti da esseri umani per verificare se alcuni di essi presentino un tasso sproporzionato di falsi positivi. Nel complesso, le nostre prestazioni nei principali casi d’uso sono piuttosto buone, compresi i testi creativi, accademici e scientifici.

In questa analisi per settore, le recensioni su Amazon, le notizie e gli articoli con istruzioni pratiche contengono tutti dati multilingue.

La poesia ha registrato il tasso di falsi positivi più elevato tra tutti i domini: le poesie sono più difficili da classificare perché tendono ad essere brevi e caratterizzate da una struttura molto rigida. Sebbene il tasso di falsi positivi sia ancora piuttosto basso, raccomandiamo un’ulteriore analisi approfondita per questo tipo di testi.

Tasso di falsi negativi per dominio

Pangram 4 è stato valutato in base alla sua capacità di individuare un’ampia gamma di testi generati dall’intelligenza artificiale, tra cui testi accademici quali saggi, articoli di ricerca e articoli scientifici, nonché testi creativi e di narrativa.

È stato inoltre testato su un campione casuale di risposte generate dall’IA a richieste degli utenti rese anonime, tratte da richieste reali rivolte a modelli di linguaggio di grandi dimensioni (LLM) provenienti dal set di dati LMSYS-Chat-1M. Tali richieste includevano testi scientifici e tecnici, testi creativi e testi commerciali.

Modelli di IA diversi e nuovi

Non tutti i modelli di IA scrivono allo stesso modo. In occasione del lancio di Pangram 4, abbiamo utilizzato il set di dati LMSYS-Chat-1M per generare 20.000 esempi da 26 modelli linguistici più diffusi, per un totale di 520.000 campioni. Di seguito è riportato il tasso di falsi negativi per 15 di questi modelli; è possibile consultare la tabella completa nella scheda del modello Pangram 4.

Neanche i modelli di IA sono statici. Vengono rilasciati continuamente nuovi modelli di IA e le aziende del settore si concentrano sullo stile e sulla qualità della scrittura delle nuove versioni; è quindi ragionevole aspettarsi che lo stile e la voce dei modelli continuino ad evolversi. Per rimanere aggiornati, eseguiamo un benchmark su scala ridotta su ogni nuovo modello non appena viene rilasciato e lo pubblichiamo sul nostro blog tra un rilascio e l’altro dei nostri modelli.

Pangram continua a dare buoni risultati, anche su modelli non visti, poiché i nuovi modelli ereditano gran parte dello stile di scrittura dai loro predecessori. Potete leggere il nostro ultimo articolo sui benchmark dei modelli, intitolato “Pangram è in grado di rilevare Claude Sonnet 5.5?”, qui, e scoprire come Pangram riesca a ottenere un basso tasso di falsi negativi sui modelli non visti qui.

Autori misti

Il testo non è binario: non tutti i documenti sono generati interamente dall’IA o scritti interamente da un essere umano. Spesso, l’IA e la paternità umana si intrecciano attraverso processi iterativi di revisione, perfezionamento e altri scambi reciproci. Idealmente, Pangram dovrebbe essere in grado di distinguere tra un documento collaborativo e uno generato con una supervisione umana minima, e riflettere tale differenza nei risultati del rilevamento.

L'etichetta da attribuire dipenderà dal grado di utilizzo dell'IA nella produzione del documento. Ad esempio, interventi leggeri da parte dell'IA, come la correzione di bozze o la revisione del testo, dovrebbero di norma mantenere l'etichetta "interamente umano", mentre le riscritture più sostanziali, come i suggerimenti di modifiche alla formulazione e alla fraseologia per maggiore chiarezza, dovrebbero generalmente ricevere l'etichetta "assistito dall'IA". Le riscritture su larga scala effettuate dall'IA, d'altra parte, potrebbero essere etichettate come "generate dall'IA".

L'etichetta dovrebbe inoltre dipendere dal modo in cui vengono combinati i contenuti generati dall'IA e quelli scritti dall'uomo. Ad esempio, il processo di revisione di un paragrafo in collaborazione con un'IA verrebbe etichettato come "assistito", mentre chiedere a un'IA di sviluppare un'affermazione scritta da un essere umano in un paragrafo più lungo corredato di prove a sostegno riceverebbe l'etichetta di "contenuto misto generato dall'uomo e dall'IA", a indicare che le diverse sezioni sono state redatte da autori distinti.

Per tenere conto di tutti questi diversi modi di utilizzare l’IA nella scrittura, valutiamo Pangram su set di dati con livelli variabili di coinvolgimento dell’IA.

Pangram offre ottimi risultati con testi assistiti e corretti dall'intelligenza artificiale. Per estrema cautela, Pangram tende a privilegiare l'intervento umano quando si trova di fronte a testi misti.

Autori vari

Abbiamo valutato Pangram per verificare l'eventuale presenza di pregiudizi nei confronti di scrittori provenienti da contesti diversi. Su un set di dati composto da 25.996 saggi scritti da studenti con diverse condizioni di disabilità, genere, livelli scolastici, etnie, status di studenti di lingua inglese e contesti economici, Pangram non ha registrato alcun falso positivo. Consulta l'analisi completa dei risultati relativi ai saggi di studenti provenienti da contesti diversi.

Uno studio ha esaminato le prestazioni di Pangram 4 su 143.755 documenti, tra cui 85.887 redatti da autori autistici, e ha rilevato che Pangram non mostrava alcun pregiudizio apprezzabile. Tra gli 89.903 documenti precedenti al 2022 scritti sia da autori neurodiversi che da autori di controllo, Pangram 4 ha registrato un tasso di falsi positivi dello 0,0011%. È possibile leggere lo studio indipendente completo sugli autori neurodiversi.

Oltre all'inglese, Pangram supporta l'arabo, il cinese, il ceco, l'olandese, il francese, il tedesco, il greco, l'hindi, l'ungherese, l'italiano, il giapponese, il coreano, il persiano, il polacco, il portoghese, il rumeno, il russo, lo spagnolo, lo svedese, il turco, l'ucraino, l'urdu e il vietnamita.

Per i risultati dei test di riferimento suddivisi per lingua, consultare la tabella relativa al tasso di falsi positivi di Pangram per ciascuna lingua supportata.

Limiti

Breve testo

Pangram è progettato per individuare testi generati dall'intelligenza artificiale in prosa in lingua naturale composta da almeno 50 parole, scritta prevalentemente in frasi complete. Pangram offre la massima affidabilità su brani di testo più lunghi, che forniscono al rilevatore di IA maggiori informazioni per effettuare previsioni accurate.

Di seguito è riportata un'analisi dettagliata delle prestazioni di Pangram su testi di diversa lunghezza. A causa del compromesso tra falsi positivi e falsi negativi, molti degli errori rilevati nei testi brevi risulteranno essere falsi negativi.

Altre limitazioni

Esistono alcuni tipi di testo che al momento consideriamo fuori dall'ambito di applicazione e per i quali Pangram può fornire risultati meno affidabili. Tra questi figurano:

• Codice, markup o Markdown
• Traduzioni basate sull'intelligenza artificiale e traduzioni automatiche, come Google Translate
• Parti preliminari del documento, compresi indici e frontespizi
• Parti finali del documento, come indici o elenchi di riferimenti
• Testo delle figure, come le etichette degli assi o i dati tabellari
• Notazione matematica
• Testi con una formattazione complessa, come poesie o ricette

Migliori pratiche

• Per ottenere risultati ottimali, prima di scansionare un documento è opportuno rimuovere intestazioni, piè di pagina, istruzioni e altro materiale superfluo redatto a mano.
• Se disponibili, si consiglia di utilizzare file di testo grezzo e file .docx piuttosto che PDF, poiché l'analisi dei PDF può talvolta causare artefatti indesiderati. I risultati dei PDF devono sempre essere ricontrollati.

Domande frequenti

Perché si misurano separatamente il tasso di falsi positivi e quello di falsi negativi?

L'accuratezza viene misurata eseguendo Pangram su una serie di testi di esempio e confrontando l'etichetta assegnata con quella che sappiamo essere effettiva per il documento. Pertanto, il tasso di falsi negativi e quello di falsi positivi sono misure di due aspetti diversi:

• Il tasso di falsi negativi ci porta a chiederci: dato un documento generato dall’IA, con quale probabilità Pangram lo classificherà come scritto da un essere umano?
• Il tasso di falsi positivi ci porta a chiederci: dato un documento redatto da un essere umano, con quale probabilità Pangram lo classificherà come prodotto dall’IA?

Non esiste un tasso di falsi positivi su un insieme di documenti redatti dall'IA, poiché qualsiasi etichetta positiva (IA) assegnata da Pangram a un elemento in tale insieme non sarebbe un falso positivo: per definizione, sarebbe un vero positivo. Ecco perché i tassi di falsi positivi e di falsi negativi devono essere misurati e riportati separatamente.

Perché Pangram analizza testi brevi se su di essi è meno preciso?

Il tasso di falsi positivi di Pangram sui testi compresi tra 50 e 100 parole è dello 0,02%, ovvero circa 1 su 5.000. Sebbene tale percentuale sia sufficientemente elevata — e i testi brevi online siano abbastanza numerosi — da far sì che l’utente medio possa imbattersi in un falso positivo relativo a un testo breve nel corso del normale utilizzo, è comunque abbastanza bassa da farci ritenere che Pangram possa fornire informazioni utili nella maggior parte dei casi.

Consigliamo sempre di scansionare la porzione più lunga del documento disponibile. Un numero maggiore di parole fornisce a Pangram più informazioni per formulare una previsione; ecco perché l’accuratezza migliora all’aumentare del numero di parole.