Tutto sui falsi positivi nei sistemi di rilevamento basati sull'intelligenza artificiale

Uno degli aspetti più importanti del nostro lavoro in Pangram è ridurre al minimo il tasso di falsi positivi. Ciò significa ridurre il più possibile la probabilità che un testo scritto da un essere umano venga segnalato come generato dall'intelligenza artificiale. Oggi illustreremo i tassi di falsi positivi di Pangram in relazione a molti tipi diversi di scrittura, come misuriamo e valutiamo i nostri modelli per garantire che il tasso di falsi positivi sia il più basso possibile e, infine, alcune delle tecniche che utilizziamo per sviluppare software di rilevamento AI con il tasso di falsi positivi più basso del settore.

Punti chiave

• Si verifica un falso positivo quando un sistema di rilevamento segnala erroneamente un lavoro umano come generato dall’IA. Questo tipo di errore è particolarmente grave nel contesto del rilevamento dell’IA, poiché affermare che il lavoro di qualcuno non sia opera sua può danneggiarne la reputazione o la posizione accademica
• Pangram prende molto sul serio sia i falsi positivi che i falsi negativi e vanta un tasso di falsi positivi di 1 su 10.000, leader nel settore
• Per quanto riguarda i diversi ambiti, Pangram presenta un tasso di falsi positivi estremamente basso in tutti i casi d'uso più comuni, quali la scrittura creativa (0,01%), la scrittura accademica (0,02%), la scrittura biomedica (0,01%) e le sceneggiature cinematografiche (0%)
• Pangram offre prestazioni meno ottimali in alcuni casi d'uso più di nicchia, come la poesia o le ricette

Che cos'è un falso positivo?

Nel contesto del rilevamento dell'IA, si parla di falso positivo quando un sistema di rilevamento identifica erroneamente un campione creato da un essere umano come generato dall'IA. Al contrario, si parla di falso negativo quando un campione generato dall'IA viene erroneamente identificato come creato da un essere umano.

Falsi positivi e falsi negativi nel rilevamento basato sull'intelligenza artificiale

Il diagramma sopra riportato illustra i due tipi di errori. Se il rosso rappresenta la classe negativa e il verde quella positiva, una X rossa prevista come verde costituirebbe un falso positivo, mentre una O verde prevista come rossa costituirebbe un falso negativo.

In statistica si utilizzano i termini " errore di tipo I " ed "errore di tipo II ": questi termini hanno esattamente lo stesso significato. Un errore di tipo I è un falso positivo, mentre un errore di tipo II è un falso negativo. Gli statistici, e in particolare quelli che lavorano nel campo delle scienze mediche, utilizzano anche i termini "sensibilità" e "specificità" per distinguere questi due tassi di errore. Gli scienziati che si occupano di apprendimento automatico utilizzano invece i termini "precisione" e "richiamo". Sebbene vi siano alcune lievi differenze tecniche tra questi termini, a fini didattici, in questo post ci limiteremo a utilizzare semplicemente "falsi positivi" e "falsi negativi", poiché ritengo che questi siano i termini più intuitivi per descrivere questi due tipi di errore.

Nel rilevamento tramite IA, un falso positivo è di gran lunga peggiore di un falso negativo. Accusare ripetutamente di plagio tramite IA gli studenti che scrivono i compiti da soli, senza alcun aiuto da parte dell'IA, mina gravemente la fiducia tra studente e insegnante e può causare grande ansia e stress allo studente. D'altra parte, un falso negativo può significare che ogni tanto un imbroglione riesca a sfuggire al controllo, il che non è un risultato così negativo per uno strumento di rilevamento tramite IA.

Vale la pena notare che, in altri contesti di diagnosi, un falso negativo può causare danni ben più gravi di un falso positivo: ad esempio, in un test di screening oncologico è molto meglio che il test indichi erroneamente che il paziente ha il cancro, piuttosto che non rilevi affatto un tumore effettivamente presente. Se il test indica erroneamente che il paziente ha il cancro, allora, sebbene possa essere scomodo per il paziente doversi sottoporre nuovamente a controlli, esami e analisi aggiuntivi, ciò è di gran lunga preferibile rispetto a una diagnosi di cancro mancata, che costituisce una minaccia per la vita del paziente.

Tornando al riconoscimento dell'IA, un falso positivo causa più danni di un falso negativo, ma entrambi sono importanti: non individuare sistematicamente i testi generati dall'IA e considerarli erroneamente come scritti da esseri umani compromette anch'esso il valore dello strumento. Pertanto, in Pangram, il nostro approccio generale consiste nel ridurre al minimo sia i falsi negativi che i falsi positivi, attribuendo però maggiore priorità ai falsi positivi.

Qual è il tasso di falsi positivi di Pangram?

La risposta è: dipende!

Nel complesso, il nostro tasso di falsi positivi è pari a circa 1 su 10.000: a volte è leggermente superiore, altre volte leggermente inferiore, a seconda del tipo di testo e di altre variabili.

Misuriamo il tasso di falsi positivi di Pangram su un'ampia varietà di testi: chiamiamo questi ambiti "domini". Pur non essendo esaustivi, di seguito sono riportati i nostri tassi di falsi positivi più aggiornati, che misuriamo internamente per ciascun dominio:

Quali fattori determinano la tendenza del Pangram a generare falsi positivi?

In generale, Pangram funziona al meglio quando sono soddisfatte le seguenti condizioni:

• Il testo è abbastanza lungo (più di duecento parole)
• Il testo è scritto con frasi complete
• Il dominio è ben rappresentato nei comuni set di addestramento online
• Il testo è più creativo e meno stereotipato

Riteniamo che questi fattori siano il motivo per cui Pangram offre prestazioni ottimali nei saggi, nella scrittura creativa e nelle recensioni. Sebbene gli articoli di cronaca, i saggi scientifici e le voci di Wikipedia siano più convenzionali e tecnici, in questi ambiti la disponibilità di dati è abbondante e quindi Pangram è diventato molto abile nel riconoscere anche i modelli più sottili presenti nei testi. Infine, ambiti come le ricette e la poesia sono quelli in cui il sistema è più debole, poiché i testi tendono ad essere brevi, non scritti in frasi complete (offrendo all'LLM meno possibilità di infondere il proprio stile peculiare nel testo) e sono generalmente meno diffusi online rispetto agli altri ambiti.

In pratica, cosa significa? Sebbene Pangram sia ancora relativamente affidabile in tutti i contesti, è possibile fidarsi maggiormente della sua accuratezza quando il testo è lungo, composto da frasi complete e richiede un maggiore contributo originale da parte dell'autore. Per questo motivo, sconsigliamo di utilizzare lo strumento per elementi quali brevi elenchi puntati e schemi, formule matematiche, risposte molto brevi (ad esempio, singole frasi) e testi estremamente stereotipati come lunghi elenchi di dati, fogli di calcolo, testi basati su modelli e manuali di istruzioni.

Come si colloca il tasso di falsi positivi di Pangram rispetto a quello dei concorrenti?

Non possiamo effettuare lo stesso test di benchmark approfondito sui nostri concorrenti, semplicemente perché i costi sarebbero davvero proibitivi. Tuttavia, possiamo verificare quale sia, secondo quanto dichiarato dai nostri concorrenti, il loro tasso di falsi positivi.

Turnitin

Il tasso di falsi positivi riportato da Turnitin sul proprio sito web

L'ultimo white paper di Turnitin riporta un tasso di falsi positivi dello 0,51% sui testi accademici, ovvero circa 1 su 200, a livello di documento. Ciò significa che 1 su 200 elaborati consegnati dagli studenti verrà erroneamente segnalato come generato dall'intelligenza artificiale.

Il nostro tasso di falsi positivi, misurato su un corpus simile di saggi accademici, è dello 0,004%, ovvero 1 su 25.000.

Si tratta di una differenza significativa. In una grande università di ricerca possono essere presentati fino a 100.000 articoli all'anno. È questa la differenza tra 500 segnalazioni di plagio per Turnitin e solo 4 per Pangram.

GPTZero

Il tasso di falsi positivi riportato da GPTZero sul proprio sito web

GPTZero dichiara un tasso di falsi positivi dell'1%, che è due volte superiore a quello di Turnitin e 250 volte superiore a quello di Pangram.

Abbiamo effettuato un confronto interno tra GPTZero e Pangram su un sottoinsieme più ristretto di documenti tratti dal nostro corpus VIP generale, al fine di garantire un confronto equo. Abbiamo riscontrato che la percentuale di falsi positivi era superiore a quella riportata, attestandosi al 2,01%.

Copyleaks

Il tasso di falsi positivi riportato da Copyleaks sul proprio sito web

Copyleaks dichiara un tasso di falsi positivi dello 0,2%, ovvero 1 su 500, il che, se fosse vero, rappresenterebbe un risultato 50 volte peggiore rispetto a Pangram.

Inoltre, un dato isolato come questo non racconta tutta la storia. Non sappiamo da dove provengano i dati, né quali potenziali distorsioni possano esserci state nella valutazione. Ecco perché effettuiamo un'analisi comparativa approfondita e pubblichiamo questo articolo in cui descriviamo in dettaglio il nostro processo di valutazione del modello.

Test prestazionale RAID

Dando uno sguardo allo studio RAID pubblicato lo scorso anno da Liam Dugan e dai suoi coautori, lo studio n. 2 citato nell'articolo di sintesi che abbiamo pubblicato, vorremmo richiamare l'attenzione sul grafico seguente.

Tassi di falsi positivi nello studio RAID tra i vari rilevatori

La maggior parte dei rilevatori fornisce una "soglia", ovvero la percentuale di confidenza al di sopra della quale il modello indica che il testo è stato generato dall'IA, mentre al di sotto della quale indica che il testo è stato scritto da un essere umano. Modificando la soglia è possibile trovare un compromesso tra falsi positivi e falsi negativi.

In questo grafico, sull'asse x è riportato il tasso di falsi positivi determinato dalla variazione della soglia, mentre sull'asse y è riportato il recall: ovvero la percentuale di documenti AI che è possibile classificare come AI quando valutati a quella soglia.

In poche parole, i rilevatori della concorrenza smettono di funzionare quando vengono impostati su un tasso di falsi positivi inferiore all'1%; in altre parole, non sarebbero in grado di rilevare alcuna IA se la soglia fosse sufficientemente bassa da garantire un FPR dell'1%.

Come si valuta il tasso di falsi positivi di Pangram?

Pangram segue un processo di approvazione e collaudo estremamente rigoroso prima che qualsiasi nuovo modello possa essere implementato nella nostra dashboard e nelle nostre API.

Nel corso del nostro processo di controllo qualità, effettuiamo tre tipi di test per individuare i falsi positivi, ciascuno dei quali garantisce un equilibrio tra valutazione quantitativa e qualitativa. Le nostre valutazioni comprendono:

1. Set di validazione su larga scala. Da circa 10.000 a 10.000.000 di esempi per set. Si tratta di database Internet su larga scala e ad accesso libero risalenti al periodo precedente a ChatGPT (2022), dai quali abbiamo selezionato un set di validazione non utilizzato per l'addestramento e riservato esclusivamente a fini di valutazione.

2. Set VIP di medie dimensioni. Circa 1.000 esempi per set. Si tratta di set di dati raccolti manualmente da ingegneri o addetti all'etichettatura da fonti affidabili, controllati visivamente e verificati personalmente per accertarne la provenienza umana. Sebbene gli esperti qualificati siano in grado di individuare a occhio nudo i contenuti generati dall'IA, a volte possono commettere errori; pertanto, verifichiamo regolarmente i dati e li puliamo per garantirne l'accuratezza.

3. Set di prova. Circa 10-100 esempi per set. Si tratta di falsi positivi segnalati in precedenza, casi complessi che ci sono stati inviati dai nostri amici e, in generale, esempi interessanti sui quali vogliamo verificare le nostre prestazioni. Raccogliamo anche esempi di testi fuori dal comune, come ricette, poesie, sceneggiature di film e altre forme scritte che non sono ben rappresentate nei set di addestramento dei modelli linguistici di grandi dimensioni, e li consideriamo anch'essi set di sfida, oltre che un benchmark generale per valutare le prestazioni del nostro modello quando viene messo "fuori distribuzione".

Oltre a questi tre tipi di controllo qualità, disponiamo anche di test unitari. Questi test unitari servono, in parole povere, a verificare che il nostro modello non presenti quelli che potremmo definire "errori imbarazzanti". La nostra attuale suite di test unitari ci impone di classificare come "umano" documenti quali la Dichiarazione d'Indipendenza, citazioni famose della letteratura, nonché i testi del nostro sito web e i post del nostro blog. Se anche un solo di questi test unitari fallisce, blocchiamo l'implementazione di un nuovo modello e torniamo al punto di partenza. Una delle nostre filosofie guida per la valutazione è quella di essere ipervigili nel tracciare e monitorare questi "fallimenti imbarazzanti", in modo che non si ripetano mai quando viene rilasciato un nuovo modello.

Diagramma che illustra i tre tipi di set di valutazione utilizzati in Pangram: set di holdout su larga scala (oltre 10 milioni di esempi), set VIP su media scala (oltre 1000 esempi) e set di sfida (da 10 a 100 esempi)

Chi ha una predisposizione per la matematica e le scienze potrebbe chiedersi: perché è necessaria una valutazione qualitativa? Un numero maggiore di campioni non è sempre meglio?

La mia risposta a questo sarebbe: un numero maggiore di campioni non è sempre sinonimo di miglioramento. Come disse una volta un saggio profeta, ci sono bugie, maledette bugie e statistiche. Ma, tornando seri, crediamo che quando si crea un set di dati di grandi dimensioni, si finisca sempre per introdurre un qualche tipo di distorsione. E quando si dispone di un set di dati così grande da non poter esaminare ogni singolo esempio, non si sa se il proprio modello si sia adattato eccessivamente a un pregiudizio nel set di dati che lo porterà a ottenere buoni risultati nel test, ma scarsi nel mondo reale. (Per inciso, crediamo che questo sia il motivo per cui esistono molti rilevatori di IA online che dichiarano una "precisione del 99%", ma che non si avvicinano nemmeno a tale percentuale quando li si testa effettivamente).

Un esempio divertente che illustra l'importanza di queste diverse varianti di suite di test risale agli albori di Pangram, quando abbiamo introdotto per la prima volta Wikipedia nel set di addestramento. Uno dei nostri primi tentativi falliti si è rivelato ottimo sul set di validazione, ma molto scarso sul set VIP, costituito da articoli di Wikipedia raccolti manualmente. Alla fine abbiamo scoperto che nel set di dati Huggingface che stavamo utilizzando, per quanto riguarda la parte umana, la pronuncia dei nomi espressa nell'Alfabeto Fonetico Internazionale veniva riformattata in un modo davvero strano a cui il modello si stava sovradattando: si limitava a guardare la formattazione del nome e poi concludeva, basandosi su quella, se il documento fosse stato creato dall'IA o da un essere umano. Ottimo sul set di validazione, ma terribile nel mondo reale quando il modello non aveva quel particolare indizio! Ecco perché è importante avere un set di test che rifletta accuratamente il tipo di testo che Pangram incontrerà nel mondo reale.

Prima di spedire un modello ai clienti di Pangram, lo sottoponiamo a una rigorosa procedura di approvazione che prevede una valutazione sia quantitativa che qualitativa, durante la quale lo sottoponiamo a test di stress e ne esaminiamo attentamente le prestazioni rispetto al modello attuale.

1. Valutazione quantitativa: ciò significa che le metriche relative al tasso di falsi positivi su tutti i set di test, i set VIP e i casi di verifica non devono essere sottoposte a regressione.

2. Valutazione qualitativa: nella maggior parte dei casi, alcuni esempi mostreranno un miglioramento, mentre altri registreranno un peggioramento. Ove possibile, esaminiamo visivamente gli esempi specifici che hanno subito un peggioramento e ci assicuriamo che gli errori siano spiegabili. Si tratta spesso di un processo sfumato e specifico per le ipotesi particolari che stiamo testando, ma in generale vogliamo assicurarci che i casi di errore non presentino uno schema particolare che possa generalizzarsi in errori nel mondo reale dopo l'implementazione.

3. Verifica dell'esperienza d'uso / Red Teaming: infine, una volta completate le valutazioni quantitative e qualitative, procediamo semplicemente a una "verifica dell'esperienza d'uso" del modello, inviandolo al team e chiedendo ai membri di provarlo per un po'. Per alcuni aggiornamenti, potremmo anche far testare il modello da tester interni o da clienti beta prima di renderlo disponibile al pubblico su larga scala (di solito li incoraggiamo a cercare casi in cui il modello non funzioni correttamente!).

4. Test A/B retroattivi: eseguiamo inferenze offline sulle nostre vecchie previsioni e analizziamo le differenze tra il vecchio modello e quello nuovo. Non sempre disponiamo dei dati di riferimento per le informazioni che abbiamo precedentemente dedotto, ma, ancora una volta, cerchiamo modelli ricorrenti che possano evidenziare casi di errore nel mondo reale.

In sintesi, pur adottando un approccio estremamente meticoloso e scientifico nella valutazione delle prestazioni del nostro modello attraverso metriche e statistiche, non ci affidiamo esclusivamente ai numeri per avere un quadro completo della situazione. Ci affidiamo anche alla nostra osservazione diretta, all'intuizione e alla capacità di riconoscere gli schemi per esaminare il modello e individuare eventuali errori che le nostre metriche potrebbero aver trascurato. Ci affidiamo inoltre al nostro team di tester, ai membri del red team e ai clienti beta per individuare eventuali falle che il team potrebbe aver trascurato.

Quali sono le tecniche che utilizziamo per ottenere un tasso di falsi positivi così basso?

Mantenere un basso tasso di falsi positivi è fondamentale per la nostra missione di ricerca. Ecco alcune delle tecniche che abbiamo utilizzato finora per ottenere un tasso di errore tra i migliori del settore.

Copertura completa dei dati di addestramento

Sebbene i rilevatori di IA della concorrenza possano essere "progettati per il mondo accademico, le scuole, le aule e gli insegnanti", ciò potrebbe in realtà significare che il loro set di addestramento contiene solo testi accademici.

D'altra parte, abbiamo sviluppato Pangram proprio per mettere in pratica la "lezione amara": gli algoritmi di apprendimento generici, addestrati su grandi volumi di dati provenienti da una vasta gamma di fonti, sono più efficaci dei modelli specifici addestrati su dati relativi a un settore specifico.

Ciò significa che addestriamo il nostro rilevatore di IA su un'ampia varietà di testi: creativi, tecnici, scientifici, enciclopedici, recensioni, siti web, post di blog... e l'elenco potrebbe continuare. Il motivo è simile a quello di una formazione umanistica a tutto tondo: l'esposizione a molte discipline e stili di scrittura aiuta il modello a comprendere e generalizzare meglio quando si trova di fronte a nuovi casi. Seguendo la tendenza generale nell'addestramento dell'IA, ChatGPT e altri modelli linguistici di grandi dimensioni non vengono addestrati su dati specifici per casi d'uso particolari, ma su dati testuali generali su larga scala in modo da poter acquisire un'intelligenza generale: crediamo nella stessa strategia per addestrare i rilevatori di IA che siano robusti rispetto a tutti i diversi tipi generali di testo che un LLM può produrre.

Mining con filtri rigidi / Apprendimento attivo

Abbiamo parlato ampiamente del nostro algoritmo di apprendimento attivo, che sfrutta una tecnica denominata "hard negative mining", e riteniamo che questo sia il motivo principale per cui siamo riusciti a ridurre il nostro tasso di falsi positivi quasi a zero.

In sostanza, il motivo per cui questo metodo funziona è che la maggior parte degli esempi presenti in natura sono "esempi facili": una volta che il modello ha appreso gli schemi di base che distinguono ciò che è umano da ciò che è IA, è molto facile distinguere gli uni dagli altri nella stragrande maggioranza del set di dati. Tuttavia, questo permette di raggiungere solo una precisione del 99% circa. Per guadagnare gli ultimi due punti di accuratezza, dobbiamo trovare i casi più difficili per addestrare il modello: possiamo pensare a questi casi come a quelli in cui un essere umano decide semplicemente di scrivere in modo molto simile a un modello linguistico di IA, ma in realtà lo fa solo per coincidenza. Per trovare questi casi negativi difficili, eseguiamo una ricerca su larga scala su set di dati di dimensioni pari a Internet, come quelli utilizzati per addestrare gli LLM, e poi eseguiamo un mirroring sintetico per generare esempi di IA dal suono simile. Maggiori dettagli sono disponibili nella nostra pagina "Come funziona".

Ponderazione delle perdite e sovracampionamento

Formuliamo il nostro obiettivo di ottimizzazione in modo tale che il modello dia la priorità ai falsi positivi rispetto ai falsi negativi già durante la fase di addestramento. Quando il modello commette un errore su un documento redatto da un essere umano, viene "penalizzato" con un fattore molto più pesante rispetto a quando commette un errore su un documento generato dall'IA. Ciò costringe il modello ad adottare un approccio prudente e a prevedere che un documento sia generato dall'IA solo se ne è assolutamente certo.

Taratura

Ciò riguarda la scelta della soglia descritta nel capitolo sul RAID. Scegliamo la nostra soglia sulla base dell'analisi di milioni di documenti nei nostri set di valutazione, al fine di trovare il giusto compromesso tra i tassi di falsi positivi e falsi negativi. Con la nostra scelta della soglia, cerchiamo di raggiungere un equilibrio tra il mantenimento di un tasso di falsi negativi ragionevole e il non compromettere il numero di falsi positivi.

Punti chiave

• Pangram presenta un tasso di falsi positivi notevolmente inferiore rispetto alla concorrenza.
• Il tasso di falsi positivi estremamente basso di Pangram è dovuto a una combinazione di fattori quali la portata del sistema, l'addestramento e l'algoritmo di ricerca.
• Poiché il tasso di falsi positivi riveste un'importanza fondamentale nel rilevamento basato sull'intelligenza artificiale, abbiamo creato una suite di test e controllo qualità estremamente completa e sviluppato un processo di approvazione approfondito che combina un'attenta valutazione statistica con un giudizio umano più soggettivo e qualitativo e una verifica intuitiva.

Ci piace molto lavorare con i ricercatori per migliorare l'accuratezza complessiva del nostro software e crediamo fermamente nell'importanza dei benchmark aperti e della trasparenza nel campo del rilevamento basato sull'intelligenza artificiale. Per richieste relative a collaborazioni, partnership o ulteriori domande sull'accuratezza di Pangram, scriveteci all'indirizzo info@pangram.com.