Uno studio condotto da terzi dimostra che Pangram è il rilevatore di IA più affidabile

Uno studio condotto da terzi dimostra che Pangram è il rilevatore di IA più affidabile

I ricercatori dell'Università di Houston, dell'Università della California a Berkeley, dell'Università della California a Irvine e della startup Esperanto AI hanno scoperto che Pangram è il rilevatore di testi basato sull'intelligenza artificiale più affidabile tra un'ampia gamma di metodi sia commerciali che open source. Nell'articolo, intitolato «Esperanto: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination», i ricercatori hanno studiato gli effetti della traduzione linguistica sulla capacità dei rilevatori basati sull'intelligenza artificiale.

Come aggirare i sistemi di rilevamento basati sull'intelligenza artificiale utilizzando i traduttori

È risaputo che un espediente per eludere i sistemi di rilevamento dell’IA consiste nel tradurre un testo generato dall’IA tramite Google Translate in una lingua straniera e poi ritradurlo nuovamente in inglese; ciò può aiutare un malintenzionato (o semplicemente uno studente ingegnoso a corto di tempo) a sfuggire ai programmi di rilevamento dell’IA. Noi di Pangram chiamiamo internamente questo attacco “doppia traduzione”, mentre i ricercatori lo definiscono “backtranslation”. Ecco un esempio di doppia traduzione. Chiediamo a ChatGPT di scrivere un testo per noi. Per prima cosa traduciamo il testo in giapponese, poi lo ritraduciamo in inglese. Notiamo che alcune frasi sono cambiate, poiché il software di traduzione non è perfetto e spesso ci sono diversi modi per dire la stessa cosa. Questo ha un effetto simile a quello di uno strumento di parafrasi come Quillbot.

Testo generato da ChatGPT Testo tradotto due volte Un esempio di doppia traduzione

Molti dei nostri concorrenti non sono in grado di resistere a questo exploit. Quello che vedete sopra è uno dei rilevatori di IA della concorrenza più diffusi sul mercato. Notiamo che il modello è in grado di rilevare l'IA direttamente da ChatGPT, ma una volta sottoposto a una doppia traduzione, rileva solo il 15% di IA.

Risultati di GPTZero Uno strumento concorrente molto diffuso classifica correttamente il testo originale generato dall'IA, ma classifica erroneamente il testo tradotto due volte come scritto da un essere umano.

Pangram, tuttavia, è in grado di identificare sia il testo originale di ChatGPT sia il testo tradotto due volte come generato dall'IA con una precisione del 99,99%. Non solo siamo in grado di stabilire che si tratta di un testo generato dall'IA, ma possiamo anche affermare con certezza che la fonte originale è GPT-4. I ricercatori hanno deciso di studiare questo fenomeno in termini generali e su larga scala.

Risultati del pangramma Pangram identifica correttamente sia il testo originale che quello tradotto due volte come generato dall'intelligenza artificiale.

Analisi dell'effetto della ritraduzione su 720.000 documenti

Un solo esempio non basta a dimostrare che il nostro rilevatore sia affidabile e che gli altri non lo siano. Nell'ambito dello studio, i ricercatori hanno raccolto migliaia di articoli di cronaca, abstract di articoli scientifici, post su Reddit e recensioni di prodotti di cui è stata confermata l'autenticità. Hanno poi generato diversi esempi di testi prodotti dall'intelligenza artificiale utilizzando GPT-3.5-Turbo, LLaMA 3, Mistral, Phi3 e Yi.

Nel complesso, anche prima di ricorrere a un attacco di traduzione, molti dei metodi open source e dei rilevatori commerciali si rivelano di fatto del tutto inefficaci.

In primo luogo, è stata scelta una soglia: ciò significa selezionare la percentuale limite al di sopra della quale considereremmo un documento generato dall'IA. La maggior parte dei rilevatori di IA fornisce una percentuale come risultato finale. Per mettere tutti i rilevatori su un piano di parità, le soglie sono state scelte in modo tale che ogni modello abbia un tasso di falsi positivi dell'1%. A questo punto, è possibile confrontare l'accuratezza dei rilevatori in termini di percentuale di veri positivi: quanti esempi generati dall'IA riesce a individuare ciascun rilevatore a quella soglia?

Molti degli altri metodi esaminati nell'articolo non riescono affatto a individuare i contenuti generati dall'intelligenza artificiale. Ad esempio, ZeroGPT e GPTZero non riescono nemmeno a raggiungere un tasso di falsi positivi dell'1% a nessuna soglia in alcuni ambiti, mentre articoli accademici molto citati come RADAR e LLMDet hanno un'accuratezza inferiore al 50%.

Il parametro proposto per valutare le prestazioni consiste nel misurare il TPR con un tasso di falsi positivi (FPR) dell'1%: in altre parole, a parità di un tasso di falsi positivi costante dell'1%, con quale frequenza il modello è in grado di individuare un testo generato dall'IA? ZeroGPT non riesce nemmeno a raggiungere un tasso di falsi positivi dell'1% a nessuna soglia nella maggior parte dei domini, mentre articoli accademici ampiamente citati come RADAR e LLMDet ottengono risultati ben al di sotto del 50% su questo parametro.

Nel frattempo, Pangram raggiunge un tasso di richiamo superiore al 96% su tutti i domini con un tasso di falsi positivi (FPR) dell'1%, e arriva addirittura all'85% sul difficile set di dati delle recensioni, che contiene recensioni lunghe solo 40-50 parole (un numero ben al di sotto della soglia di parole da noi raccomandata per il rilevamento dell'IA in contesti commerciali reali).

Dopo un doppio attacco di traduzione, molti dei sistemi di rilevamento smettono completamente di funzionare. GPTZero, ad esempio, scende dal 97% al 42% nel settore delle notizie e dal 65% al 9% in quello delle recensioni. I ricercatori concludono: «I risultati ottenuti da GPTZero e ZeroGPT indicano una mancanza di robustezza nei confronti delle tecniche di ritraduzione… Pangram mostra invece un certo grado di robustezza, specialmente sui testi più lunghi».

Di seguito sono riportati i risultati completi. Pangram mostra prestazioni superiori in tutte le categorie.

Tabella dei risultati che mette a confronto i rilevatori di IA Tabella dei risultati tratta dall'articolo sull'esperanto che dimostra la solidità di Pangram

Conclusione

Questa ricerca conferma ulteriormente la nostra tesi secondo cui Pangram è l'unico software di rilevamento dell'intelligenza artificiale attualmente disponibile sul mercato che funzioni in modo sufficientemente affidabile da poter essere utilizzato in contesti accademici e commerciali e che non possa essere aggirato con espedienti quali la doppia traduzione.

Non si tratta né di un caso né di una coincidenza. La robustezza di Pangram è la prova di un modello potente, in grado di generalizzare e supportato da grandi set di dati e dal nostro approccio mirato di apprendimento attivo. Sebbene chiunque possa sviluppare uno strumento di rilevamento basato sull'intelligenza artificiale che funzioni in alcuni casi o addirittura nella maggior parte dei casi, il nostro approccio scalabile è l'unico modo per ottenere un'accuratezza affidabile e costante che non crolli completamente quando il testo viene modificato o alterato.

Ci impegniamo costantemente per migliorare le prestazioni e la robustezza del nostro modello di rilevamento basato sull'intelligenza artificiale. Ci teniamo aggiornati sulle ultime ricerche nel campo dell'apprendimento automatico avversariale e testiamo continuamente il nostro modello contro potenziali attacchi e tentativi di elusione.

A breve ulteriori aggiornamenti su questo argomento!