Il rilevatore di IA di Pangram dimostra ottime prestazioni in oltre 20 lingue

Due mesi fa, Pangram ha rilasciato il primo modello di rilevamento AI multilingue. Ora siamo pronti ad annunciare un aggiornamento! Pangram ora supporta ufficialmente le 20 lingue più diffuse su Internet e funziona bene anche con molte altre lingue. Abbiamo riscontrato prestazioni particolarmente elevate e notevolmente migliorate per l'arabo, il giapponese, il coreano e l'hindi.

Risultati

Abbiamo valutato circa 2.000 documenti per lingua nel nostro set di supporto ufficiale. La parte umana è un mix di recensioni reali, articoli di giornale e articoli di Wikipedia. La parte AI è un insieme di saggi, articoli di giornale e post di blog che abbiamo chiesto a GPT-4o di scrivere in varie lunghezze, stili e argomenti.

Lingua	Precisione	Tasso di falsi positivi	Tasso di falsi negativi
Arabo	99.95%	0.10%	0.00%
Ceco	99.95%	0.00%	0.11%
Tedesco	99.85%	0.00%	0.32%
greco	99.90%	0.00%	0.21%
Spagnolo	100.00%	0.00%	0.00%
persiano	100.00%	0.00%	0.00%
Francese	100.00%	0.00%	0.00%
Hindi	99.79%	0.00%	0.42%
Ungherese	99.49%	0.10%	0.95%
italiano	100.00%	0.00%	0.00%
giapponese	100.00%	0.00%	0.00%
Olandese	99.95%	0.10%	0.00%
Polacco	100.00%	0.00%	0.00%
Portoghese	100.00%	0.00%	0.00%
rumeno	99.95%	0.10%	0.00%
russo	100.00%	0.00%	0.00%
Svedese	99.95%	0.00%	0.11%
turco	99.90%	0.00%	0.21%
ucraino	99.95%	0.00%	0.11%
urdu	99.44%	0.00%	1.16%
Vietnamita	99.95%	0.00%	0.11%
cinese	99.95%	0.00%	0.11%

Cosa abbiamo cambiato?

Ecco le principali modifiche che abbiamo apportato per migliorare il nostro supporto multilingue:

• Abbiamo condotto una campagna di apprendimento attivo sui dati su scala web incentrata sulle 20 lingue più utilizzate su Internet.

• Abbiamo modificato il tokenizer per supportare meglio le lingue diverse dall'inglese.

• Abbiamo aumentato il numero di parametri del modello base e degli adattatori LoRA.

• Abbiamo applicato un aumento dei dati per tradurre automaticamente una parte casuale del nostro set di dati prima dell'addestramento.

• Abbiamo corretto un bug nel conteggio delle parole che causava una sottorappresentazione accidentale delle lingue dell'Asia orientale nel set di addestramento.

Campagna di apprendimento attivo

Il fondamento principale del nostro processo di creazione di modelli con tassi di falsi positivi estremamente bassi è l'apprendimento attivo: in parole povere, analizziamo Internet prima del 2022 alla ricerca di esempi in cui il nostro modello funziona male (ad esempio falsi positivi), aggiungiamo tali esempi al nostro set di addestramento, riaddestriamo il modello e ripetiamo il processo. Descriviamo questo algoritmo in dettaglio nella nostra relazione tecnica.

Possiamo applicare il nostro approccio di apprendimento attivo ad alcuni grandi set di dati multilingue presenti sul web per individuare testi multilingue che il nostro attuale modello fatica a elaborare, quindi utilizzare questi dati per iterare, insieme alla nostra vasta libreria di prompt per la creazione di mirror sintetici: testi generati dall'intelligenza artificiale simili ai falsi positivi individuati. Sebbene ci concentriamo sulle 20 lingue più diffuse su Internet, rimuoviamo la fase di filtraggio linguistico dalla nostra pipeline di dati: ciò significa che i testi in tutte le lingue sono idonei per il mining hard negative e l'inclusione nel nostro set di addestramento.

Uno dei vantaggi del nostro approccio di apprendimento attivo è che riequilibra automaticamente la distribuzione delle lingue in base all'accuratezza del nostro modello. Le lingue con poche risorse sono sottorappresentate online, ma a causa di questo squilibrio di classe, il nostro primo modello inizialmente funziona male con le lingue con poche risorse, causando un aumento dei testi provenienti da lingue poco comuni nell'elaborazione hard negative mining. Durante il processo di apprendimento attivo, osserviamo che i dati provenienti da lingue con molte risorse, come l'inglese, lo spagnolo e il cinese, diminuiscono gradualmente in proporzione nel nostro set di addestramento, mentre aumentano in proporzione le lingue meno comuni. Riteniamo che questa sia una soluzione relativamente elegante al naturale squilibrio nella distribuzione dei dati nell'addestramento di modelli multilingue. Grazie al nostro algoritmo di apprendimento attivo, il modello è in grado di selezionare autonomamente i dati nelle lingue di cui ha bisogno di vedere di più.

Modifiche architettoniche

Per supportare meglio i testi multilingue nel dominio di input, volevamo anche assicurarci che il modello LLM di base che utilizziamo per costruire il nostro classificatore fosse ampiamente fluente anche in molte lingue diverse dall'inglese. Abbiamo eseguito una scansione di diversi backbone LLM e tokenizzatori sul nostro set di dati per trovare quello che offre le migliori prestazioni generali tra un'ampia gamma di lingue diverse dall'inglese. Abbiamo scoperto che le prestazioni sui benchmark multilingue non sembrano correlare fortemente con le prestazioni del backbone nel nostro compito di rilevamento dell'IA: in altre parole, anche se il modello di base è in grado di risolvere compiti di ragionamento e rispondere a domande in altre lingue, l'efficacia del trasferimento di competenze al rilevamento multilingue dell'IA varia in modo estremamente ampio.

Abbiamo anche scoperto che i nostri modelli iniziali che abbiamo addestrato tendevano a sottostimare la nuova distribuzione multilingue: inizialmente abbiamo osservato una perdita di addestramento più elevata. A tal fine, abbiamo anche aumentato la dimensione del modello di base e il numero di parametri nei nostri adattatori LoRA, oltre ad aver addestrato il modello per più passaggi. (Poiché ci troviamo in un regime di apprendimento attivo/ad alto volume di dati, non addestriamo quasi mai per più di un'epoca. In questo caso, abbiamo semplicemente dovuto estendere la dimensione dell'epoca!)

Aumento dei dati

Anche con l'apprendimento attivo, la diversità dei dati nelle lingue diverse dall'inglese è notevolmente inferiore rispetto alla diversità e al volume dei dati in inglese disponibili online, e non è possibile ovviare completamente a tale problema semplicemente riequilibrando la distribuzione linguistica nel set di addestramento. In parole povere, alcuni dati in lingua inglese sono preziosi, ma semplicemente non esistono o non hanno un parallelo nativo in altre lingue. Abbiamo quindi deciso di applicare in modo casuale un aumento della traduzione automatica a una piccola parte del nostro set di dati (nel nostro caso abbiamo utilizzato Amazon Translate).

Sebbene non sia prassi comune applicare aumenti di traduzione automatica al set di addestramento nell'addestramento LLM, poiché i dati tradotti automaticamente sono spesso innaturali e presentano errori di traduzione, nel nostro caso, poiché non stiamo addestrando un modello generativo, ciò non sembra influire sulla qualità dell'output e abbiamo notato miglioramenti nelle nostre metriche dopo aver applicato questo aumento.

Benchmarking: spagnolo

Prendiamo lo spagnolo come esempio caratteristico di una lingua ad alta intensità di risorse che in precedenza era supportata da Pangram Text, ma che ora è stata notevolmente migliorata. Misuriamo il tasso di falsi positivi su una varietà di domini.

Set di dati	Tasso di falsi positivi (prima)	Tasso di falsi positivi (dopo)	Numero di esempi
Recensioni spagnole su Amazon	0.09%	0%	20,000
Wikilingua (testo dell'articolo WikiHow)	3.17%	0.14%	113,000
XL-SUM (articoli di cronaca in spagnolo)	0.08%	0%	3,800
Wikipedia in spagnolo	0.29%	0.04%	67,000
CulturaX spagnola	0.22%	0.01%	1,800,000
Post di blog spagnoli che abbiamo curato manualmente	0%	0%	60

Abbiamo anche misurato il tasso di falsi negativi (il tasso con cui il testo generato dall'IA viene erroneamente classificato come umano) per vari modelli linguistici di grandi dimensioni. In questo esperimento, abbiamo creato un elenco di prompt per gli LLM per generare saggi, post di blog e articoli di notizie di varie lunghezze e stili, quindi abbiamo tradotto i prompt in spagnolo. Gli LLM stessi sono multilingue, quindi rispondono alle istruzioni in spagnolo.

Modello	Tasso di falsi negativi (prima)	Tasso di falsi negativi (dopo)	Numero di esempi
GPT-4o	2.1%	0%	1,400
Claude 3.5 Sonetto	0.7%	0%	1,400
Claude 3 Opus	1.05%	0%	1,400
Gemini 1.5 Pro	2.85%	0%	1,400

Come possiamo vedere, il nostro modello aggiornato raggiunge una rilevazione perfetta su tutti gli LLM testati, migliorando significativamente la nostra versione precedente.

Benchmarking: arabo e giapponese

Due delle lingue su cui ci siamo concentrati maggiormente per migliorarle sono molto diffuse nel mondo, ma in realtà sono meno comuni su Internet: l'arabo e il giapponese.

Set di dati	Tasso di falsi positivi in arabo	Tasso di falsi positivi giapponese	Esempi in arabo	Esempi giapponesi
Recensioni Amazon	0%	0%	N/A	20,000
AR-AES (scrittura degli studenti arabi)	0%	N/A	2,000	N/A
Wikilingua (testo dell'articolo WikiHow)	0.58%	0.55%	29,000	12,000
XL-SUM (articoli di cronaca in lingua originale)	0%	0%	4,000	733
Wikipedia	0.09%	0.009%	31,000	96,000
CulturaX	0.08%	0.21%	1,785,000	1,409,000
Post del blog che abbiamo curato manualmente	0%	0%	60	60

In precedenza non supportavamo queste due lingue, quindi i tassi di falsi negativi erano estremamente elevati. Ora siamo in grado di prevedere in modo affidabile e molto accurato l'arabo e il giapponese generati dall'intelligenza artificiale.

Modello	Arabo FNR	FNR giapponese
GPT-4o	0%	0%
Claude 3.5 Sonetto	0%	0%
Claude 3 Opus	0%	0%
Gemini 1.5 Pro	0%	0.21%

Come possiamo vedere, il nostro modello aggiornato raggiunge un livello di rilevamento quasi perfetto su tutti gli LLM testati sia per l'arabo che per il giapponese, con un tasso di falsi negativi solo dello 0,21% per Gemini 1.5 Pro in giapponese.

I risultati completi del benchmark linguistico sono disponibili su richiesta.

Cosa succederà adesso?

Sebbene le nostre prestazioni siano ottime sui testi web nativi, il nostro modello a volte fatica a rilevare il "linguaggio da traduzione", ovvero testi tradotti male o che non suonano naturali. A peggiorare le cose, molte persone ora utilizzano direttamente modelli LLM come ChatGPT per le attività di traduzione. I testi tradotti con LLM dovrebbero essere classificati come umani o AI? Dipende dalla pesantezza della traduzione e anche dal caso d'uso dell'applicazione a valle. Un insegnante di spagnolo potrebbe considerare l'uso della traduzione automatica in un compito come una forma di disonestà accademica, ma un editore potrebbe voler consentire l'uso di opere tradotte attraverso il proprio processo di controllo qualità. Pangram sta lavorando attivamente per comprendere il testo tradotto come una "terza modalità" che si colloca a metà strada tra l'umano e l'IA, e per fornire maggiori informazioni ai nostri utenti in modo che i consumatori a valle del nostro modello possano decidere cosa è giusto per loro.

Hai altre domande? Contattaci all'indirizzo info@pangram.com!