Il rilevatore di IA di Pangram dimostra ottime prestazioni in oltre 20 lingue

Due mesi fa, Pangram ha lanciato il primo modello di rilevamento basato sull'intelligenza artificiale multilingue. Oggi siamo pronti ad annunciare un aggiornamento! Pangram ora supporta ufficialmente le prime 20 lingue più diffuse su Internet e, sebbene non ufficialmente, offre ottime prestazioni anche su molte altre. Abbiamo riscontrato prestazioni particolarmente elevate e notevolmente migliorate per l'arabo, il giapponese, il coreano e l'hindi.

Risultati

Nel nostro set di dati di addestramento ufficiale abbiamo valutato circa 2.000 documenti per ciascuna lingua. La parte umana è costituita da un mix di recensioni reali, articoli di cronaca e voci di Wikipedia. La parte dedicata all'IA è costituita da una serie di saggi, articoli di cronaca e post di blog che abbiamo chiesto a GPT-4o di scrivere in varie lunghezze, stili e argomenti.

Cosa abbiamo cambiato?

Ecco le principali modifiche che abbiamo apportato per migliorare il nostro supporto multilingue:

• Abbiamo condotto una campagna di apprendimento attivo sui dati su scala web, concentrandoci sulle prime 20 lingue più diffuse su Internet.

• Abbiamo modificato il tokenizer per garantire un supporto migliore alle lingue diverse dall'inglese.

• Abbiamo aumentato il numero di parametri del modello di base e degli adattatori LoRA.

• Abbiamo applicato una tecnica di ampliamento dei dati per tradurre automaticamente una parte casuale del nostro set di dati prima dell'addestramento.

• Abbiamo risolto un errore nel conteggio delle parole che causava una sottorappresentazione involontaria delle lingue dell'Asia orientale nel set di addestramento.

Campagna per l'apprendimento attivo

Il fondamento principale del nostro processo di creazione di modelli con tassi di falsi positivi estremamente bassi è l'apprendimento attivo: in parole povere, analizziamo i dati presenti su Internet precedenti al 2022 alla ricerca di esempi su cui il nostro modello mostra prestazioni insufficienti (ad esempio, falsi positivi), aggiungiamo tali esempi al nostro set di addestramento, riaddestriamo il modello e ripetiamo il processo. Descriviamo questo algoritmo in dettaglio nel nostro rapporto tecnico.

Possiamo applicare il nostro approccio di apprendimento attivo ad alcuni grandi set di dati multilingue presenti sul web per individuare testi multilingui con cui il nostro modello attuale ha difficoltà, e poi utilizzare questi dati per iterare, insieme alla nostra vasta libreria di prompt, la creazione di "specchi sintetici": testi generati dall'IA che assomigliano ai falsi positivi individuati. Sebbene ci concentriamo sulle prime 20 lingue su Internet, eliminiamo la fase di filtraggio linguistico dalla nostra pipeline di dati: ciò significa che i testi in tutte le lingue sono idonei per l'estrazione di hard negative e l'inclusione nel nostro set di addestramento.

Uno dei vantaggi del nostro approccio di apprendimento attivo è che riequilibra automaticamente la distribuzione delle lingue in base all’accuratezza del nostro modello. Le lingue con scarse risorse sono sottorappresentate online, ma proprio a causa di questo squilibrio di classe, il nostro primo modello inizialmente offre prestazioni scarse su tali lingue, facendo sì che nella fase di estrazione dei "hard negative" venga selezionato un maggior numero di testi in lingue poco diffuse. Durante il processo di apprendimento attivo, osserviamo che i dati provenienti da lingue con molte risorse, come l'inglese, lo spagnolo e il cinese, diminuiscono gradualmente in proporzione nel nostro set di addestramento, mentre le lingue meno comuni aumentano in proporzione. Riteniamo che questa sia una soluzione relativamente elegante alla naturale distribuzione sbilanciata dei dati nell'addestramento dei modelli multilingue. Grazie al nostro algoritmo di apprendimento attivo, il modello è in grado di selezionare autonomamente i dati nelle lingue di cui ha bisogno di vedere di più.

Modifiche architettoniche

Per gestire al meglio i testi multilingue nel dominio di input, volevamo anche assicurarci che il modello di linguaggio di base (LLM) che utilizziamo per costruire il nostro classificatore fosse altrettanto competente in molte lingue diverse dall'inglese. Abbiamo testato diversi backbone LLM e tokenizzatori sul nostro set di dati per individuare quello che offre le migliori prestazioni generali su un'ampia gamma di lingue diverse dall'inglese. Abbiamo riscontrato che le prestazioni sui benchmark multilingue non sembrano correlare fortemente con l'efficacia del backbone nel nostro compito di rilevamento AI: in altre parole, anche se il modello di base è in grado di risolvere compiti di ragionamento e rispondere a domande in altre lingue, l'efficacia del trasferimento delle competenze al rilevamento AI multilingue varia in modo estremamente ampio.

Abbiamo inoltre riscontrato che i modelli iniziali che avevamo addestrato tendevano a sottostimare la nuova distribuzione multilingue: inizialmente abbiamo osservato una perdita di addestramento più elevata. A tal fine, abbiamo aumentato sia le dimensioni del modello di base sia il numero di parametri nei nostri adattatori LoRA, e abbiamo anche esteso la durata dell'addestramento. (Poiché operiamo in un regime di apprendimento attivo / con elevata quantità di dati, non addestriamo quasi mai per più di 1 epoch. In questo caso, abbiamo semplicemente dovuto estendere la durata dell'epoch!)

Aumento dei dati

Anche con l'apprendimento attivo, la varietà dei dati in lingue diverse dall'inglese è notevolmente inferiore rispetto alla varietà e al volume dei dati in inglese disponibili online, e non possiamo ovviare completamente a questo problema semplicemente riequilibrando la distribuzione linguistica nel set di addestramento. Per dirla in modo approssimativo, ci sono alcuni dati in inglese che sono preziosi, ma che semplicemente non esistono o non hanno un equivalente nativo in altre lingue. Abbiamo quindi deciso di applicare in modo casuale un potenziamento tramite traduzione automatica a una piccola parte del nostro set di dati (nel nostro caso abbiamo utilizzato Amazon Translate).

Sebbene non sia prassi comune applicare aumentazioni basate sulla traduzione automatica al set di addestramento nell'addestramento dei modelli di linguaggio di grandi dimensioni (LLM), poiché i dati tradotti automaticamente risultano spesso innaturali e presentano un "tono da traduzione", nel nostro caso, dato che non stiamo addestrando un modello generativo, ciò non sembra influire sulla qualità dell'output e abbiamo riscontrato un miglioramento delle nostre metriche dopo aver applicato questa aumentazione.

Analisi comparativa: spagnolo

Prendiamo lo spagnolo come esempio tipico di una lingua con un ampio corpus di dati, che in precedenza era supportata dal Pangram Text, ma che ora è stata notevolmente migliorata. Misuriamo il tasso di falsi positivi in una varietà di ambiti.

Abbiamo inoltre misurato il tasso di falsi negativi (ovvero la percentuale di testi generati dall'IA erroneamente classificati come scritti da esseri umani) per vari modelli linguistici di grandi dimensioni. In questo esperimento, abbiamo stilato un elenco di prompt affinché i modelli generassero saggi, post di blog e articoli di cronaca di varia lunghezza e stile, per poi tradurre tali prompt in spagnolo. I modelli stessi sono multilingue, quindi rispondono alle istruzioni in spagnolo.

Come si può notare, il nostro modello aggiornato garantisce un rilevamento perfetto su tutti i modelli di linguaggio di grandi dimensioni (LLM) sottoposti a test, registrando un netto miglioramento rispetto alla versione precedente.

Analisi comparativa: arabo e giapponese

Due delle lingue su cui ci siamo concentrati maggiormente per migliorarne la conoscenza sono molto diffuse nel mondo, ma in realtà sono meno comuni su Internet: l'arabo e il giapponese.

In precedenza non supportavamo queste due lingue, quindi i tassi di falsi negativi erano estremamente elevati. Ora siamo in grado di riconoscere con grande affidabilità l'arabo e il giapponese generati dall'intelligenza artificiale.

Come si può notare, il nostro modello aggiornato raggiunge un tasso di rilevamento quasi perfetto su tutti i modelli di linguaggio di grandi dimensioni (LLM) testati, sia per l'arabo che per il giapponese, con un tasso di falsi negativi di appena lo 0,21% per Gemini 1.5 Pro in giapponese.

I risultati completi dei test di benchmark linguistici sono disponibili su richiesta.

E adesso?

Sebbene il nostro modello dia ottimi risultati con i testi web in lingua originale, a volte fatica a individuare i testi "da traduzione" – ovvero quelli tradotti male o che comunque non suonano naturali. A peggiorare le cose, molte persone ora utilizzano modelli di linguaggio di grandi dimensioni (LLM) come ChatGPT direttamente per attività di traduzione. I testi tradotti dagli LLM dovrebbero essere classificati come prodotti dall’uomo o dall’IA? Dipende dall’appesantimento della traduzione e anche dal caso d’uso dell’applicazione a valle. Un insegnante di spagnolo potrebbe considerare l'uso della traduzione automatica in un compito come una forma di disonestà accademica, ma un editore potrebbe voler consentire l'uso di opere tradotte attraverso il proprio processo di controllo qualità. Pangram sta lavorando attivamente per comprendere il testo tradotto come una "terza modalità" che si colloca a metà strada tra l'umano e l'IA, e per fornire maggiori informazioni ai nostri utenti in modo che i consumatori a valle del nostro modello possano decidere cosa è giusto per loro.

Hai altre domande? Contattaci all'indirizzo info@pangram.com!