Il rilevatore di testo Pangram AI è ora multilingue!

Foto di Valentin Antonucci.

Siamo lieti di annunciare un importante aggiornamento di Pangram Text, il nostro modello di rilevamento AI di punta. Pangram Text è ora in grado di rilevare testi generati dall'intelligenza artificiale in spagnolo, francese, italiano, portoghese, tedesco, russo e cinese mandarino, con la stessa precisione leader del settore dei testi scritti in inglese. Stiamo lanciando il nostro nuovo modello multilingue per proteggere immediatamente le piattaforme online dallo spam generato dall'intelligenza artificiale.

Analisi comparativa

Per verificare l'accuratezza del nostro modello su lingue diverse dall'inglese, utilizziamo tre corpora multilingue di grandi dimensioni e diversificati provenienti da diversi ambiti: recensioni multilingue di Amazon, Wikipedia e XLSum (BBC News International).

Per quanto riguarda il lato umano del benchmark, campioniamo documenti casuali che superano i nostri filtri di controllo di sanità mentale. Per quanto riguarda il lato AI del benchmark, utilizziamo una combinazione di GPT-3.5, GPT-4 e GPT-4o. Innanzitutto, chiediamo all'LLM di riassumere il documento reale, ad esempio "Di cosa tratta questa recensione?". Quindi, gli chiediamo di generare una recensione, un articolo o una notizia sulla base del riassunto. Generare il benchmark in questo modo elimina la possibilità di rumore di etichetta e garantisce che le distribuzioni dei dati umani e dell'IA siano il più possibile simili tra loro.

Domande frequenti

• Come avete aggiornato il modello per supportare queste lingue?

Poiché il nostro modello si basa su un'architettura simile a quella dei moderni modelli linguistici di grandi dimensioni, utilizziamo un pre-addestramento su larga scala per garantire che la nostra struttura portante sia addestrata su un ampio corpus multilingue prima di mettere a punto un sistema di rilevamento AI. Utilizziamo anche un tokenizzatore che supporta molte lingue, tra cui il russo e il cinese.

• Perché hai scelto proprio queste lingue?

Abbiamo scelto le lingue che rappresentano la maggior parte delle lingue utilizzate su Internet.

• Cosa succede se invio un testo in una lingua non supportata?

Utilizziamo Amazon Comprehend per rilevare la lingua del testo inserito. Se la lingua non è supportata, restituiremo "Lingua non supportata" come previsione.

• Il modello migliorerà nel tempo?

Sì, prevediamo di rilasciare futuri aggiornamenti con prestazioni migliorate nelle lingue diverse dall'inglese, poiché continuiamo ad ampliare il nostro set di dati multilingue con l'apprendimento attivo.

• E le altre lingue?

Abbiamo in programma di supportare più lingue in futuro. Se desideri che venga supportata una lingua in particolare, faccelo sapere!

Contattaci all'indirizzo info@pangram.com per ulteriori informazioni sul rilevamento multilingue basato sull'intelligenza artificiale.