Le détecteur d'IA de Pangram affiche d'excellentes performances dans plus de 20 langues

Il y a deux mois, Pangram a lancé le premier modèle multilingue de détection par IA. Nous sommes aujourd’hui prêts à annoncer une mise à jour ! Pangram prend désormais officiellement en charge les 20 langues les plus utilisées sur Internet et fonctionne également très bien, bien que de manière non officielle, avec de nombreuses autres langues. Nous constatons des performances particulièrement solides et nettement améliorées en arabe, en japonais, en coréen et en hindi.

Résultats

Nous avons évalué environ 2 000 documents par langue dans notre ensemble de données de référence officiel. La partie « humaine » se compose d'un mélange d'avis réels, d'articles de presse et d'articles Wikipédia. La partie « IA » est constituée d'un ensemble d'essais, d'articles de presse et de billets de blog que nous avons demandé à GPT-4o de rédiger dans des formats, des styles et sur des sujets variés.

Qu'avons-nous modifié ?

Voici les principales modifications que nous avons apportées pour améliorer notre prise en charge multilingue :

• Nous avons mené une campagne d'apprentissage actif sur des données à l'échelle du Web, en nous concentrant sur les 20 langues les plus utilisées sur Internet.

• Nous avons modifié le tokenizer afin d'améliorer la prise en charge des langues autres que l'anglais.

• Nous avons augmenté le nombre de paramètres du modèle de base et des adaptateurs LoRA.

• Nous avons appliqué une technique d'augmentation des données pour traduire automatiquement une partie aléatoire de notre ensemble de données avant l'apprentissage.

• Nous avons corrigé un bug dans le comptage des mots qui entraînait une sous-représentation involontaire des langues d'Asie orientale dans l'ensemble d'apprentissage.

Campagne pour l'apprentissage actif

Le pilier central de notre processus de création de modèles présentant des taux de faux positifs extrêmement faibles repose sur l'apprentissage actif : en termes simples, nous explorons les données Internet antérieures à 2022 à la recherche d'exemples sur lesquels notre modèle affiche de mauvaises performances (par exemple, des faux positifs), nous ajoutons ces exemples à notre ensemble d'apprentissage, nous réentraînons le modèle, puis nous répétons le processus. Nous détaillons cet algorithme dans notre rapport technique.

Nous pouvons appliquer notre approche d'apprentissage actif à certains grands ensembles de données multilingues disponibles sur le Web afin d'identifier des textes multilingues que notre modèle actuel a du mal à traiter, puis utiliser ces données pour itérer, en combinaison avec notre vaste bibliothèque de prompts, afin de créer des « miroirs synthétiques » : des textes générés par l'IA qui ressemblent aux faux positifs que nous avons détectés. Bien que nous nous concentrions sur les 20 langues les plus utilisées sur Internet, nous supprimons l'étape de filtrage linguistique de notre pipeline de données : cela signifie que les textes de toutes les langues peuvent faire l'objet d'une exploration des faux négatifs et être inclus dans notre ensemble d'apprentissage.

L'un des avantages de notre approche d'apprentissage actif réside dans le fait qu'elle rééquilibre automatiquement la répartition des langues en fonction de la précision de notre modèle. Les langues disposant de peu de ressources sont sous-représentées en ligne, mais en raison de ce déséquilibre de classes, notre premier modèle affiche initialement de mauvaises performances sur ces langues, ce qui entraîne une mise en avant accrue de textes issus de langues peu courantes lors de l'extraction des exemples négatifs difficiles. Au cours du processus d'apprentissage actif, nous constatons que la proportion de données provenant de langues disposant de nombreuses ressources, telles que l'anglais, l'espagnol et le chinois, diminue progressivement dans notre ensemble d'apprentissage, tandis que celle des langues moins courantes augmente. Nous estimons qu'il s'agit d'une solution relativement élégante au problème de la distribution naturellement déséquilibrée des données lors de l'entraînement de modèles multilingues. Grâce à notre algorithme d'apprentissage actif, le modèle est capable de sélectionner lui-même les données dans les langues dont il a besoin de voir davantage.

Modifications architecturales

Afin de mieux prendre en charge les textes multilingues au niveau de l'entrée, nous avons également voulu nous assurer que le LLM de base que nous utilisons pour construire notre classificateur maîtrise également de nombreuses langues autres que l'anglais. Nous avons testé plusieurs architectures de base LLM et tokeniseurs sur notre ensemble de données afin de trouver celui qui offre les meilleures performances globales parmi un large éventail de langues non anglophones. Nous avons constaté que les performances sur les benchmarks multilingues ne semblent pas être étroitement corrélées à la performance de l'architecture de base sur notre tâche de détection par IA : en d'autres termes, même si le modèle de base est capable de résoudre des tâches de raisonnement et de répondre à des questions dans d'autres langues, l'efficacité du transfert de compétences vers la détection multilingue par IA varie considérablement.

Nous avons également constaté que les modèles initiaux que nous avions entraînés avaient tendance à sous-ajuster la nouvelle distribution multilingue : nous avons d'abord observé une perte d'entraînement plus élevée. À cette fin, nous avons également augmenté la taille du modèle de base ainsi que le nombre de paramètres dans nos adaptateurs LoRA, et nous avons entraîné le modèle pendant un plus grand nombre d'étapes. (Comme nous travaillons en mode d'apprentissage actif / avec un volume de données élevé, nous ne formons presque jamais le modèle pendant plus d'une époque. Dans ce cas, il nous a simplement fallu prolonger la durée de l'époque !)

Augmentation des données

Même avec l'apprentissage actif, la diversité des données dans les langues autres que l'anglais est nettement inférieure à celle des données en anglais disponibles en ligne, tant en termes de variété que de volume, et nous ne pouvons pas remédier entièrement à cette situation en nous contentant de rééquilibrer la répartition linguistique dans l'ensemble d'apprentissage. Pour le dire de manière simplifiée, certaines données en anglais sont précieuses, mais elles n'existent tout simplement pas ou n'ont pas d'équivalent natif dans d'autres langues. Nous avons donc décidé d'appliquer de manière aléatoire une augmentation par traduction automatique à une petite partie de notre ensemble de données (dans notre cas, nous avons utilisé Amazon Translate).

Bien qu'il ne soit pas courant d'appliquer des augmentations par traduction automatique à l'ensemble d'apprentissage lors de l'entraînement des grands modèles de langage (LLM), car les données traduites automatiquement sont souvent peu naturelles et présentent un style « trop traduit », dans notre cas, comme nous n'entraînons pas de modèle génératif, cela ne semble pas affecter la qualité des résultats et nous avons constaté une amélioration de nos indicateurs après avoir appliqué cette augmentation.

Analyse comparative : espagnol

Nous prenons l'espagnol comme exemple caractéristique d'une langue riche en ressources, qui était auparavant prise en charge par Pangram Text, mais qui bénéficie désormais d'améliorations significatives. Nous mesurons le taux de faux positifs dans divers domaines.

Nous avons également mesuré le taux de faux négatifs (c'est-à-dire la proportion de textes générés par l'IA qui sont classés à tort comme étant d'origine humaine) pour divers grands modèles linguistiques. Dans le cadre de cette expérience, nous avons établi une liste de consignes destinées à ces modèles afin qu'ils génèrent des essais, des articles de blog et des articles d'actualité de longueurs et de styles variés, puis nous avons traduit ces consignes en espagnol. Les modèles linguistiques étant eux-mêmes multilingues, ils ont répondu aux instructions en espagnol.

Comme on peut le constater, notre modèle mis à jour atteint une détection parfaite sur tous les modèles de langage de grande envergure (LLM) testés, ce qui représente une amélioration significative par rapport à notre version précédente.

Comparaison : arabe et japonais

Deux des langues sur lesquelles nous nous sommes particulièrement concentrés pour améliorer nos services sont largement parlées dans le monde, mais sont en réalité moins courantes sur Internet : l'arabe et le japonais.

Auparavant, nous ne prenions pas en charge ces deux langues, ce qui entraînait des taux de faux négatifs extrêmement élevés. Nous sommes désormais en mesure de détecter de manière fiable et très efficace l'arabe et le japonais générés par l'IA.

Comme on peut le constater, notre modèle mis à jour atteint un taux de détection quasi parfait pour tous les grands modèles de langage (LLM) testés, tant en arabe qu'en japonais, avec un taux de faux négatifs de seulement 0,21 % pour Gemini 1.5 Pro en japonais.

Les résultats complets des tests de performance sont disponibles sur simple demande.

Et maintenant ?

Si notre modèle affiche d’excellentes performances sur les textes web originaux, il peine parfois à détecter le « langage de traduction », c’est-à-dire les textes mal traduits ou qui ne sonnent pas naturellement. Pour compliquer encore les choses, de nombreuses personnes utilisent désormais directement des modèles de langage grand public (LLM) comme ChatGPT pour des tâches de traduction. Faut-il classer les textes traduits par un LLM comme étant d’origine humaine ou issue de l’IA ? Cela dépend de la qualité de la traduction, mais aussi du cas d’utilisation final. Un professeur d'espagnol pourrait considérer l'utilisation de la traduction automatique pour un devoir comme une fraude académique, mais un éditeur pourrait souhaiter autoriser les œuvres traduites dans le cadre de son processus d'assurance qualité. Pangram s'efforce activement de comprendre le texte traduit comme une « troisième modalité » se situant quelque part entre l'humain et l'IA, et de fournir davantage d'informations à nos utilisateurs afin que les consommateurs en aval de notre modèle puissent décider ce qui leur convient le mieux.

Vous avez d'autres questions ? Contactez-nous à l'adresse info@pangram.com!