Le détecteur de texte pangramme par IA est désormais multilingue !
Pangram Text, notre modèle phare de détection de l'IA, est désormais capable de détecter les textes générés par l'IA dans d'autres langues que l'anglais.
Photo de Valentin Antonucci.
Nous sommes ravis d'annoncer une mise à jour majeure de Pangram Text, notre modèle phare de détection de l'IA. Pangram Text est désormais capable de détecter les textes générés par l'IA en espagnol, en français, en italien, en portugais, en allemand, en russe et en chinois mandarin, avec la même précision de pointe que pour les textes rédigés en anglais. Nous déployons dès à présent notre nouveau modèle multilingue afin de protéger les plateformes en ligne contre le spam généré par l'IA.
Analyse comparative
Afin de tester la précision de notre modèle sur des langues autres que l'anglais, nous utilisons trois vastes corpus multilingues très variés issus de différents domaines : les avis multilingues d'Amazon, Wikipédia et XLSum (BBC News International).
Pour la partie humaine du benchmark, nous prélevons des documents au hasard qui ont passé nos filtres de contrôle de cohérence. Pour la partie IA du benchmark, nous utilisons un mélange de GPT-3.5, GPT-4 et GPT-4o. Tout d’abord, nous demandons au LLM de résumer le document réel, par exemple : « De quoi traite cette critique ? » Ensuite, nous lui demandons de générer une critique, un article ou un fait divers à partir de ce résumé. Générer le benchmark de cette manière élimine le risque de bruit de label, tout en garantissant que les distributions des données humaines et IA soient aussi similaires que possible.
| Langue | Exactitude des avis Amazon | Exactitude de Wikipédia | XLSum (BBC News) Précision |
|---|---|---|---|
| Espagnol | 99.59% | 99.75% | 99.75% |
| Français | 98.84% | 99.33% | 98.50% |
| Italien | Sans objet | 99.82% | Sans objet |
| Allemand | 99.44% | 99.95% | Sans objet |
| Portugais | Sans objet | 99.83% | 99.70% |
| Russe | Sans objet | 98.34% | 99.35% |
| Chinois | 99.70% | 99.54% | 98.10% |
FAQ
- Comment avez-vous mis à jour le modèle pour qu'il prenne en charge ces langues ?
Notre modèle reposant sur une architecture similaire à celle des grands modèles linguistiques modernes, nous recourons à un pré-entraînement à grande échelle afin de garantir que notre structure de base soit formée sur un vaste corpus multilingue avant de procéder au réglage fin d'une tête de détection IA. Nous utilisons également un tokeniseur prenant en charge de nombreuses langues, dont le russe et le chinois.
- Pourquoi avez-vous choisi précisément ces langues ?
Nous avons sélectionné les langues qui représentent la majorité des langues utilisées sur Internet.
- Que se passe-t-il si j'envoie un texte dans une langue qui n'est pas prise en charge ?
Nous utilisons Amazon Comprehend pour détecter la langue du texte saisi. Si la langue n'est pas prise en charge, nous renverrons alors « Langue non prise en charge » comme résultat.
- Ce modèle va-t-il s'améliorer avec le temps ?
Oui, nous prévoyons de publier prochainement des mises à jour offrant de meilleures performances pour les langues autres que l'anglais, à mesure que nous enrichissons notre base de données multilingue grâce à l'apprentissage actif.
- Et les autres langues ?
Nous prévoyons d'ajouter d'autres langues à l'avenir. Si vous souhaitez que nous prenions en charge une langue en particulier, n'hésitez pas à nous le faire savoir !
Contactez-nous à l'adresse info@pangram.com pour obtenir plus d'informations sur la détection multilingue par IA.
Bradley est chercheur en intelligence artificielle et spécialiste du développement de produits basés sur l'apprentissage profond dans le secteur industriel. Il a récemment dirigé le groupe de recherche sur l'apprentissage profond chez Absci, une entreprise spécialisée dans la découverte de médicaments par l'IA générative, et faisait auparavant partie de l'équipe principale chargée de la vision par ordinateur chez Tesla Autopilot.
Lectures complémentaires
Dans quelle mesure Pangram est-il capable de détecter des modèles de raisonnement ?
Découvrez Pangram 3.3 !
Pangram est le seul détecteur d'IA qui surpasse les experts humains dans l'identification des contenus générés par l'IA
Mise à jour du texte pangramme : GPT-4o, Claude 3, LLaMA 3
Présentation technique de Pangram 4
Comment repérer l'IA dans Google Docs
