Une étude indépendante démontre que Pangram est le détecteur d'IA le plus performant

Une étude indépendante démontre que Pangram est le détecteur d'IA le plus performant

Des chercheurs de l'université de Houston, de l'université de Californie à Berkeley, de l'université de Californie à Irvine et de la start-up Esperanto AI ont découvert que Pangram est le détecteur de texte basé sur l'IA le plus performant parmi un large éventail de méthodes, tant commerciales qu'open source. Dans leur article intitulé « Esperanto : Évaluation des phrases synthétisées pour améliorer la fiabilité de la détection par IA de l'origine des textes », les chercheurs ont étudié les effets de la traduction linguistique sur les capacités des détecteurs basés sur l'IA.

Contourner les détecteurs d'IA à l'aide de traducteurs

Il est bien connu que l'on peut contourner les systèmes de détection de l'IA en faisant passer un texte généré par l'IA par Google Translate pour le traduire dans une langue étrangère, puis en le retraduisant en anglais. Cette technique permet à un attaquant (ou simplement à un étudiant malin pressé par le temps) d'échapper aux programmes de détection de l'IA. Chez Pangram, nous appelons cette attaque en interne « double traduction », tandis que les chercheurs la désignent sous le nom de « retraduction ». Voici un exemple de double traduction. Nous demandons à ChatGPT de rédiger un texte pour nous. Nous traduisons d’abord le texte en japonais, puis le retraduisons en anglais. Nous remarquons que certaines phrases ont changé, car les logiciels de traduction ne sont pas parfaits et qu’il existe souvent plusieurs façons de dire la même chose. Cela produit un effet similaire à celui d’un outil de paraphrase comme Quillbot.

Texte généré par ChatGPT Texte traduit deux fois Un exemple de double traduction

Bon nombre de nos concurrents ne résistent pas à cette faille. Ci-dessus figure l'un des détecteurs d'IA concurrents les plus courants actuellement sur le marché. On constate que le modèle est capable de détecter l'IA provenant directement de ChatGPT, mais qu'après une double traduction, il n'indique plus qu'un taux d'IA de 15 %.

Résultats de GPTZero Un outil concurrent très populaire classe correctement le texte original généré par l'IA, mais classe de manière erronée le texte traduit deux fois comme étant rédigé par un humain.

Pangram est toutefois capable de déterminer avec une certitude de 99,99 % que tant le texte original de ChatGPT que le texte traduit deux fois ont été générés par une IA. Non seulement nous sommes en mesure de conclure qu'il s'agit d'un texte généré par une IA, mais nous pouvons également affirmer avec certitude que c'est GPT-4 qui en est la source d'origine. Les chercheurs ont entrepris d'étudier ce phénomène de manière générale et à grande échelle.

Résultats du pangramme Pangram identifie correctement le texte original et le texte traduit deux fois comme étant générés par l'IA.

Étude de l'effet de la retraduction sur 720 000 documents

Un seul exemple ne suffit pas à prouver que notre détecteur est fiable et que les autres ne le sont pas. Dans le cadre de cette étude, les chercheurs ont rassemblé des milliers d'articles d'actualité, de résumés d'articles scientifiques, de publications sur Reddit et d'avis sur des produits dont il a été confirmé qu'ils avaient été rédigés par des humains. Ils ont ensuite généré plusieurs exemples d'IA à l'aide de GPT-3.5-Turbo, LLaMA 3, Mistral, Phi3 et Yi.

Dans l'ensemble, même avant de recourir à une attaque par traduction, bon nombre des méthodes open source et des détecteurs commerciaux s'avèrent en réalité totalement inefficaces.

Tout d'abord, un seuil a été défini : il s'agit de choisir le pourcentage de coupure au-delà duquel un document est considéré comme généré par l'IA. La plupart des détecteurs d'IA fournissent un pourcentage comme résultat final. Afin de mettre tous les détecteurs sur un pied d'égalité, les seuils ont été choisis de manière à ce que chaque modèle présente un taux de faux positifs de 1 %. La précision des détecteurs peut alors être comparée en termes de proportion de vrais positifs : combien d'exemples générés par l'IA chaque détecteur est-il capable de repérer à ce seuil ?

Bon nombre des autres méthodes étudiées dans cet article ne parviennent absolument pas à détecter les contenus générés par l'IA. Par exemple, ZeroGPT et GPTZero ne parviennent même pas à atteindre un taux de faux positifs de 1 % quel que soit le seuil utilisé dans certains domaines, et des articles universitaires largement cités comme RADAR et LLMDet affichent une précision inférieure à 50 %.

L'indicateur proposé pour évaluer les performances consiste à mesurer le TPR à un taux de faux positifs (FPR) de 1 % : en d'autres termes, avec un taux de faux positifs constant de 1 %, à quelle fréquence le modèle est-il capable de détecter un texte généré par l'IA ? ZeroGPT n'atteint même pas un taux de faux positifs de 1 % quel que soit le seuil utilisé dans la plupart des domaines, et des articles universitaires largement cités, tels que RADAR et LLMDet, obtiennent des résultats bien inférieurs à 50 % pour cet indicateur.

Par ailleurs, Pangram atteint un taux de rappel supérieur à 96 % dans tous les domaines avec un taux de faux positifs (FPR) de 1 %, et atteint même 85 % sur l'ensemble de données « reviews », particulièrement difficile, qui contient des avis ne comptant que 40 à 50 mots (ce qui est bien en deçà du seuil de nombre de mots que nous recommandons pour détecter l'IA dans un contexte commercial réel).

Après une double attaque par traduction, bon nombre de ces détecteurs s'effondrent complètement. GPTZero, par exemple, passe de 97 % à seulement 42 % dans le domaine de l'actualité et de 65 % à 9 % dans celui des critiques. Les chercheurs concluent : « Les résultats obtenus par GPTZero et ZeroGPT révèlent un manque de robustesse face aux techniques de retraduction… Pangram fait preuve d'une certaine robustesse, en particulier sur les textes plus longs. »

Les résultats complets sont reproduits ci-dessous. Pangram affiche des performances supérieures dans toutes les catégories.

Tableau comparatif des détecteurs d'IA Tableau des résultats tiré de l'article sur l'espéranto démontrant la robustesse de Pangram

Conclusion

Cette étude vient étayer nos affirmations selon lesquelles Pangram est le seul logiciel de détection de l'IA actuellement disponible sur le marché qui fonctionne de manière suffisamment fiable pour être utilisé dans des contextes universitaires et commerciaux, et qui ne peut être contourné par des astuces telles que la double traduction.

Ce n'est ni un hasard ni une coïncidence. La robustesse de Pangram témoigne de la puissance d'un modèle capable de généraliser, qui s'appuie sur de vastes ensembles de données et sur notre approche ciblée d'apprentissage actif. Si n'importe qui peut créer un outil de détection par IA qui fonctionne parfois, voire la plupart du temps, notre approche évolutive est la seule à garantir une précision fiable et constante, qui ne s'effondre pas complètement lorsque le texte est modifié ou altéré.

Nous nous efforçons en permanence d'améliorer les performances et la robustesse de notre modèle de détection par IA. Nous nous tenons informés des dernières avancées en matière d'apprentissage automatique antagoniste et testons sans cesse notre propre modèle face à d'éventuelles attaques et tentatives de contournement.

Nous vous en dirons plus très bientôt à ce sujet !