Les dernières avancées en matière de recherche sur la détection de l'IA

Pangram s'impose de plus en plus comme une référence en matière de détection de contenus générés par l'IA. Notre approche et notre modèle, à la pointe du secteur, sont régulièrement cités dans les dernières études consacrées à la détection de l'IA. C'est pourquoi nous souhaitons aujourd'hui mettre en avant certaines de ces études récentes et leurs conclusions !

Étude n° 1 : Les personnes qui utilisent fréquemment ChatGPT pour des tâches de rédaction sont capables de détecter avec précision et fiabilité les textes générés par l'IA

Présentation de l'étude

Dans cet article, des chercheurs de l'université du Maryland étudient la capacité des humains à détecter les textes générés par l'IA. Ils ont fait appel à des annotateurs ayant des niveaux de familiarité variés avec les modèles de langage (LLM) pour lire 300 articles de non-fiction et tenter de les classer en deux catégories : ceux rédigés par des humains et ceux générés par l'IA. Ils ont constaté que les personnes qui utilisent fréquemment les modèles de langage pour des tâches de rédaction parviennent très bien à détecter les textes générés par l'IA, même sans formation préalable.

Ce que cela nous apprend sur le pangramme

Cette étude compare les performances humaines à celles des « détecteurs automatiques » (aussi appelés Pangram). Jetez un œil aux résultats :

Le modèle Humanizer de Pangram (nous y reviendrons plus loin) et Pangram se sont largement imposés comme les meilleurs détecteurs, identifiant 100 % des textes générés par l'IA. Nos deux modèles ont également fait preuve d'une grande robustesse face à la paraphrase et à l'humanisation, conservant un taux de détection de 90 %.

Pour plus d'informations :

Consultez l'étude publiée ici

Étude n° 2 : Défi de détection de textes générés par des machines dans différents domaines

Présentation de l'étude

Dans cette étude, des chercheurs de l'université de Pennsylvanie ont cherché à déterminer si les détecteurs pouvaient s'appliquer de manière générale à un ensemble fixe de modèles d'IA, de types de documents et d'« attaques adversaires » (tentatives visant à rendre les textes générés par l'IA plus difficiles à détecter). Ils ont constaté que « les détecteurs sont capables de détecter de manière fiable des textes provenant de nombreux domaines et modèles simultanément ». Si quelqu'un vous dit que les détecteurs d'IA ne fonctionnent pas, renvoyez-le simplement à cette étude !

Ce que cela nous apprend sur le pangramme

Et voilà Pangram, en tête du classement ! Nous avons terminé premiers, à égalité avec un détecteur mis au point par une équipe de recherche de Leidos, spécialement conçu et formé pour cette étude.

Pour plus d'informations :

Retrouvez ici l'intégralité de notre article de blog sur ce sujet et consultez ici l'étude publiée !

Étude n° 3 : ESPERANTO : Évaluation de phrases synthétisées pour améliorer la robustesse de la détection par IA de l'origine des textes

Présentation de l'étude

Cette étude se penche sur une technique d'attaque appelée « back-translation », dans laquelle des acteurs malveillants traduisent un texte dans plusieurs langues avant de le retraduire en anglais afin d'échapper à la détection par l'IA. Les auteurs ont constaté qu'ils pouvaient ainsi conserver le sens sémantique du texte tout en réduisant considérablement la détectabilité du texte généré par l'IA (sur la plupart des détecteurs 😄).

Ce que cela nous apprend sur le pangramme

Comme vous pouvez le constater, Pangram affiche la meilleure robustesse dans toutes les catégories. Alors que la retraduction peut parfois réduire de moitié, voire de près d'un quart, le taux de détection des concurrents, Pangram conserve toute sa robustesse.

Pour plus d'informations :

Découvrez notre premier article de blog ici et l'étude publiée ici !

En prime : les recherches menées par Pangram

Si vous souhaitez en savoir plus sur les recherches menées en interne par Pangram pour améliorer notre modèle, vous pouvez consulter ces études ici :

DAMAGE : Détection de textes générés par IA et modifiés de manière antagoniste

Rapport technique sur le classificateur de textes générés par IA « Pangram »

Engagement en faveur de la recherche

Chez Pangram, nous nous engageons à promouvoir la recherche dans ce domaine. C'est pourquoi nous offrons un accès gratuit et illimité aux chercheurs souhaitant étudier la détection de l'IA avec Pangram. Vous souhaitez en savoir plus ? Contactez-nous à l'adresse info@pangram.com