Les dernières avancées en matière de recherche sur la détection de l'IA

Pangram continue de s'imposer comme une référence dans la détection des contenus générés par l'IA. Notre approche et notre modèle, leaders dans le secteur, apparaissent régulièrement dans les dernières études menées dans le domaine de la détection de l'IA. Aujourd'hui, nous souhaitons donc mettre en avant certaines études récentes et leurs conclusions !

Étude 1 : Les personnes qui utilisent fréquemment ChatGPT pour des tâches rédactionnelles sont capables de détecter avec précision et fiabilité les textes générés par l'IA.

Aperçu de l'étude

Dans cet article, des chercheurs de l'université du Maryland étudient la détection humaine des textes générés par l'IA. Ils engagent des annotateurs ayant différents niveaux de familiarité avec les LLM pour lire 300 articles non fictionnels et essayer de les classer comme étant écrits par des humains ou générés par l'IA. Ils constatent que les personnes qui utilisent souvent les LLM pour des tâches d'écriture excellent dans la détection des textes générés par l'IA, même sans formation.

Ce qu'il dit à propos de Pangram

L'étude compare les capacités humaines à celles des « détecteurs automatiques » (alias Pangram). Jetez un œil aux résultats :

Le modèle Humanizer de Pangram (plus d'informations à ce sujet ci-dessous) et Pangram étaient de loin les meilleurs détecteurs, détectant 100 % de tous les textes générés par l'IA. Nos deux modèles ont également conservé une grande robustesse face à la paraphrase et à l'humanisation, avec un taux de détection de 90 %.

Pour plus d'informations :

Consultez l'étude publiée ici

Étude 2 : Défi de détection de textes générés par ordinateur dans différents domaines

Aperçu de l'étude

Dans cette étude, des chercheurs de l'université de Pennsylvanie ont voulu déterminer si les détecteurs pouvaient s'appliquer à un ensemble fixe de modèles d'IA, de types de documents et d'« attaques adversaires » (tentatives visant à rendre les textes générés par l'IA plus difficiles à détecter). Ils ont constaté que « les détecteurs sont capables de détecter de manière fiable des textes provenant de nombreux domaines et modèles simultanément ». Si quelqu'un vous dit que les détecteurs d'IA ne fonctionnent pas, montrez-lui simplement cette étude !

Ce qu'il dit à propos de Pangram

Il y a Pangram, en tête ! Nous sommes arrivés premiers, à égalité avec un détecteur d'une équipe de recherche de Leidos qui a été conçu et formé spécialement pour cette étude.

Pour plus d'informations :

Retrouvez l'intégralité de notre article de blog sur ce sujet ici et consultez l'étude publiée ici !

Étude 3 : ESPERANTO : Évaluation de phrases synthétisées pour améliorer la robustesse de la détection par l'IA de l'origine d'un texte

Aperçu de l'étude

Cette étude se penche sur une attaque appelée « back-translation », dans laquelle des acteurs malveillants traduisent un texte dans plusieurs langues avant de le retraduire en anglais afin d'échapper à la détection par l'IA. Ils constatent qu'ils peuvent conserver la signification sémantique du texte tout en réduisant considérablement la détectabilité du texte généré par l'IA (sur la plupart des détecteurs 😄).

Ce qu'il dit à propos de Pangram

Comme vous pouvez le constater, Pangram affiche la meilleure robustesse dans toutes les catégories. Alors que la retraduction peut parfois réduire de moitié, voire de près des trois quarts, le taux de détection des concurrents, Pangram reste robuste.

Pour plus d'informations :

Consultez notre premier article de blog ici et l'étude publiée ici !

Bonus : les recherches menées par Pangram

Si vous souhaitez en savoir plus sur les recherches menées en interne par Pangram afin d'améliorer notre modèle, vous pouvez consulter les études suivantes :

DAMAGE : Détection des textes générés par IA modifiés de manière hostile

Rapport technique sur le classificateur de texte généré par l'IA Pangram

Engagement envers la recherche

Chez Pangram, nous nous engageons à promouvoir la recherche dans ce domaine. C'est pourquoi nous offrons un accès gratuit et illimité aux universitaires intéressés par l'étude de la détection de l'IA avec Pangram. Vous souhaitez en savoir plus ? Contactez-nous à l'adresse info@pangram.com.