Appel à de nouvelles évaluations des pangrammes

Nous estimons qu’il est essentiel que des chercheurs indépendants évaluent les détecteurs d’IA tels que Pangram. À l’heure actuelle, l’évaluation indépendante portant sur l’échantillon le plus important a été réalisée par l’Université de Chicago il y a plus d’un an, à l’aide de la version 3 de Pangram. De nouveaux modèles de langage de grande envergure (LLM) sont lancés en permanence, et une évaluation binaire opposant des documents entièrement générés par l’IA à des documents entièrement rédigés par des humains ne rend pas compte de l’ensemble des performances observées dans la réalité.

Nous avons besoin de davantage de tests de performance de haute qualité et totalement indépendants pour Pangram. Un test de performance de qualité nous aidera à comprendre et à améliorer Pangram, mais contribuera également à façonner la manière dont le monde interagira avec l'IA dans les années à venir.

Nous lançons un appel à candidatures pour de nouvelles évaluations menées par des tiers. Voici quelques exemples d'évaluations qui nous intéresseraient particulièrement : celles qui tentent de répondre à l'une des questions suivantes :

• Dans quelle mesure les détecteurs actuels parviennent-ils à repérer les textes générés par les modèles d'IA de pointe?
• Quelles sont les performances des détecteurs d'IA dans des contextes complexes, tels que la recherche approfondie, au sein d'un système d'agents ou après plusieurs itérations d'édition par l'IA ?
• Quelle est l'efficacité des détecteurs sur des textes rédigés par plusieurs auteurs ? Les recherches dans ce domaine pourraient explorer tout l'éventail des possibilités offertes par l'assistance de l'IA, allant de légères corrections grammaticales à une co-rédaction à part entière.
• Quels sont les résultats des détecteurs de texte basés sur l'IA lorsqu'ils analysent les résultats des programmes de reconnaissance vocale vers texte basés sur l'IA ? Dans quelle mesure ces programmes modifient-ils le texte ?
• Quelles sont les performances des détecteurs d'IA lorsqu'ils analysent des textes générés par l'IA et des textes rédigés par des humains dans différentes langues ?
• Quels sont les résultats des détecteurs d'IA lorsqu'ils analysent des textes rédigés par des auteurs issus de milieux différents, appartenant à des groupes ethniques ou culturels variés, et écrivant dans des genres ou des styles variés ? Même les résultats nuls, qui ne révèlent aucun biais, présentent un intérêt pour nous.
• Quelle est l'efficacité des détecteurs d'IA face à de nouveaux types de textes, tels que des documents historiques récemment numérisés ?
• Quels sont les résultats des détecteurs d'IA lorsqu'ils analysent des textes techniques, des équations mathématiques ou du code, qu'ils aient été rédigés par l'IA ou par des humains ?

Ce que nous recherchons dans un benchmark, ce sont des données d'une pureté exceptionnelle, des données de pointe issues des modèles de langage de grande envergure (LLM), ainsi qu'un niveau de difficulté suffisamment élevé pour que le benchmark ne soit pas saturé par la plupart des détecteurs.

Nous sommes ravis d'accorder des subventions pour ce type d'évaluations. Une fois le sujet de la subvention approuvé, nous n'imposons aucune condition de publication : les chercheurs sont libres de publier tous les résultats obtenus, qu'ils soient favorables ou non à Pangram.

Si vous êtes chercheur et que vous souhaitez nous évaluer, veuillez remplir le formulaire ici.