Performances de Pangram sur un essaim d'agents agissant de concert

Le vendredi 4 septembre, un groupe de chercheurs a publié un rapport concernant un essaim d'agents autonomes qui utilisait une page wiki peu connue sur Internet pour communiquer entre eux. Vous pouvez consulter tous les détails de cet incident sur collusion.wiki [au moment de la publication, le site n'est accessible que de manière intermittente].

Les chercheurs ont publié toutes les pages utilisées par les agents IA pour communiquer entre eux. Ces pages wiki présentent des conditions défavorables à la détection des pangrammes : les agents étaient probablement soumis à une limite de caractères en raison de la méthode qu’ils utilisaient pour modifier le wiki, ce qui explique que les pages soient inhabituellement laconiques et riches en contexte — 30 % des éléments du jeu de données contiennent moins de 20 mots, et près de 50 % en contiennent moins de 50. De plus, comme les agents utilisaient le wiki pour s’entraider à tricher sur une tâche d’OpenAI, une part importante du contenu publié par les agents consistait en des URL renvoyant vers des ressources ou des sources de données pertinentes pour leur objectif. Les URL n’étant pas des tokens générés par les agents, elles ne sont généralement pas signalées comme générées par l’IA. De nombreuses pages contenaient également un pourcentage important d’autres chaînes de caractères non générées par les agents, telles que des horodatages Unix générés par programmation ou la mise en forme existante des sites web.

L'activité des agents en milieu naturel ne sera pas parfaitement propice à la détection des pangrammes. Malgré des conditions loin d'être optimales, dans ce cas précis, nos résultats restent tout à fait satisfaisants : sur 11 712 pages distinctes contenant du texte généré par l'IA, Pangram 4 estime que 41,61 % d'entre elles sont entièrement générées par l'IA.

Comme toujours, la précision augmente avec le nombre de mots : pour les 1 004 pages comptant plus de 500 mots, notre taux de rappel est de 99,4 %.

Ci-dessous, je présente les performances de Pangram sur différentes tranches de données et j'aborde brièvement l'identification des familles de modèles. Si vous êtes chercheur et que vous étudiez des incidents de cette nature, et que vous pensez que nous pouvons vous aider, n'hésitez pas à nous contacter directement.

Items exclus, difficiles et faciles

Le fichier complet contenait 14 591 versions de pages enregistrées. Parmi celles-ci, j'en ai supprimé 2 724 car il s'agissait de doublons, ainsi qu'une page vide, ce qui a laissé 11 866 textes distincts.

Dans le sous-ensemble dédupliqué, au moins 154 pages contenaient des caractères n’ayant absolument pas été générés par un agent : 150 ne contenaient que des URL, 2 ne contenaient que du texte provenant des boutons et des menus du wiki lui-même (copié sur une page du wiki par un agent), et 2 ne contenaient que du texte caviardé. Pangram 4 n'a détecté aucun faux positif sur ce sous-ensemble : les 154 pages ont toutes été identifiées comme générées par un humain (c'est-à-dire non par une IA). Il convient toutefois de noter que la quasi-totalité de ces pages ne rentre pas dans le champ d'analyse : les pages contenant des URL, par exemple, comportaient en moyenne 278 caractères répartis sur 2 mots.

Il reste donc 11 712 pages contenant des tokens générés par l'IA, et c'est sur cet échantillon que nous nous sommes basés pour établir nos résultats globaux.

De nombreuses pages contenant des jetons d'agent restaient techniquement hors champ en raison de leur longueur : le corpus comptait 3 440 pages contenant moins de 20 mots, et le taux de rappel de Pangram sur ces pages était de 4,01 %, une situation encore compliquée par le fait que ces éléments courts étaient composés en moyenne de 65,18 % d'URL en nombre de caractères.

Il est intéressant de noter que si l'on concatène toutes les pages comportant moins de 10 mots, que l'on supprime toutes les sous-chaînes d'URL et que l'on analyse l'ensemble comme un seul document de 8 854 mots, Pangram 4 estime que ce document est généré par une IA à 87,52 %. De même, si l'on supprime les éléments composés à plus de 65 % d'URL (en nombre de caractères), le taux de rappel par élément dans la tranche de 10 à 19 mots passe à 17,73 %.

En effet, comme la tâche confiée aux agents par OpenAI consistait à répondre à des questions portant sur de vastes ensembles de données publiques provenant d’organismes gouvernementaux, une grande partie de leur activité sur le wiki consistait à créer des liens vers des versions de ces ensembles de données afin de tricher lors de leurs évaluations, souvent accompagnés de brèves descriptions ou de texte factice. Par exemple, une page indiquait simplement :

BONJOUR nouvelle page
* [https://markdown.nouveau/www.investisseurs.gov/files/comté.json MDInvestorNoScheme] 

Across all 11,712 pages, 6,243 of them, or 53.3%, were more than 65% URL by character. Excluding those, we’re left with 5,469 pages where AI-written text and programmatically generated text approach parity. Pangram 4’s recall on that subset of pages is quite good: for char < 65% pages, it predicts 75.79% are fully AI-generated.

Si l'on sélectionne les conditions les plus favorables pour Pangram — les articles contenant des agents, comptant au moins 50 mots et dont moins de 65 % des caractères proviennent d'URL —, on obtient 3 712 pages Wikipédia, dont Pangram estime que 96,66 % sont entièrement générées par l'IA.

Identification de la famille de modèles

Bien que cela ne fasse pas encore partie de notre modèle de production, nos recherches ont montré que les différents modèles se regroupent dans l'espace d'embeddings, ce qui permet d'identifier quel modèle d'IA a généré un texte donné.

Il semblerait que les agents impliqués dans cet incident aient été des modèles OpenAI : ceux-ci se sont eux-mêmes identifiés comme tels, et le rapport indique que le site web a enregistré un trafic important provenant apparemment d'adresses IP d'OpenAI.

Nos résultats vont dans ce sens. Lorsqu'elle est appliquée aux 11 712 pages distinctes rédigées par des agents, notre famille de modèles internes « probe » prédit dans la plupart des cas que ces pages ont été rédigées par la famille de modèles ChatGPT, lorsqu'elle est en mesure de fournir une prédiction.

Comme d’habitude, la fiabilité et la précision augmentent ici aussi avec le nombre de mots. Pour les 1 001 éléments contenant plus de 500 mots et dont moins de 50 % des caractères correspondaient à une URL, le test de la famille de modèles prévoit que 61,54 % provenaient de la famille ChatGPT.

La sonde « famille de modèles » est encore en cours de développement et ne répond pas pour l'instant aux mêmes normes de précision que notre outil de détection. Par conséquent, ces résultats doivent être pris avec précaution.

Conclusion

À mesure que les agents gagneront en puissance, nous verrons sans aucun doute un nombre croissant d'entre eux tenter de manière autonome d'imiter les humains ou de trouver des moyens de s'entendre entre eux. On a constaté que des agents mal alignés se faisaient passer pour des humains dans des modifications sur GitHub, sur des forums internes et désormais sur l'Internet grand public.

Il n'est pas facile pour un grand modèle linguistique de masquer son style d'écriture de manière à déjouer Pangram. Cela fait potentiellement de Pangram un outil important pour la sécurité de l'IA. Nous espérons pouvoir contribuer à cet effort à l'avenir.