Pourquoi la perplexité et la sporadicité ne permettent pas de détecter l'IA

Lorsque vous effectuez une recherche en ligne sur le fonctionnement des détecteurs d'IA, vous tombez généralement sur de nombreuses sources qui mentionnent les termes « perplexité » et « burstiness ». Que signifient ces termes, et pourquoi ne permettent-ils finalement pas de détecter les contenus générés par l'IA ? Aujourd'hui, je souhaite vous expliquer en détail ce que sont la perplexité et la burstiness, et vous montrer pourquoi elles ne sont pas adaptées à la détection des textes générés par l'IA. Nous verrons également pourquoi ils ne fonctionnent pas, pourquoi les détecteurs basés sur la perplexité et la burstiness identifient à tort la Déclaration d'indépendance comme étant générée par l'IA, et pourquoi ces détecteurs sont également biaisés à l'encontre des locuteurs non natifs de l'anglais. C'est parti !

Que sont la perplexité et la discontinuité ?

Nous commencerons par une définition non technique et un peu vague de la perplexité, juste pour avoir une idée générale de ce qu'est la perplexité et de son rôle. Pour en savoir plus sur la perplexité, j'ai trouvé cet article explicatif de deux minutes très utile.

La perplexité correspond au degré d'imprévisibilité ou de surprise associé à chaque mot d'un texte, lorsqu'on l'examine du point de vue d'un modèle linguistique donné ou d'un LLM.

Prenons par exemple ces deux phrases. Concentrons-nous sur le dernier mot de chacune d'elles, à titre d'illustration. Dans le premier exemple, le dernier mot présente une faible perplexité, tandis que dans le second, il présente une forte perplexité.

Faible perplexité:

Aujourd'hui, pour le déjeuner, j'ai mangé un bol de *soupe*.

Perplexité élevée:

Aujourd'hui, pour le déjeuner, j'ai mangé un bol de *araignées*.

Si la deuxième phrase présente un indice de perplexité élevé, c'est parce qu'un modèle linguistique a très rarement l'occasion de rencontrer, dans son ensemble de données d'entraînement, des exemples de personnes mangeant des bols remplis d'araignées ; il est donc très surprenant pour lui que la phrase se termine par « araignées », plutôt que par un mot comme « soupe », « sandwich » ou « salade ».

Le terme « perplexité » vient de la même racine que le mot « perplexe », qui signifie « confus » ou « déconcerté ». Il est utile de considérer la perplexité comme la confusion du modèle linguistique : lorsqu’il rencontre quelque chose d’inconnu ou d’inattendu par rapport à ce qu’il a lu et assimilé lors de son apprentissage, on peut alors imaginer que le modèle linguistique est déconcerté ou désorienté par la tâche de complétion.

D'accord, très bien, et qu'en est-il de la « burstiness » ? La « burstiness » correspond à la variation de la perplexité tout au long d'un document. Si des mots et des expressions surprenants sont disséminés dans le document, on dira alors que celui-ci présente un niveau élevé de « burstiness ».

Comment fonctionnent les détecteurs basés sur la perplexité et la burstiness ?

Malheureusement, la plupart des détecteurs disponibles dans le commerce (à l'exception de Pangram) ne communiquent pas clairement sur leur méthodologie ; toutefois, d'après ce que l'on peut déduire de leurs descriptions, le texte rédigé par des humains est considéré comme présentant une perplexité et une variabilité plus élevées que le texte généré par l'IA, tandis que ce dernier est caractérisé par une probabilité et une variabilité plus faibles.

Vous pouvez voir une illustration de ce phénomène ci-dessous ! J'ai téléchargé le modèle GPT-2 depuis Huggingface, puis j'ai calculé la perplexité de l'ensemble du texte contenu dans deux documents : un ensemble de critiques de restaurants rédigées par des humains et un autre d'avis générés par l'IA. J'ai ensuite surligné en bleu les passages présentant une faible perplexité et en rouge ceux présentant une forte perplexité.

Visualisation de la perplexité comparant un texte généré par l'IA et un texte rédigé par un humain

Comme vous pouvez le constater, le texte généré par l'IA est entièrement bleu foncé, ce qui indique des valeurs de perplexité uniformément faibles. Quant au texte rédigé par un humain, il est principalement bleu, mais présente des pics de couleur rouge. C'est ce que l'on appelle une forte variabilité.

C'est cette idée qui a donné naissance aux détecteurs de perplexité et de brusquerie. Non seulement certains des tout premiers détecteurs d'IA disponibles dans le commerce s'appuient sur ce principe, mais celui-ci a également inspiré des travaux universitaires tels que DetectGPT et Binoculars.

Pour être tout à fait honnête, ces détecteurs de perplexité et de fluctuations fonctionnent parfois ! Nous ne pensons simplement pas qu'ils puissent fonctionner de manière fiable dans des contextes où les enjeux sont importants et où toute imprécision doit être évitée, comme en classe, où un faux positif détecté par l'IA pourrait potentiellement nuire à la confiance entre l'enseignant et l'élève, ou pire encore, servir de preuve erronée dans une affaire judiciaire.

Lacune n° 1 : le texte de l'ensemble d'apprentissage est classé à tort comme provenant de l'IA

Pour ceux qui ne savent pas comment sont créés les modèles de langage (LLM), avant de pouvoir être déployés et utilisés comme chatbots, ces modèles doivent d'abord passer par une phase appelée « apprentissage ». Au cours de cette phase, le modèle de langage analyse des milliards de textes et apprend les schémas linguistiques sous-jacents de ce qu'on appelle son « ensemble d'apprentissage ».

Les détails techniques précis de la procédure d'entraînement dépassent le cadre de cet article, mais il y a un point essentiel à retenir : lors du processus d'optimisation, le LLM est directement incité à minimiser la perplexité sur les documents de son ensemble d'entraînement ! En d'autres termes, le modèle apprend au fil du temps que les fragments de texte qu'il rencontre de manière répétée au cours de son entraînement doivent présenter une perplexité aussi faible que possible.

En quoi est-ce un problème ?

Comme le modèle est entraîné à réduire la perplexité des documents de l'ensemble d'apprentissage, les détecteurs de perplexité et de burstiness classent souvent les documents de l'ensemble d'apprentissage comme étant générés par l'IA, même lorsque ces documents ont en réalité été rédigés par des humains !

C'est pourquoi les détecteurs d'IA basés sur la perplexité classent la Déclaration d'indépendance comme étant générée par l'IA : comme il s'agit d'un document historique célèbre qui a été reproduit dans d'innombrables manuels scolaires et articles en ligne, il apparaît très souvent dans les ensembles de données d'entraînement de l'IA. Et comme le texte est exactement le même à chaque fois qu'il est vu pendant l'entraînement, le modèle peut mémoriser ce qu'est la Déclaration d'indépendance lorsqu'il la voit, puis attribuer automatiquement à tous les tokens une perplexité très faible, ce qui réduit également considérablement la burstiness.

J'ai appliqué la même visualisation ci-dessus à la Déclaration d'indépendance, et on observe la même signature propre à l'IA : une couleur bleue intense et homogène sur l'ensemble du texte, indiquant que chaque mot présente une faible perplexité. Du point de vue d'un détecteur basé sur la perplexité et la variabilité, la Déclaration d'indépendance est totalement impossible à distinguer d'un contenu généré par l'IA.

Il est intéressant de noter que la première phrase de la Déclaration d'indépendance présente un bleu encore plus intense et un indice de perplexité plus faible que le reste du texte. Cela s'explique par le fait que cette phrase est de loin la partie la plus reproduite du passage et qu'elle apparaît le plus souvent dans l'ensemble de données d'entraînement de GPT-2.

Visualisation de la « perplexité » de la Déclaration d'indépendance

De même, nous constatons que d'autres sources courantes de données d'entraînement pour les modèles de langage (LLM) présentent également des taux de faux positifs élevés lorsqu'on utilise des détecteurs de perplexité et de burstiness. Wikipédia est un ensemble de données d'entraînement très répandu en raison de sa grande qualité et de sa licence peu restrictive ; par conséquent, il est extrêmement souvent identifié à tort comme généré par l'IA, car les modèles de langage sont directement optimisés pour réduire la perplexité sur les articles de Wikipédia.

Ce problème ne cesse de s'aggraver à mesure que l'IA continue de se développer et de gagner en sophistication, car les modèles linguistiques les plus récents sont extrêmement gourmands en données : les robots d'indexation d'OpenAI, de Google et d'Anthropic parcourent tous frénétiquement Internet au moment même où vous lisez cet article, continuant à ingérer des données pour l'entraînement des modèles linguistiques. Les éditeurs et les propriétaires de sites web devraient-ils craindre que le fait d'autoriser ces robots à explorer leur site web pour l'entraînement des modèles de langage (LLM) puisse signifier que leur contenu soit à l'avenir classé à tort comme généré par l'IA ? Les entreprises qui envisagent de concéder leurs données sous licence à OpenAI devraient-elles évaluer le risque que ces données soient à leur tour identifiées à tort comme issues de l'IA une fois qu'elles auront été ingérées par les LLM ? Nous considérons qu'il s'agit là d'un cas de défaillance tout à fait inacceptable, qui ne fait qu'empirer avec le temps.

Lacune n° 2 : la perplexité et la variabilité varient selon les modèles linguistiques

Un autre problème lié à l'utilisation de la perplexité et de la burstiness comme indicateurs de détection est qu'elles dépendent d'un modèle linguistique particulier. Ce qui peut être attendu pour GPT, par exemple, ne l'est pas forcément pour Claude. Et lorsque de nouveaux modèles apparaissent, leur perplexité varie également.

Les détecteurs dits « à boîte noire » basés sur la perplexité doivent choisir un modèle linguistique pour mesurer la perplexité réelle. Mais lorsque la perplexité de ce modèle linguistique diffère de celle du générateur, on obtient des résultats extrêmement imprécis, et ce problème ne fait que s'aggraver à chaque nouvelle version du modèle.

Inconvénient n° 3 : les modèles commerciaux ne mettent pas toujours en évidence la perplexité

Les fournisseurs de modèles propriétaires ne fournissent pas toujours les probabilités associées à chaque token ; il est donc impossible de calculer la perplexité pour les modèles commerciaux propriétaires, tels que ChatGPT, Gemini et Claude. Au mieux, on peut utiliser un modèle open source pour mesurer la perplexité, mais cela pose les mêmes problèmes que ceux évoqués dans la lacune n° 2.

Lacune n° 4 : les textes rédigés par des locuteurs non natifs de l'anglais (ESL) sont classés à tort comme provenant de l'IA

Une thèse s'est imposée selon laquelle les systèmes de détection basés sur l'IA seraient biaisés à l'encontre des locuteurs non natifs de l'anglais, thèse étayée par une étude menée par l'université de Stanford en 2023 sur 91 dissertations du TOEFL. Bien que Pangram analyse de manière approfondie les textes rédigés en anglais non natif et les intègre à notre ensemble de données d'entraînement afin que le modèle soit capable de les reconnaître et de les détecter, les détecteurs basés sur la perplexité présentent effectivement un taux de faux positifs plus élevé sur les textes rédigés en anglais non natif.

Cela s'explique par le fait que les textes rédigés par des apprenants de l'anglais présentent généralement une perplexité et une burstiness plus faibles. Nous pensons que ce n'est pas un hasard : cela s'explique par le fait que, pendant le processus d'apprentissage de la langue, le vocabulaire de l'apprenant est nettement plus limité, et que celui-ci n'est pas non plus en mesure de former des structures de phrases complexes qui sortiraient de l'ordinaire, ou qui présenteraient un haut degré de surprise, pour un modèle linguistique. Nous soutenons qu'apprendre à écrire de manière à présenter une perplexité élevée et une forte burstiness tout en restant linguistiquement correct est une compétence linguistique avancée qui découle de l'expérience acquise avec la langue.

Les personnes dont l'anglais n'est pas la langue maternelle, et, par extension, les élèves présentant une neurodiversité ou un handicap, sont plus susceptibles d'être repérés par les détecteurs d'IA basés sur la perplexité.

Inconvénient n° 5 : les détecteurs basés sur la perplexité ne peuvent pas s'améliorer de manière itérative

Ce qui, selon nous, constitue la principale lacune des détecteurs basés sur la perplexité, et la raison pour laquelle nous avons, chez Pangram, opté pour une approche fondée sur l'apprentissage profond, c'est que ces détecteurs ne peuvent pas s'améliorer d'eux-mêmes à mesure que la quantité de données et la puissance de calcul augmentent.

Qu'est-ce que cela signifie ? À mesure que Pangram acquiert de l'expérience avec des textes humains grâce à notre algorithme d'apprentissage actif, il s'améliore progressivement. C'est ainsi que nous avons réussi à faire passer notre taux de faux positifs de 2 % à 1 %, puis à 0,1 %, et enfin à 0,01 %. Les détecteurs basés sur la perplexité ne sont pas capables de s'améliorer en traitant davantage de données.

Ressources et lectures complémentaires

• « DetectGPT : détection de textes générés par des machines en mode zero-shot à l'aide de la courbure de probabilité » est un article qui s'intéresse au paysage de perplexité locale pour distinguer les textes rédigés par des humains de ceux générés par l'IA, plutôt qu'aux valeurs absolues de perplexité.

• Repérer les grands modèles de langage (LLM) à la loupe : la détection « zero-shot » de textes générés par des machines utilise un nouvel indicateur appelé « cross-perplexity » pour améliorer la détection par perplexité classique.

• Le livre blanc technique de Pangram présente en détail notre solution alternative de détection des textes générés par l'IA, fondée sur l'apprentissage actif profond.

Conclusion

Il existe une grande différence entre le calcul d'un indicateur statistique corrélé à l'écriture générée par l'IA et la mise au point d'un système de niveau production capable de détecter de manière fiable ce type d'écriture. Bien que les détecteurs basés sur la perplexité saisissent une facette importante de ce qui rend l'écriture humaine propre à l'humain et l'écriture générée par l'IA propre à l'IA, pour les raisons exposées dans cet article, il n'est pas possible d'utiliser un détecteur de ce type pour détecter de manière fiable l'écriture générée par l'IA tout en maintenant un taux de faux positifs suffisamment bas pour des applications de production.

Dans des domaines tels que l'éducation, où il est essentiel d'éviter les faux positifs, nous espérons voir davantage de recherches s'orienter vers des méthodes fondées sur l'apprentissage profond, plutôt que vers celles basées sur la perplexité, la burstiness ou d'autres indicateurs.

Nous espérons que cela vous aidera à comprendre pourquoi Pangram a choisi de ne pas recourir aux indices de perplexité et de burstiness pour détecter les textes générés par l'IA, et de privilégier plutôt des méthodes fiables et évolutives.

Pangram utilise l'apprentissage profond plutôt que des heuristiques statistiques. Testez notre détecteur de contenu basé sur l'IA pour bénéficier d'une précision digne d'un environnement de production.