Non, Pangram ne s'appuie pas sur la perplexité ni sur la variabilité pour les prédictions de notre modèle. Pangram est un type de réseau neuronal appelé « modèle classificateur ». Pangram est entraîné à l'aide de « miroirs synthétiques » des documents les plus difficiles à classer, puis il est réentraîné à maintes reprises. Cela lui permet de s'adapter à de nouveaux modèles et signifie que, à mesure que Pangram acquiert davantage d'expérience avec du texte humain grâce à notre algorithme d'apprentissage actif, il s'améliore progressivement.
Que sont la perplexité et la discontinuité ?
Extrait de notre article de blog consacré à la perplexité et à la burstiness — n'hésitez pas à le consulter pour obtenir des explications détaillées sur les limites de ces méthodes.
https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai
La perplexité correspond au degré d'imprévisibilité ou de surprise associé à chaque mot d'un texte, lorsqu'on l'examine du point de vue d'un modèle linguistique donné ou d'un LLM.
Prenons par exemple ces deux phrases. Concentrons-nous sur le dernier mot de chacune d'elles, à titre d'illustration. Dans le premier exemple, le dernier mot présente une faible perplexité, tandis que dans le second, il présente une forte perplexité.
Faible perplexité:
Aujourd'hui, pour le déjeuner, j'ai mangé un bol de *soupe*.
Perplexité élevée:
Aujourd'hui, pour le déjeuner, j'ai mangé un bol de *araignées*.
Si la deuxième phrase présente un indice de perplexité élevé, c'est parce qu'un modèle linguistique a très rarement l'occasion de rencontrer, dans son ensemble de données d'entraînement, des exemples de personnes mangeant des bols remplis d'araignées ; il est donc très surprenant pour lui que la phrase se termine par « araignées », plutôt que par un mot comme « soupe », « sandwich » ou « salade ».
La « burstiness » correspond à la variation de la perplexité tout au long d'un document. Si des mots et des expressions surprenants sont disséminés dans le document, on dira que celui-ci présente un niveau élevé de « burstiness ».
Pourquoi Pangram n'utilise-t-il pas les mesures de perplexité et de burstiness ?
L'utilisation de la perplexité et de la « burstiness » pour détecter les textes générés par l'IA présente de nombreux inconvénients. Pour une explication détaillée des points suivants, veuillez consulter notre article de blog consacré à ce sujet : https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai. Comme les modèles linguistiques sont explicitement entraînés à minimiser la perplexité sur leurs données d’entraînement, des textes humains fréquemment reproduits, tels que la Déclaration d’indépendance ou les articles de Wikipédia, sont souvent classés à tort comme provenant de l’IA, un problème qui ne fait que s’aggraver à mesure que les modèles ingèrent davantage de contenu du Web. Ces métriques sont également spécifiques à un modèle donné ; ainsi, un détecteur calibré sur un générateur produit des résultats inexacts sur un autre, et de nombreux modèles commerciaux ne fournissent tout simplement pas les probabilités de tokens nécessaires au calcul de la perplexité. Ils pénalisent systématiquement les locuteurs non natifs de l’anglais, dont le vocabulaire plus limité et les structures de phrases plus simples produisent naturellement une perplexité et une « burstiness » plus faibles. Et surtout, il s’agit d’heuristiques statiques qui ne peuvent pas s’améliorer avec davantage de données ni effectuer de calculs comme le ferait une approche d’apprentissage profond : elles ne peuvent pas offrir la fiabilité exigée par les applications à enjeux élevés.
