Mise à jour du texte pangramme : GPT-4o, Claude 3, LLaMA 3

Photo : Google DeepMind.

Nous sommes ravis de vous présenter aujourd’hui notre capacité à nous adapter rapidement aux nouveaux modèles de langage (LLM) disponibles sur le marché, grâce à la publication d’une mise à jour de notre modèle qui atteint une précision quasi parfaite dans la détection des textes générés par l’IA à partir de GPT-4o, Claude 3 et LLaMA 3.

En bref :

• Nous avons publié une nouvelle version de Pangram Text qui améliore les performances sur GPT-4o, Claude 3 et LLaMA 3.
• Notre infrastructure est conçue pour traiter rapidement de grandes quantités de textes générés par l'IA à partir de nouveaux modèles dès qu'ils sont mis à la disposition du public.
• Nous constatons que, à mesure que les performances de tous ces nouveaux modèles se rapprochent de celles de GPT-4, leur style commence également à se ressembler.

Résultats

Notre dernier modèle en date s'est révélé plutôt performant pour détecter les résultats générés par les nouveaux modèles, même sans avoir vu le moindre exemple de ceux-ci dans l'ensemble d'apprentissage. Cependant, nous ne nous contentons pas d'un résultat « plutôt bon » : nous voulons nous assurer que nous repoussons sans cesse les limites de ce qui est possible en matière de détection par IA et que nous offrons la meilleure précision possible à nos clients.

Afin d'évaluer nos performances sur les modèles linguistiques de nouvelle génération, nous avons remanié notre ensemble d'évaluation, qui comprend 25 000 exemples de textes humains difficiles à classer et de textes générés par l'IA à partir d'un panel de modèles linguistiques. Environ 40 % de ce nouvel ensemble d'évaluation est constitué d'une grande variété de textes générés par l'IA à partir de GPT-4o, Claude 3 et LLaMA 3, couvrant plusieurs domaines, notamment l'actualité, les critiques, l'éducation et bien d'autres encore.

Nous utilisons toutes les versions des nouveaux modèles lorsqu'elles sont disponibles : par exemple, nous prélevons des échantillons de manière équilibrée parmi les versions Opus, Sonnet et Haiku de Claude 3.

Après avoir mis à jour notre ensemble de données d'entraînement pour y intégrer les derniers modèles de langage de grande échelle (LLM), nous constatons que nous obtenons à nouveau une précision quasi parfaite sur les textes générés par la toute dernière génération de modèles de langage.

Outre l'amélioration des performances sur les nouveaux modèles, nous constatons que l'intégration de données d'entraînement issues de la dernière génération de modèles permet en réalité d'améliorer légèrement les performances de plusieurs anciens modèles.

Nous constatons que, sans entraîner de régression sur notre ancien ensemble d'évaluation du modèle, nous améliorons en réalité les résultats de détection de plusieurs cas par rapport à GPT-3.5 et à GPT-4 (standard). Plus précisément, nous constatons que 8 cas GPT-3.5 qui avaient auparavant échoué au test du modèle sont désormais validés, et que 13 cas GPT-4 qui avaient auparavant échoué au test du modèle sont désormais validés. Nous en concluons que la capacité accrue de notre modèle à détecter GPT-4o, Claude 3 et LLaMA 3 ne se fait pas au détriment de sa capacité à détecter les modèles plus anciens.

Garder une longueur d'avance

Nous savions dès le départ que les limites des grands modèles de langage (LLM) évolueraient rapidement ; c'est pourquoi nous avons conçu l'architecture de notre système en tenant compte de cette réalité. Nos systèmes sont conçus pour pouvoir régénérer des données et commencer à entraîner un nouveau modèle dans les heures qui suivent la mise à disposition publique d'une nouvelle API.

Lorsqu'un nouveau modèle est publié, il suffit de modifier la configuration pour générer un nouvel ensemble de données et réentraîner le modèle. Nous disposons d'une bibliothèque standard de modèles de prompts conçus pour être soumis à des modèles de langage de grande capacité (LLM) afin de produire un texte de type humain qui se rapproche de la partie humaine de notre ensemble de données, sans toutefois lui être identique. Nous détaillons ce processus, appelé « Hard Negative Mining with Synthetic Mirrors », dans notre rapport technique.

Le calendrier de lancement de ce nouveau modèle était le suivant :

13 mai : GPT-4o a été lancé et mis à disposition via l'API OpenAI. 14 mai : le pipeline de jeux de données a été mis à jour et de nouveaux ensembles de données d'entraînement et d'évaluation ont été créés. 15-16 mai : le modèle de détection d'IA a été entraîné à l'aide des nouveaux jeux de données. 17 mai : des contrôles qualité et des vérifications de cohérence ont été effectués, puis le modèle a été lancé.

L'infrastructure que nous avons mise en place nous permet de nous adapter rapidement et d'intégrer les textes issus de nouveaux modèles dans le système de détection de production en seulement une semaine.

Des rendements décroissants ?

À mesure que les nouveaux modèles s'améliorent, ils doivent devenir plus difficiles à détecter, n'est-ce pas ? Nous n'avons toujours pas trouvé de preuves à l'appui de cet argument séduisant, mais en fin de compte erroné.

D'un point de vue empirique, nous constatons que les modèles les plus performants, en raison de leurs styles plus singuliers, sont en réalité plus faciles à détecter que les modèles moins performants. Par exemple, nous avons constaté que notre ancien modèle était plus efficace pour détecter Claude Opus que Sonnet et Haiku.

Comme le montre le classement LMSYS, on constate que de nombreux modèles de base convergent asymptotiquement vers le niveau de GPT-4, mais aucun modèle n’a encore réussi à le surpasser de manière convaincante avec une marge significative. En prenant du recul, si plusieurs entreprises développant des modèles de base adoptent la même architecture basée sur l'attention et l'entraînent sur l'ensemble d'Internet, il n'est pas surprenant que le langage produit par tous ces modèles finisse par se ressembler de manière incroyable. Ceux qui interagissent régulièrement avec des modèles linguistiques comprendront immédiatement ce que nous voulons dire par là.

D'un point de vue observationnel, nous constatons encore que les grands modèles de langage (LLM), lorsqu'on leur demande d'écrire de manière créative et authentique – par exemple un essai d'opinion, une critique ou une nouvelle originale –, produisent toujours des textes sans imagination et insipides. Nous pensons que cela tient fondamentalement à l'objectif d'optimisation qui consiste à prédire des compléments hautement probables tout en évitant les pensées et les idées originales qui s'écartent de la distribution.

Nous apprécions les textes originaux rédigés par nos semblables parce qu'ils peuvent nous offrir un regard neuf ou une autre façon de penser, et non parce qu'ils reflètent ce que n'importe qui pourrait dire. Tant que cette valeur restera d'actualité, la détection de l'IA restera nécessaire, et il y aura toujours un moyen d'y parvenir.