Rapport technique Pangram 4

Pangram 4 est notre tout dernier modèle de pointe dédié à la détection de textes générés par l'IA. Par rapport à son prédécesseur, Pangram 4 affiche des progrès notables dans la distinction entre les textes entièrement générés par l'IA, ceux rédigés par plusieurs auteurs et ceux assistés par l'IA, tout en offrant une granularité supérieure, ce qui permet une distinction plus fine entre les segments rédigés par l'homme et ceux générés par l'IA au sein d'un même document. Il résiste également aux outils d'« humanisation » et aux prompts adversariaux, et se montre nettement plus précis sur les modèles de pointe les plus récents.

À notre connaissance, Pangram 4 est le premier modèle de détection de l'IA capable de distinguer simultanément, en un seul passage, les textes rédigés à l'aide de l'IA de ceux issus d'une collaboration entre l'IA et un humain.

Principaux résultats :

• D'après nos tests de performance, Pangram 4 identifie correctement 99,66 % des documents générés par l'IA, tout en ne classant à tort que 0,0041 % des textes rédigés par des humains comme provenant de l'IA, soit environ un faux positif pour 24 000 documents.
• Pangram 4 apporte des améliorations par rapport à Pangram 3 à tous les égards, avec près de six fois moins de faux négatifs et 14 fois moins de faux positifs.
• Pangram 4 ne confond pas une légère retouche par IA avec une génération par IA : il ne classe les textes rédigés par des humains et retouchés par IA comme étant entièrement générés par IA que dans 0,009 % des cas, soit une réduction de 20 fois par rapport à Pangram 3.
• Lorsqu'il est comparé à 13 outils d'humanisation commerciaux courants, Pangram 4 détecte l'intervention de l'IA dans un texte humanisé par l'IA dans 98,83 % des cas.

Paternité mixte et assistance par l'IA

De nombreux documents écrits produits aujourd'hui ne relèvent plus clairement de la catégorie des textes entièrement générés par l'IA ou de celle des textes entièrement rédigés par des humains ; nous vivons en effet à une époque où le style d'un texte et son argumentation peuvent tout à fait avoir des origines différentes.

Nous estimons qu’il est important de distinguer cette catégorie de documents tant des textes entièrement générés par l’IA que des textes entièrement rédigés par des humains. Cela revêt de l’importance à nos yeux à la fois parce que nous croyons en la transparence de la paternité des textes, et parce que, en tant que technologie populaire et émergente, les modèles linguistiques façonnent le monde d’une manière que nous ne comprenons pas encore pleinement – même si nous disposons de quelques indices. Certaines recherches indiquent que l’utilisation de modèles linguistiques pour éditer un texte en modifie le style de manière mesurable ; par exemple, les articles universitaires réécrits par un modèle linguistique de grande envergure (LLM) ont tendance à accumuler des mots d’hésitation (« peut », « généralement », « suggère ») et des mots d’emphase (« fort », « robuste », « cohérent »). Des travaux connexes montrent que les modifications apportées par un LLM modifient le sens d’un texte même lorsque le modèle a pour instruction de ne corriger que la grammaire, et que les évaluations par les pairs rédigées par un LLM accordent un poids différent à la clarté et à la pertinence par rapport aux évaluateurs humains. Par ailleurs, certains éléments indiquent qu’il est difficile de supprimer les traces d’un brouillon généré par l’IA, même après une révision approfondie: les auteurs qui adaptent les résultats d’un LLM à leur style personnel produisent toujours un texte dont la lecture se rapproche davantage de l’écriture du LLM que de la leur.

Pour aborder ce problème, nous envisageons deux principales façons de combiner la rédaction humaine et celle générée par l'IA. Pour les documents hétérogènes, dont les segments peuvent être clairement attribués soit à un auteur humain, soit à l'IA, Pangram utilise une prédiction par token. En revanche, pour un segment modifié de manière itérative, où aucun token ne peut être attribué de manière définitive à un seul auteur humain ou à l'IA, Pangram signale ce segment comme ayant été rédigé avec l'aide de l'IA.

La différence entre un texte mixte hétérogène et un texte mixte homogène.

Pangram résiste bien aux techniques d'« humanisation » et aux invites adversaires.

À mesure que les technologies de détection de l'IA s'améliorent, la demande en logiciels permettant de réécrire les textes générés par l'IA afin de contourner la détection automatique augmente également. Ces outils visent souvent à contourner les systèmes de détection dans des contextes où la paternité de l'œuvre est cruciale, tels que le milieu universitaire, la recherche ou l'édition. Pour lutter contre ce phénomène, Pangram 4 dispose d’une fonctionnalité dédiée à la détection des textes « humanisés ». Lors d’une évaluation comparée à 13 outils commerciaux populaires d’« humanisation », Pangram a identifié l’intervention de l’IA dans les textes « humanisés » générés par l’IA dans 98,83 % des cas.

Une autre stratégie couramment utilisée par les attaquants pour échapper à la détection consiste à recourir à des « prompts » adversaires, comme l’« humaniseur » Blader, dans le cadre duquel un utilisateur demande à un modèle de langage de grande envergure (LLM) de s’écarter de son style d’écriture habituel. Afin d’évaluer nos performances dans ce domaine, nous avons accordé à un agent IA (Codex GPT 5.6 Sol) un accès à l’API Pangram 4 pendant 24 heures, dans le but de générer des faux négatifs reproductibles.

Dans le cadre de cette initiative, GPT 5.6 a testé diverses stratégies, notamment l’imitation de style, l’utilisation d’un registre professionnel concis et le préchargement du contexte à partir d’un texte source rédigé par un humain. Au cours de la période de test, il n’a réussi qu’un seul contournement, en imitant des notes de pathologie chirurgicale dictées. Bien que cela soit impressionnant, nous considérons finalement que cette tentative sort du cadre de notre étude, à la fois parce que l’entrée contenait plus de contexte que la sortie, et parce que le texte obtenu se présentait sous forme de listes à puces concises plutôt que sous la forme de prose ouverte que nous ciblons habituellement.

Formation et architecture

Afin de déterminer la paternité d'un texte, nous définissons le texte généré par l'IA comme un texte original en langage naturel produit par un modèle de langage de grande envergure (LLM) en réponse à une tâche d'écriture ouverte ou à une question. Nous exigeons en outre que le LLM apporte des tokens originaux et excluons les cas où le modèle se contente de reproduire mot pour mot un texte rédigé par un humain ; par exemple, en citant des extraits de la fenêtre de contexte, en récitant un contenu mémorisé ou en résumant des chaînes de caractères saisies par un humain.

Données d'entraînement

Nous avons entraîné Pangram 4 à partir de textes rédigés par des humains et de textes générés par l'IA, issus d'une grande variété de domaines, de langues et de modèles d'IA.

Comme dans les versions précédentes, toutes les données d'entraînement rédigées par des humains font l'objet d'une licence commerciale ou sont la propriété de la société. Comme toujours, Pangram 4 n'a pas été entraîné à partir de données soumises par les utilisateurs, de données clients provenant d'utilisateurs de l'API, ni de données obtenues par des explorations non autorisées du Web.

On trouve ci-dessous une répartition approximative des domaines dans notre ensemble de données humaines.

Répartition approximative du texte source rédigé par des humains, par catégorie.

Pour la partie « IA » de notre ensemble de données, nous générons en interne tous les exemples synthétiques à l'aide de 75 des modèles les plus populaires, y compris tous les modèles OpenAI et Anthropic actuellement disponibles. Notre objectif, lors de la constitution de notre ensemble de données synthétiques, est de fournir un contexte permettant au modèle d'apprendre comment un texte a été rédigé, plutôt que de se contenter d'assimiler les marqueurs de sujet, de langage ou de ton propres aux textes générés par l'IA.

Afin de réduire les faux positifs liés à une écriture humaine atypique, nous appliquons un modèle candidat entraîné à un ensemble de réserve de textes humains, dans le but d’identifier les éléments que le modèle candidat classe à tort comme étant générés par une IA. Nous générons ensuite des répliques synthétiques des éléments mal classés, puis nous réentraînons le modèle candidat sur l’ensemble combiné. Nous appelons cette méthode « hard-negative mining ».

Architecture

Pangram 4 est notre plus grand modèle à ce jour, avec six fois plus de paramètres que Pangram 3.3. Pangram 4 présente plusieurs changements architecturaux majeurs par rapport à son prédécesseur. Il s'agit également de notre premier modèle de type « mixture of experts », dans lequel un mécanisme de routage clairsemé achemine différents types d'entrées vers différentes parties du réseau neuronal. Nous pensons que ce type d'architecture sera particulièrement adapté à la détection par IA en raison du large éventail de possibilités d'entrée.

Présentation générale de l'architecture Pangram 4.

Mécanismes de prédiction

Afin d’améliorer la précision de ses prédictions, Pangram 4 attribue trois scores à chaque token d’une chaîne d’entrée donnée, correspondant à son estimation quant à savoir si ce token a été rédigé par un humain, assisté par une IA ou généré par une IA. Les documents plus longs sont évalués par fenêtres de 512 tokens qui se chevauchent, de sorte que pour chaque fenêtre, nous obtenons également un score au niveau de la fenêtre ainsi qu’une agrégation des scores au niveau des tokens. Tous les scores sont ensuite moyennés et lissés afin d’atténuer les fluctuations aléatoires des prédictions relatives à chaque token. Cette méthode remplace l’approche précédente consistant à découper naïvement le texte en segments lors du prétraitement, et c’est elle qui nous permet de déterminer avec précision la frontière entre le contenu généré par l’IA et celui rédigé par un humain.

Performances et tests de performance

Afin de modéliser avec précision les cas d'utilisation réels des modèles de langage à grande échelle (LLM), nous avons évalué Pangram 4 sur des textes rédigés par des humains, générés par l'IA et rédigés avec l'aide de l'IA, à l'aide d'une série de benchmarks standard et de benchmarks complexes.

Faux positifs

Pour la partie « humaine » de l'ensemble de test, Pangram 4 a été évalué sur un ensemble de 2 millions de documents sous licence commerciale antérieurs à 2022, qui n'avaient pas été utilisés pour l'entraînement du modèle. Lors de cet essai comparatif, Pangram 4 affiche un taux de faux positifs de 0,0041 %, avec un intervalle de confiance à 95 % compris entre (0,0032 % et 0,0050 %). Cela correspond à un faux positif pour environ 24 000 documents.

Faux négatifs dans l'ensemble de données généré par l'IA

Nous avons constitué ce jeu de référence en extrayant des requêtes d’utilisateurs issues des conversations de Chatbot Arena ; nous avons sélectionné cet ensemble de requêtes afin de refléter la répartition réelle des requêtes envoyées par les utilisateurs aux modèles de langage de grande échelle (LLM). Nous avons ensuite utilisé un petit modèle de langage (Mistral-Small-24B-Instruct-2501) pour filtrer toutes les requêtes demandant de l’aide en mathématiques ou en programmation, ainsi que les réponses à choix multiples, car nous avons estimé que celles-ci ne relevaient pas de notre champ d’étude. Après ce filtrage, il nous restait un ensemble complet de 20 000 requêtes suscitant des réponses ouvertes de la part des modèles. À partir de chaque requête de cet ensemble, nous avons généré une réponse pour chacun des 26 modèles linguistiques de notre ensemble, notamment GPT-5.5, Claude Opus 4.8 et Gemini 3.1 Pro, pour un total de 519 993 échantillons évalués avec succès.

Dans ce test de performance, Pangram 4 affiche un taux global de faux négatifs de 0,3396 %, contre un FNR de 1,99 % pour Pangram 3 sur le même ensemble de données.

Robustesse vis-à-vis des modèles de frontière

Pangram 4 s'applique de manière générale à l'ensemble des modèles linguistiques de pointe : chaque famille de modèles est détectée avec un FNR inférieur à 0,7 %, et nous ne constatons aucune corrélation significative entre la date de sortie d'un modèle et sa détectabilité.

Performances avec des documents mixtes et modifiés

Nous créons un ensemble de données composé de textes relus et peaufinés par l’IA afin d’évaluer notre « taux de faux positifs assistés par l’IA », c’est-à-dire la fréquence à laquelle un modèle signale à tort comme provenant de l’IA des modifications mineures apportées par celle-ci. Nous utilisons des produits grand public (Grammarly, Apple Intelligence et Gemini dans Google Docs) ainsi que des modèles de langage de pointe (Opus 4.8, Gemini 3.1 et GPT-5.5) pour apporter de légères modifications aux textes rédigés par des étudiants issus des programmes ELLIPSE, PELIC et ICNALE. Par exemple, nous avons utilisé la fonctionnalité « Outils d’écriture » intégrée à l’éditeur de texte Pages d’Apple pour « relire » certains textes, ou demandé à Opus 4.8 de « corriger les petits problèmes de style académique tout en conservant un style reconnaissable comme étant humain ».

Comparaison entre Pangram 3 et Pangram 4 sur un extrait de document hétérogène. Pangram 4 détecte l'IA avec une précision bien supérieure.

Et maintenant ?

Nous sommes ravis de vous présenter ce modèle, que nous considérons comme le meilleur de sa catégorie au monde à l'heure actuelle. Cela dit, nous avons également quelques objectifs à atteindre.

Tout d’abord, nous souhaitons anticiper la dérive des données avant qu’elle ne devienne un problème. On ignore actuellement pendant combien de temps un ensemble d’apprentissage antérieur à 2022 restera suffisant pour produire les modèles prédictifs robustes exigés par nos normes ; c’est pourquoi la recherche de méthodes permettant d’enrichir notre ensemble d’apprentissage créé par des humains constitue une priorité absolue – sans pour autant, bien sûr, compromettre notre garantie d’une valeur de référence humaine pour chaque document organique sur lequel nous effectuons l’apprentissage.

Nous souhaitons ensuite garantir la stabilité des prédictions de Pangram 4 dans différents contextes. Il arrive parfois qu’un sous-ensemble d’un texte plus long donne lieu à des prédictions différentes selon qu’il est isolé ou intégré dans le document qui l’entoure. Il se peut que cette situation reflète le fait que le contexte supplémentaire fournit au modèle davantage d’informations ou un signal plus fort, mais nous espérons pouvoir minimiser cet effet grâce à un meilleur calibrage.

Enfin, nous souhaitons poursuivre nos travaux sur l'interprétabilité afin d'approfondir notre compréhension de l'attribution des caractéristiques, de l'espace d'intégration et de l'identification des générateurs. Il s'agit là de l'un de nos projets les plus ambitieux, et nous avons hâte de vous faire part de nos progrès au cours des prochains mois.

Fiche technique

Vous trouverez tous les détails dans la fiche technique du modèle Pangram 4.