Pangram 3.0 : Quantifier l'ampleur de la révision par l'IA dans les textes

*Remarque : notre nouveau modèle, Pangram 3.0, s'appuie sur notre étude publiée intitulée « EditLens : Quantifying the Extent of AI Editing in Text ».

L'adoption rapide des grands modèles linguistiques (LLM), tels que ChatGPT, Claude et Gemini, a transformé notre façon d'écrire, de réviser et d'interagir avec le texte. Une étude récente d'OpenAI a révélé que les deux tiers de toutes les requêtes liées à l'écriture adressées à ChatGPT consistent à demander au modèle de modifier un texte fourni par l'utilisateur plutôt que d'en générer un à partir de zéro. Les utilisateurs demandent de plus en plus souvent aux modèles d'améliorer la grammaire, de restructurer les arguments ou de modifier le ton, en partant d'un brouillon rédigé par un humain.

Quelles sont les implications de la multiplication des textes rédigés par des humains mais révisés par l'IA pour les outils de détection de l'IA ? De nombreux outils existants sont conçus pour classer les textes en trois catégories au maximum : entièrement rédigés par des humains, entièrement générés par l'IA ou mixtes. Ce cadre ne fait pas la distinction entre un paragraphe dont la grammaire a été corrigée par un modèle de langage de grande envergure (LLM) et un paragraphe développé par un modèle afin d'y ajouter des détails.

Afin de rendre compte de toute la diversité des modifications apportées par l'IA dans un texte, nous présentons Pangram 3.0, un modèle conçu pour quantifier l'ampleur de l'intervention de l'IA dans la création d'un texte. Plutôt que de fournir une classification (entièrement humain, entièrement généré par l'IA ou mixte), Pangram génère un score correspondant à l'« intensité » de l'intervention de l'IA.

Partenariat d'écriture homogène vs hétérogène

Pangram 3.0 traite le cas de ce que nous appellerons les textes à auteurs multiples homogènes. Analysons la différence entre les textes à auteurs multiples homogènes et hétérogènes.

Dans le cas hétérogène, la paternité de chaque segment de texte peut être directement attribuée à un humain ou à une IA. Dans l'exemple ci-dessous, un humain commence à rédiger une critique, puis demande à ChatGPT de la compléter. Dans ce genre de situation, il existe une ou plusieurs frontières entre les segments rédigés par l'humain et ceux générés par l'IA. On pourrait étiqueter chaque phrase, voire chaque mot, en fonction de son auteur : humain ou IA. La détection de textes mixtes hétérogènes (également appelée détection fine de textes générés par l'IA) a déjà été étudiée par Kushnareva et al. (2024), Wang et al. (2023) et Lei et al. (2025).

Dans le cas d’un texte homogène, la paternité de l’œuvre est indissociable du processus d’édition. Pour reprendre notre exemple de critique de restaurant, on obtiendrait un texte mixte homogène si un humain rédigeait une brève critique, puis demandait à ChatGPT d’y ajouter des détails. Dans ce cas, il est impossible de distinguer les mots rédigés par l'humain de ceux rédigés par l'IA : l'IA a reformulé le texte humain avec de nouveaux mots, mais le sens et les idées sous-jacentes proviennent directement du brouillon humain (imaginez un cas où un auteur humain paraphrase un autre sans citation — c'est un cas classique de plagiat !).

Figure 2 : Exemple de texte issu d'une collaboration hétérogène entre humains et IA (à gauche) et de texte issu d'une collaboration homogène (à droite)

Chacun des trois textes modifiés présentés dans la figure 1 illustre le cas d’une paternité mixte homogène. Ces trois exemples montrent qu’il existe une différence nette entre le texte généré par la consigne « Corrigez les erreurs » et celui généré par la consigne « Rendez le texte plus descriptif ». Cette différence est particulièrement frappante lorsque l'on compare les textes générés avec le texte original rédigé par un humain, mais avec Pangram 3.0, nous faisons un pas vers la quantification de cette différence lorsque nous ne disposons que du texte édité, afin que les utilisateurs puissent mieux comprendre à quel point l'IA est omniprésente dans un texte donné.

Création d'un ensemble de données traité par l'IA

Afin d'entraîner un modèle à déterminer le degré d'intervention de l'IA dans un texte, nous avons dû créer un ensemble de données d'entraînement composé de textes modifiés par l'IA, accompagnés d'une indication du niveau d'intervention de l'IA dans chaque texte. Nous avons sélectionné des textes sources entièrement rédigés par des humains à partir d'ensembles de données open source couvrant différents domaines : actualités, critiques, articles éducatifs en ligne et suggestions de rédaction sur Reddit. Nous avons ensuite appliqué 303 consignes de réécriture différentes, telles que « Rendez ce texte plus descriptif » ou « Pouvez-vous m'aider à obtenir une meilleure note pour ma dissertation ? », en utilisant 3 modèles de langage génératif (LLM) commerciaux différents : GPT-4.1, Claude Sonnet 4 et Gemini 2.5 Flash. Enfin, nous avons généré une version entièrement produite par l'IA (également appelée « miroir synthétique », voir le rapport technique Pangram) de chaque texte rédigé par des humains. Notre ensemble de données final comprend 60 000 exemples d'entraînement, 6 000 exemples de test et 2 400 exemples de validation.

Comment déterminer dans quelle mesure un texte a été modifié par l'IA ?

Comme nous avons accès au texte source non modifié lors de la création de l'ensemble de données, nous avons pu mesurer l'ampleur des modifications apportées par l'IA au texte en comparant le texte source et sa version modifiée par l'IA. Nous avons utilisé un indicateur de similarité textuelle appelé « distance cosinus » pour estimer dans quelle mesure l'IA avait modifié le texte source rédigé par un humain, sur une échelle de 0 à 1, les textes entièrement rédigés par des humains se voyant attribuer un score de 0 et les textes entièrement générés par l'IA un score de 1. Afin de vérifier que ce score correspondait à la façon dont les humains perçoivent les modifications apportées par l'IA, nous avons mené une étude dans le cadre de laquelle nous avons fait appel à trois experts ayant une grande expérience des textes générés par l'IA et leur avons demandé de choisir lequel des deux textes modifiés par l'IA l'était le plus. Notre étude a révélé que les annotateurs étaient globalement d'accord avec notre choix de mesure de similarité textuelle.

Entraîner un modèle pour prédire les modifications apportées par l'IA

Une fois notre ensemble de données annotées constitué, il était temps de former un modèle. Notre modèle est entraîné uniquement sur les textes modifiés par l'IA, ce qui reflète la manière dont un utilisateur utiliserait Pangram 3.0 : un enseignant souhaitant savoir dans quelle mesure son élève a eu recours à l'IA ne disposera que de la version finale remise par l'élève, et non des brouillons précédents. À partir d'un texte, notre modèle est entraîné à prédire la note d'édition par l'IA que nous lui avons attribuée dans la section précédente. La figure 3 illustre les entrées et les sorties de notre modèle, tant lors de l'entraînement que lors des tests.

La détection de l'assistance par l'IA dans la pratique

Voici un paragraphe rédigé par un humain à propos de l'auteur Kazuo Ishiguro :

Lire les œuvres de l’auteur britannique Kazuo Ishiguro, c’est vivre une frustration à plusieurs niveaux. Le génie de l’écriture frustrante d’Ishiguro réside dans le fait que, quel que soit le degré d’attachement émotionnel du lecteur aux personnages et à l’intrigue, la frustration est omniprésente. Sur le plan du langage lui-même, le lecteur y trouve des répétitions, des phrases alambiquées et une profusion d’adjectifs nuancés. Ishiguro m’a conditionné à avoir une réaction physique négative chaque fois qu’un de ses personnages dit quelque chose du genre « Je vais être bref ». Les narrateurs sont tous des personnages ordinaires, mais aucun n’est un conteur professionnel. Les informations sont diffusées lentement, de manière imprécise et sans ordre chronologique. Cela prive le lecteur des faits concrets qui facilitent la compréhension de l’intrigue.

Voici comment Pangram 3.0 caractérise les versions de ce paragraphe modifiées par l'IA à partir de ChatGPT après que nous y avons appliqué différentes consignes :

Étude de cas Grammarly

Grammarly est un assistant de rédaction basé sur l'IA et fonctionnant par abonnement qui permet aux utilisateurs de modifier directement un texte à l'aide de modèles de langage de grande envergure (LLM) au sein même de leur traitement de texte habituel. Nous avons constitué un ensemble de données dans lequel nous avons utilisé Grammarly pour appliquer 9 des suggestions de modification par défaut à 197 textes rédigés par des humains. Parmi ces suggestions figuraient notamment « Simplifiez », « Rendez le texte plus fluide » et « Rendez-le plus descriptif ». Nous avons ensuite noté tous les textes modifiés à l'aide de Pangram 3.0. Dans la figure 4, nous présentons les distributions des scores d'assistance IA regroupés par suggestion d'édition. On constate que, contrairement à ce que l'on pourrait croire, Pangram 3.0 considère « Corrigez les erreurs » comme la modification la plus mineure, tandis que « Résumez » et « Rendez le texte plus détaillé » sont considérées comme des modifications beaucoup plus invasives.

Figure 4 : Répartition des scores obtenus avec Pangram 3.0 (EditLens) sur un ensemble de données provenant de Grammarly. Les scores sont regroupés en fonction de la modification qui leur a été appliquée. Toutes les modifications correspondent à des options par défaut disponibles dans le traitement de texte de Grammarly.

Le score d'assistance IA augmente à mesure que vous appliquez davantage de modifications générées par l'IA

Nous avons mené une expérience consistant à appliquer cinq modifications générées par un modèle de langage de grande envergure (LLM) au même texte, puis à réévaluer ce dernier à l'aide de Pangram 3.0 après chaque modification. La figure 5 montre qu'en général, le score d'assistance par IA (EditLens) augmente à mesure que nous appliquons chaque modification successive.

Figure 5 : Scores Pangram 3.0 après chacune des cinq modifications successives effectuées par l'IA sur le même document.

Étude de cas de la Conférence internationale sur les représentations d'apprentissage (ICLR)

En novembre, des chercheurs en IA ont fait part de leurs inquiétudes concernant la forte proportion de contributions et d'évaluations par les pairs soupçonnées d'avoir été générées par l'IA lors de la Conférence internationale sur l'apprentissage des représentations (ICLR), l'un des principaux événements dans le domaine de l'IA et de l'apprentissage automatique. Graham Neubig, professeur à l'université Carnegie Mellon, a proposé une récompense à quiconque effectuerait une analyse de détection de l'IA sur les contributions et les évaluations de l'ICLR de cette année, et chez Pangram, nous avons volontiers relevé le défi.

Dans le cadre de cette analyse, nous avons appliqué Pangram 3.0 à l'ensemble des évaluations par les pairs soumises à l'ICLR au cours de ce cycle d'évaluation, ainsi qu'aux évaluations soumises en 2022, afin de vérifier notre taux de faux positifs (FPR). Sur les évaluations de 2022, Pangram 3.0 a affiché un FPR d'environ 1 sur 1 000 pour la catégorie « Légèrement révisé » par rapport à « Entièrement humain », un FPR de 1 sur 5 000 pour la catégorie « Modérément révisé » par rapport à « Entièrement humain », et un FPR de 1 sur 10 000 pour la catégorie « Fortement révisé » par rapport à « Entièrement humain ». Nous n'avons constaté aucune confusion entre les évaluations entièrement générées par l'IA et celles entièrement humaines. Lors des évaluations de cette année, Pangram 3.0 a constaté que plus de la moitié des évaluations comportaient une forme d'assistance par l'IA. La figure 6 montre la répartition des scores de Pangram 3.0 sur l'ensemble des 2 026 évaluations de l'ICLR.

Figure 6 : Répartition des prédictions de Pangram 3.0 dans les évaluations de l'ICLR 2026

Pour en savoir plus sur notre méthodologie et nos résultats, consultez l'article de blog que nous avons rédigé à propos de notre analyse.

Comment Pangram 3.0 traite-t-il les textes rédigés avec l'aide de l'IA par des locuteurs non natifs de l'anglais ?

Nous avons publié les résultats de notre analyse ainsi que les notes attribuées par Pangram 3.0 pour toutes les critiques, ce qui a permis aux critiques de vérifier comment Pangram 3.0 avait noté les critiques qu'ils avaient rédigées. Nous avons ainsi pu recueillir des retours d'expérience sur les performances de Pangram 3.0 avec des textes réels.

Un thème récurrent parmi les réponses à notre analyse sur X concernait la manière dont AI Assistance évalue les textes rédigés par des locuteurs non natifs de l'anglais qui ont ensuite recours à des modèles de langage (LLM) pour traduire ou peaufiner leurs textes rédigés par des humains. Nous partageons ci-dessous quelques réponses de ces évaluateurs, qui se sont généralement retrouvés dans la description faite par The Pangram de leurs évaluations :

J'ai vérifié mes avis, qui ont été révisés en anglais par des modèles de langage artificiel (LLM), et je les ai tous signalés comme « aucune IA détectée » / « entièrement rédigés par un humain ».

— Ana Marasović (@anmarasovic) 15 novembre 2025

Je vérifie mes évaluations. Résultat : 2 ont été modérément modifiées par l'IA, 2 fortement et 1 légèrement. C'est parce que j'ai rédigé mes évaluations en chinois et que GPT m'aide à les traduire en anglais. Ce résultat n'est pas surprenant. Mais je pense que je suis un évaluateur responsable :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16 novembre 2025

Aujourd’hui, on fait davantage confiance à l’IA pour détecter les contenus générés par l’IA qu’aux contenus générés par l’IA eux-mêmes, haha.
Que ce soit clair : j’ai le plus grand respect pour les personnes qui ont travaillé dur pour rendre cette analyse possible.

D’après mon expérience personnelle : j’ai une soumission pour laquelle les quatre évaluations… https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17 novembre 2025

Nous sommes ravis de vous présenter cette mise à jour de notre produit. Pour plus de détails techniques sur la détection d'assistance IA de Pangram 3.0 (EditLens), consultez notre article de recherche ici : https://arxiv.org/abs/2510.03154