Pangram 3.0 : Quantification de l'étendue de l'édition par IA dans les textes

*Remarque : notre nouveau modèle, Pangram 3.0, s'appuie sur nos recherches publiées : EditLens : Quantifying the Extent of AI Editing in Text(EditLens : quantifier l'étendue de l'édition par IA dans les textes).

L'adoption rapide de grands modèles linguistiques (LLM) tels que ChatGPT, Claude et Gemini a transformé notre façon d'écrire, de réviser et d'interagir avec le texte. Une étude récente d'OpenAI a révélé que les deux tiers des requêtes liées à l'écriture adressées à ChatGPT demandent au modèle de modifier le texte fourni par l'utilisateur plutôt que de générer du texte à partir de zéro. Les utilisateurs demandent de plus en plus aux modèles d'améliorer la grammaire, de restructurer les arguments ou de modifier le ton, à partir d'un brouillon rédigé par un humain.

Que signifie l'essor des textes rédigés par des humains, mais édités par l'IA, pour les outils de détection de l'IA ? De nombreux outils existants sont conçus pour classer les textes en trois catégories au maximum : entièrement rédigés par des humains, entièrement rédigés par l'IA ou mixtes. Ce cadre ne fait pas la distinction entre un paragraphe ayant subi des corrections grammaticales par un LLM et un paragraphe développé par un modèle afin d'y ajouter des détails.

Afin de saisir pleinement l'éventail des modifications apportées par l'IA dans un texte, nous présentons Pangram 3.0, un modèle conçu pour quantifier l'ampleur de l'implication de l'IA dans la création d'un texte. Plutôt que de renvoyer une catégorisation « entièrement humain », « entièrement IA » ou « mixte », Pangram génère un score correspondant à la « force » de l'intervention de l'IA.

Paternité homogène ou hétérogène

Pangram 3.0 s'attaque au cas de ce que nous appellerons les textes à auteurs multiples homogènes. Analysons la différence entre les auteurs multiples homogènes et hétérogènes.

Dans le cas hétérogène, la paternité de chaque segment de texte peut être directement attribuée à un humain ou à une IA. Dans l'exemple ci-dessous, un humain commence à rédiger une critique, puis demande à ChatGPT de la compléter. Dans ce type de cas, il existe une ou plusieurs frontières entre les segments rédigés par l'humain et ceux rédigés par l'IA. Vous pouvez étiqueter chaque phrase, voire chaque mot, en fonction de son auteur : humain ou IA. La détection de textes mixtes hétérogènes (également appelée détection fine de textes générés par l'IA) a déjà été étudiée par Kushnareva et al. (2024), Wang et al. (2023) et Lei et al. (2025).

Dans le cas homogène, la paternité littéraire est brouillée par le processus d'édition. Pour reprendre notre exemple de critique de restaurant, un texte mixte homogène serait produit si un humain rédigeait une brève critique, mais demandait à ChatGPT d'y ajouter des détails. Dans ce cas, il est impossible de distinguer les mots rédigés par l'humain de ceux rédigés par l'IA : l'IA a reformulé le texte humain avec de nouveaux mots, mais le sens et les idées derrière le texte proviennent directement du brouillon humain (pensez à un cas où un auteur humain paraphrase un autre sans citation — c'est un cas classique de plagiat !).

Figure 2 : Exemple de texte hétérogène rédigé conjointement par un humain et une IA (à gauche) et de texte homogène rédigé conjointement (à droite)

Chacun des trois textes édités dans la figure 1 est un exemple de cas d'écriture mixte homogène. À partir de ces trois exemples, nous pouvons constater qu'il existe une différence nette entre le texte produit par la commande « Corrigez les erreurs » et celui produit par la commande « Rendez-le plus descriptif ». Cette différence est particulièrement frappante lorsque l'on compare les textes générés avec le texte original rédigé par un humain, mais avec Pangram 3.0, nous faisons un pas vers la quantification de cette différence lorsque nous ne disposons que du texte édité, afin que les utilisateurs puissent mieux comprendre à quel point l'IA est omniprésente dans un texte donné.

Création d'un ensemble de données édité par IA

Afin de former un modèle capable de déterminer le degré d'édition par IA dans un texte, nous avons dû créer un ensemble de données d'entraînement composé de textes édités par IA et étiquetés en fonction du degré d'édition par IA présent dans chaque texte. Nous avons échantillonné des textes sources entièrement rédigés par des humains à partir d'ensembles de données open source dans différents domaines : actualités, critiques, articles éducatifs sur le web et suggestions d'écriture sur Reddit. Nous avons ensuite appliqué 303 invites d'édition différentes, telles que « Rendez cela plus descriptif » ou « Pouvez-vous m'aider à obtenir une meilleure note pour mon essai ? », à l'aide de 3 LLM commerciaux différents : GPT-4.1, Claude Sonnet 4 et Gemini 2.5 Flash. Enfin, nous avons généré une version entièrement générée par l'IA (également appelée « miroir synthétique », voir le rapport technique Pangram) de chaque texte rédigé par un humain. Notre ensemble de données final comprend 60 000 exemples d'entraînement, 6 000 exemples de test et 2 400 exemples de validation.

Comment déterminer dans quelle mesure un texte a été modifié par l'IA ?

Comme nous avons accès au texte source non édité lors de la création de l'ensemble de données, nous avons pu mesurer la quantité d'éditions effectuées par l'IA dans le texte en comparant le texte source et sa version éditée par l'IA. Nous avons utilisé une mesure de similarité textuelle appelée « distance cosinus » pour estimer dans quelle mesure l'IA a modifié le texte source rédigé par un humain sur une échelle de 0 à 1, les textes entièrement rédigés par des humains recevant une note de 0 et les textes entièrement générés par l'IA recevant une note de 1. Afin de vérifier que ce score correspond à la façon dont les humains perçoivent les modifications apportées par l'IA, nous avons mené une étude dans le cadre de laquelle nous avons engagé trois experts ayant une grande expérience des textes générés par l'IA et leur avons demandé de choisir lequel des deux textes modifiés par l'IA avait été le plus modifié. Notre étude a révélé que les annotateurs étaient généralement d'accord avec notre choix de mesure de similarité textuelle.

Entraîner un modèle pour prédire les modifications apportées par l'IA

Une fois notre ensemble de données étiquetées obtenu, il était temps d'entraîner un modèle. Notre modèle est entraîné uniquement sur les textes modifiés par l'IA, ce qui reflète la manière dont un utilisateur utiliserait Pangram 3.0 : un enseignant intéressé par le degré d'utilisation de l'IA par son élève ne disposera que du travail rendu par l'élève, et non des brouillons précédents. À partir d'un texte, notre modèle est entraîné à prédire le score de modification par l'IA que nous lui avons attribué dans la section précédente. La figure 3 illustre les entrées et les sorties de notre modèle lors de l'entraînement et du test.

Détection de l'assistance IA dans la pratique

Voici un paragraphe rédigé par un humain à propos de l'auteur Kazuo Ishiguro :

Lire les œuvres de l'auteur britannique Kazuo Ishiguro, c'est éprouver une frustration à plusieurs niveaux. Le génie de l'écriture frustrante d'Ishiguro réside dans le fait que, quel que soit le niveau d'investissement émotionnel du lecteur dans les personnages et l'intrigue, la frustration est omniprésente. Au niveau du langage lui-même, le lecteur trouve des répétitions, des phrases interminables et une profusion d'adjectifs qualificatifs. Ishiguro m'a conditionné à avoir une réaction physique négative chaque fois qu'un de ses personnages dit quelque chose comme « Je vais être bref ». Les narrateurs sont tous employés, mais aucun n'est un conteur professionnel. Les informations sont diffusées lentement, de manière imprécise et dans un ordre chronologique aléatoire. Cela prive le lecteur de faits concrets qui facilitent la compréhension de l'intrigue.

Voici comment Pangram 3.0 caractérise les versions éditées par l'IA de ce paragraphe provenant de ChatGPT après avoir appliqué différentes invites :

Étude de cas Grammarly

Grammarly est un assistant de rédaction basé sur l'IA et accessible par abonnement qui permet aux utilisateurs de modifier directement du texte à l'aide de modèles de langage à grande échelle (LLM) dans leur traitement de texte natif. Nous avons collecté un ensemble de données dans lequel nous avons utilisé Grammarly pour appliquer 9 des invites d'édition par défaut à 197 textes rédigés par des humains. Ces invites comprenaient des instructions telles que « Simplifiez », « Rendez le texte plus fluide » et « Rendez-le plus descriptif ». Nous avons ensuite noté tous les textes modifiés à l'aide de Pangram 3.0. Dans la figure 4, nous présentons la répartition des notes d'assistance IA regroupées par suggestion de modification. Nous pouvons constater que, contrairement à ce que l'on pourrait penser, Pangram 3.0 considère que « Corriger les erreurs les plus mineures » est la modification la moins invasive, tandis que « Résumer » et « Rendre plus détaillé » sont considérées comme des modifications beaucoup plus invasives.

Figure 4 : Répartition des scores Pangram 3.0 (EditLens) sur un ensemble de données collectées à partir de Grammarly. Les scores sont regroupés en fonction des modifications qui leur ont été apportées. Toutes les modifications sont des options par défaut disponibles dans le traitement de texte de Grammarly.

Le score d'assistance IA augmente à mesure que vous appliquez davantage de modifications IA.

Nous avons mené une expérience dans laquelle nous avons appliqué 5 modifications LLM au même texte et avons réévalué le texte avec Pangram 3.0 après chaque modification. Dans la figure 5, nous pouvons voir que, de manière générale, le score d'assistance IA (EditLens) augmente à mesure que nous appliquons chaque modification progressive.

Figure 5 : Scores Pangram 3.0 après chacune des 5 modifications progressives apportées par l'IA au même document.

Étude de cas de la Conférence internationale sur les représentations d'apprentissage (ICLR)

En novembre, des chercheurs en IA ont fait part de leurs inquiétudes concernant la part importante de soumissions et d'évaluations par les pairs soupçonnées d'avoir été générées par l'IA lors de la Conférence internationale sur les représentations d'apprentissage (ICLR), l'une des plus importantes conférences dans le domaine de l'IA et de l'apprentissage automatique. Le professeur Graham Neubig de l'université Carnegie Mellon a offert une récompense à toute personne qui effectuerait une détection par IA des soumissions et des évaluations de l'ICLR de cette année, et chez Pangram, nous avons volontiers accepté.

Dans le cadre de cette analyse, nous avons exécuté Pangram 3.0 sur toutes les évaluations par les pairs qui avaient été soumises à l'ICLR au cours de ce cycle d'évaluation, ainsi que sur les évaluations soumises en 2022 afin de vérifier notre taux de faux positifs (FPR). Sur les évaluations de 2022, Pangram 3.0 a obtenu un FPR d'environ 1 sur 1 000 pour les évaluations « légèrement modifiées » par rapport aux évaluations « entièrement humaines », un FPR de 1 sur 5 000 pour les évaluations « modérément modifiées » par rapport aux évaluations « entièrement humaines » et un FPR de 1 sur 10 000 pour les évaluations « fortement modifiées » par rapport aux évaluations « entièrement humaines ». Nous n'avons constaté aucune confusion entre les textes entièrement générés par l'IA et les textes entièrement rédigés par des humains. Lors des évaluations de cette année, Pangram 3.0 a constaté que plus de la moitié des évaluations contenaient une forme d'assistance par IA. La figure 6 montre la répartition des scores de Pangram 3.0 sur l'ensemble des 2026 évaluations de l'ICLR.

Figure 6 : Répartition des prédictions de Pangram 3.0 sur 2026 évaluations ICLR

Pour en savoir plus sur notre méthodologie et nos résultats, consultez l'article de blog que nous avons rédigé sur notre analyse.

Comment Pangram 3.0 traite-t-il les textes rédigés à l'aide de l'IA par des locuteurs non natifs de l'anglais ?

Nous avons publié les résultats de notre analyse et les scores Pangram 3.0 pour toutes les critiques, ce qui a permis aux critiques de vérifier comment Pangram 3.0 avait noté les critiques qu'ils avaient rédigées. Nous avons ainsi pu recueillir des commentaires anecdotiques sur les performances de Pangram 3.0 sur des textes réels.

Un thème récurrent dans les réponses à notre analyse sur X était la question de savoir comment AI Assistance évalue les textes rédigés par des locuteurs non natifs de l'anglais qui utilisent ensuite des LLM pour traduire ou peaufiner leurs textes rédigés à la main. Ci-dessous, nous partageons quelques réponses des évaluateurs, qui étaient généralement d'accord avec la caractérisation de Pangram concernant leurs évaluations :

J'ai vérifié mes avis, qui ont été lissés en anglais par des modèles linguistiques à grande échelle (LLM), et je les ai tous signalés comme n'ayant pas été détectés par l'IA / entièrement rédigés par des humains.

— Ana Marasović (@anmarasovic) 15 novembre 2025

Je vérifie mes avis. Résultat : 2 avis modérés ont été modifiés par l'IA, 2 ont été fortement modifiés et 1 légèrement. Comme j'ai rédigé mon avis en chinois, gpt m'aide à le traduire en anglais. Ce résultat n'est pas surprenant. Mais je pense être un évaluateur responsable :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16 novembre 2025

Aujourd'hui, nous faisons davantage confiance à l'IA pour détecter les contenus générés par l'IA qu'aux contenus générés par l'IA eux-mêmes, haha.
Pour être clair, j'ai le plus grand respect pour les personnes qui ont déployé des efforts pour rendre cette analyse possible.

D'après ma propre expérience : j'ai soumis un article qui a reçu quatre évaluations... https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17 novembre 2025

Nous sommes ravis de vous présenter cette mise à jour du produit. Pour plus de détails techniques sur la détection de l'assistance IA de Pangram 3.0 (EditLens), consultez notre article de recherche ici : https://arxiv.org/abs/2510.03154