Quels sont les résultats de Pangram sur les outils d'humanisation ? (Mise à jour : août 2025)

Quels sont les résultats de Pangram sur les outils d'humanisation ? (Mise à jour : août 2025)

La détection de l'IA est souvent décrite comme une « course à l'armement » entre les grands modèles linguistiques, les détecteurs et les « humaniseurs », une catégorie d'outils en ligne destinés à brouiller les textes générés par l'IA et à y introduire des erreurs intentionnelles afin que le texte final semble avoir été rédigé par un humain.

Chez Pangram, nous nous efforçons toujours d'être à la pointe de l'innovation et de nous adapter aux dernières avancées technologiques, tant au niveau des nouveaux modèles que des humanisateurs. Cela nous permet de mettre au point des systèmes de détection par IA qui restent fiables.

En janvier 2025, nous avons publié une mise à jour de notre rapport technique dans lequel nous avons passé au crible 19 outils différents de « humanisation » et de paraphrase. Voici les principales conclusions :

• Pangram résiste bien aux outils d'humanisation et de paraphrase
• Certains humaniseurs ajoutent manuellement des erreurs d'espacement et de ponctuation et procèdent à un remplacement de synonymes au cas par cas.
• D'autres « humaniseurs » sont en réalité des modèles de langage de grande échelle (LLM) perfectionnés, formés pour reformuler le texte dans un style humain.
• Plus le texte généré par l'humaniseur est lisible et fluide, plus il a de chances d'être détecté par Pangram.
• En d'autres termes, les « bons » humanisateurs, en termes de fluidité, sont plus faciles à repérer, tandis que les « mauvais » humanisateurs ont moins de chances d'être repérés.

Cependant, le secteur des solutions d'humanisation évolue rapidement ; c'est pourquoi nous avons souhaité publier des chiffres actualisés concernant notre dernier benchmark en la matière.

Résultats actualisés de l'humaniseur de Pangram

Pangram affiche un taux de réussite supérieur à 90 % sur tous les humaniseurs notables que nous avons testés.

Comment Pangram se positionne-t-il par rapport aux autres détecteurs d'IA lorsqu'il s'agit de textes générés par l'IA mais qui semblent humains ?

Dans l'étude de Russell et al., Pangram est comparé à GPTZero et à plusieurs méthodes open source sur des textes humanisés. Le meilleur modèle de Pangram affiche une précision de 97 % sur les textes humanisés, contre 46 % pour GPTZero, 23 % pour FastDetectGPT et 7 % pour Binoculars.

Performances de Pangram sur des textes humanisés par rapport à d'autres détecteurs

Une étude très récente menée par Jabarian et Imas a révélé que Pangram est le seul détecteur, parmi quatre détecteurs disponibles dans le commerce, dont les performances résistent aux outils d'humanisation :

Pour les passages plus longs, Pangram détecte près de 100 % des textes générés par l'IA. Le taux de faux négatifs (FNR) augmente légèrement à mesure que les passages raccourcissent, mais reste néanmoins faible. Les autres détecteurs sont moins résistants aux outils d'humanisation. Le FNR d'Originality.AI augmente jusqu'à environ 0,05 pour les textes plus longs, mais peut atteindre jusqu'à 0,21 pour les textes plus courts, selon le genre et le modèle LLM. GPTZero perd en grande partie sa capacité à détecter les textes générés par l'IA, avec des scores FNR d'environ 0,50 et plus pour la plupart des genres et des modèles LLM. RoBERTa affiche des résultats tout aussi médiocres, avec des scores FNR élevés dans l'ensemble.

Comment savoir si un texte a été réécrit par un humain ?

Il existe plusieurs façons de reconnaître à l'œil nu qu'un texte a été traité par un logiciel d'humanisation.

Expressions galvaudées

L'un des moyens les plus simples de repérer un logiciel de reformulation consiste à rechercher des « phrases bancales », c'est-à-dire des remplacements de synonymes mal placés destinés à masquer le plagiat. Les outils de reformulation, tels que Grammarly et Quillbot, utilisaient déjà ces algorithmes de remplacement de synonymes bien avant l'avènement de l'IA pour dissimuler le plagiat.

Parmi les exemples de tournures maladroites, on peut citer « conscience contrefaite » au lieu de « intelligence artificielle », ou « danger au sein » au lieu de « cancer du sein ». L'année dernière, nous avons entendu parler d'un cas amusant où « Martin Luther Ruler, Jr. » était apparu dans la dissertation d'un élève à la place de « Martin Luther King, Jr. ».

Il faut se méfier de l'utilisation des tournures maladroites comme seul critère permettant de repérer un texte généré par une IA « humanisée », car ces tournures apparaissent aussi fréquemment dans les textes rédigés en anglais par des locuteurs non natifs, lorsque ceux-ci utilisent à mauvais escient ou interprètent de manière erronée le sens littéral ou l'usage courant de certains mots.

Erreurs d'espacement anormales

Les utilisateurs de techniques d'humanisation tentent souvent de tromper le module de segmentation des détecteurs d'IA en ajoutant ou en supprimant des espaces. La suppression d'espaces entre les phrases est particulièrement courante.

Expressions récurrentes

Les textes générés par l'IA humanisée contiennent toujours les mêmes expressions répétitives que ceux générés par l'IA non humanisée. Le fait qu'une même expression maladroite apparaisse deux fois dans un même document est particulièrement révélateur de l'intervention d'un outil d'humanisation, car cela prouve que cet outil applique systématiquement les mêmes remplacements de synonymes.

Caractères non standard

Les outils d'humanisation ont également tendance à utiliser des caractères Unicode non standard afin de tromper les analyseurs syntaxiques des détecteurs d'IA. On peut citer comme exemple un outil d'humanisation très répandu qui utilise « U+2009 », le caractère Unicode correspondant à un « espace fin », à la place d'un espace normal. Nous vous recommandons ce site web https://www.soscisurvey.de/tools/view-chars.php qui vous permet de voir tous les caractères non imprimables pouvant être cachés dans des chaînes copiées-collées.

Exemple de caractères non imprimables dans un texte humanisé

Outils d'aide à la rédaction

Grâce à la nouvelle fonctionnalité « Writing Playback » de Pangram dans Google Docs, vous pouvez également vérifier si une partie importante du texte d'un document Google Docs a été copiée-collée plutôt que saisie manuellement. Vous trouverez ici une explication plus détaillée de la détection par IA dans Google Docs.

Exemple de lecture de texte illustrant le copier-coller

Pourquoi Pangram n'est-il pas précis à 100 % lorsqu'il s'agit de textes générés par une IA « humanisée » ?

Il existe plusieurs raisons pour lesquelles Pangram n'est pas un détecteur parfait pour les textes générés par l'IA à caractère humain.

1. Pangram ne souhaite pas faire de compromis sur son taux de faux positifs. Plusieurs de nos modèles internes sont capables de détecter les générateurs de texte humain avec une précision quasi parfaite, mais présentent des taux de faux positifs plus élevés. Nous ne déployons pas ces modèles, car il est plus important pour nous que les textes véritablement rédigés par des humains ne soient jamais signalés comme provenant d'une IA que de détecter tous les résultats générés par ces outils.

2. Un texte « indésirable » de très mauvaise qualité est facilement repérable à l'œil nu. Dans la plupart des cas où Pangram ne détecte pas un texte humanisé, celui-ci est tellement déformé et obscurci qu'il ressemble à peine à de l'anglais. Ces cas sont faciles à repérer à l'œil nu, mais difficiles à détecter par des moyens algorithmiques, car il existe une infinité de façons de produire du charabia. Nous préférons exclure le charabia plutôt que d'essayer de le détecter, car il n'est même pas envisageable d'essayer de distinguer le charabia humain du charabia généré par un humaniseur.

Puis-je m'attendre à ce que Pangram améliore les performances de son module « humanizer » au fil du temps ?

Oui, la détection des générateurs de texte est un domaine de recherche actif chez Pangram, et nous espérons continuer à caractériser les propriétés de ces outils ainsi qu'à diffuser nos travaux sur la détection des textes qu'ils produisent. Pour que Pangram soit considéré comme un outil fiable en matière d'intégrité académique, nous devons être en mesure de détecter les textes générés par ces outils de tricherie, tout comme ceux qui sont directement copiés-collés à partir de grands modèles linguistiques.

Essayez le détecteur d'IA de Pangram pour comparer vos propres documents aux résultats générés par Humanizer.