Quelle est la performance de Pangram sur les humanisateurs ? (Mise à jour en août 2025)

Quelle est la performance de Pangram sur les humanisateurs ? (Mise à jour en août 2025)

La détection de l'IA est souvent décrite comme une « course à l'armement » entre les grands modèles linguistiques, les détecteurs et les « humanisateurs », une catégorie d'outils en ligne destinés à brouiller les textes générés par l'IA et à y introduire des erreurs intentionnelles afin que le texte final semble avoir été rédigé par un humain.

Chez Pangram, nous nous efforçons toujours d'être à la pointe de la technologie et de réagir aux dernières avancées technologiques, tant en matière de nouveaux modèles que d'humanisateurs. Cela nous permet de créer une détection IA qui reste fiable.

En janvier 2025, nous avons publié une mise à jour de notre rapport technique dans lequel nous avons évalué 19 outils différents d'humanisation et de paraphrase. Les principales conclusions étaient les suivantes :

• Pangram est robuste face aux humanisateurs et aux paraphraseurs.
• Certains humanisateurs ajoutent manuellement des erreurs d'espacement et de ponctuation et effectuent un remplacement synonymique un à un.
• Les autres humanisateurs sont eux-mêmes des LLM affinés qui sont entraînés à paraphraser le texte dans un style humain.
• Plus le texte humanisé est lisible/fluide, plus il a de chances d'être détecté par Pangram.
• En d'autres termes, les « bons » humanisateurs en termes de fluidité sont plus faciles à détecter, tandis que les « mauvais » humanisateurs sont moins susceptibles d'être détectés.

Cependant, le paysage des humaniseurs évolue rapidement, et nous avons donc souhaité publier des chiffres actualisés sur notre dernier benchmark des humaniseurs.

Résultats actualisés de l'humaniseur de Pangram

Pangram obtient un score supérieur à 90 % sur tous les humaniseurs notables que nous avons testés.

Comment Pangram se compare-t-il aux autres détecteurs d'IA sur les textes générés par l'IA humanisée ?

Dans Russell et al., Pangram est comparé à GPTZero et à plusieurs méthodes open source sur des textes humanisés. Le meilleur modèle de Pangram affiche une précision de 97 % sur les textes humanisés, contre 46 % pour GPTZero, 23 % pour FastDetectGPT et 7 % pour Binoculars.

Performance de Pangram sur les textes humanisés par rapport à d'autres détecteurs

Une étude très récente menée par Jabarian et Imas a révélé que Pangram est le seul détecteur parmi quatre détecteurs commerciaux dont les performances sont robustes face aux humaniseurs :

Pour les passages plus longs, Pangram détecte près de 100 % des textes générés par l'IA. Le FNR augmente légèrement à mesure que les passages raccourcissent, mais reste néanmoins faible. Les autres détecteurs sont moins efficaces contre les humaniseurs. Le FNR pour Originality.AI augmente à environ 0,05 pour les textes plus longs, mais peut atteindre jusqu'à 0,21 pour les textes plus courts, selon le genre et le modèle LLM. GPTZero perd en grande partie sa capacité à détecter les textes générés par l'IA, avec des scores FNR d'environ 0,50 et plus pour la plupart des genres et des modèles LLM. RoBERTa obtient des résultats tout aussi médiocres, avec des scores FNR élevés dans tous les domaines.

Comment savoir si un texte a été humanisé ?

Il existe plusieurs façons de déterminer à l'œil nu qu'un texte a été traité par un humaniseur.

Phrases torturées

L'un des moyens les plus simples de repérer un humaniseur consiste à rechercher des « phrases torturées », c'est-à-dire des remplacements de synonymes inappropriés destinés à dissimuler le plagiat. Les outils de reformulation de texte, tels que Grammarly et Quillbot, utilisaient déjà ces algorithmes de remplacement de synonymes avant même l'apparition de l'IA pour dissimuler le plagiat.

Parmi les exemples de phrases torturées, on peut citer « conscience contrefaite » au lieu de « intelligence artificielle », ou « péril mammaire » au lieu de « cancer du sein ». L'année dernière, nous avons entendu parler d'un cas amusant où « Martin Luther Ruler, Jr. » apparaissait dans la rédaction d'un élève à la place de « Martin Luther King, Jr. ».

Il est important de faire attention à ne pas utiliser les phrases alambiquées comme seul moyen de repérer un texte rédigé par une IA humanisée, car celles-ci apparaissent également fréquemment dans les textes rédigés en anglais par des locuteurs non natifs qui utilisent ou interprètent mal le sens direct ou l'usage typique de certains mots.

Erreurs d'espacement non naturelles

Les humanisateurs tentent souvent de tromper le tokeniseur des détecteurs d'IA en ajoutant ou en supprimant des espaces. La suppression d'espaces entre les phrases est particulièrement courante.

Phrases répétitives

Le texte généré par une IA humanisée présente toujours les mêmes phrases répétitives que celui généré par une IA non humanisée. Le fait qu'une même phrase alambiquée apparaisse deux fois dans le même document est particulièrement révélateur de l'origine humaine du texte, car cela prouve que l'humaniseur applique systématiquement les mêmes remplacements de synonymes.

Caractères non standard

Les humaniseurs utilisent également généralement des caractères Unicode non standard afin de tromper les tokeniseurs des détecteurs d'IA. Un exemple de cela est un humaniseur populaire qui utilise « U+2009 », qui est le caractère Unicode pour « espace fin » au lieu d'un espace normal. Nous vous recommandons le site web https://www.soscisurvey.de/tools/view-chars.php, qui vous permet de voir tous les caractères non imprimables qui peuvent être cachés dans des chaînes copiées et collées.

Exemple de caractères non imprimables dans un texte humanisé

Outils pour le processus d'écriture

Grâce à la nouvelle fonctionnalité Writing Playback de Pangram dans Google Docs, vous pouvez également vérifier si une partie importante du texte d'un document Google a été copiée-collée plutôt que saisie manuellement. Vous trouverez ici une explication plus détaillée de la détection par IA dans Google Docs.

Exemple de lecture d'écriture montrant le copier-coller

Pourquoi Pangram n'est-il pas précis à 100 % sur les textes générés par une IA humanisée ?

Il existe plusieurs raisons pour lesquelles Pangram n'est pas un détecteur parfait pour les textes générés par une IA humanisée.

1. Pangram n'est pas disposé à faire des compromis sur son taux de faux positifs. Plusieurs de nos modèles internes sont capables de détecter les humaniseurs avec une précision quasi parfaite, mais présentent des taux de faux positifs plus élevés. Nous ne commercialisons pas ces modèles, car il est plus important pour nous que les textes rédigés par des humains ne soient jamais signalés comme étant générés par une IA que de détecter tous les résultats des humaniseurs.

2. Les textes « indésirables » de très mauvaise qualité sont facilement détectables à l'œil nu. Dans la plupart des cas où Pangram ne détecte pas les résultats humanisés, le texte est tellement déformé et obscurci qu'il ne ressemble presque plus à de l'anglais. Ces cas sont faciles à repérer à l'œil nu, mais difficiles à détecter par des algorithmes, car il existe une infinité de façons de produire du charabia. Nous préférons exclure le charabia plutôt que d'essayer de le détecter, car il n'est même pas facile de distinguer le charabia humain du charabia généré par un humaniseur.

Puis-je m'attendre à ce que Pangram améliore ses performances d'humanisation au fil du temps ?

Oui, la détection des humaniseurs est un domaine de recherche actif pour Pangram et nous espérons continuer à caractériser les propriétés de ces humaniseurs et à publier nos recherches sur la détection des résultats des humaniseurs. Si Pangram doit être considéré comme un outil fiable en matière d'intégrité académique, nous devons être en mesure de détecter les textes produits par ces outils de triche ainsi que les textes directement copiés et collés à partir de grands modèles linguistiques.

Essayez le détecteur d'IA de Pangram pour comparer vos propres documents aux résultats générés par Humanizer.