Évaluations Pangram par des tiers

Nous pensons qu'il est important que les institutions puissent compter sur la grande précision de Pangram. C'est pourquoi nous encourageons la vérification par des tiers de nos indicateurs de qualité (faux positifs et faux négatifs). Ci-dessous, nous mettons en avant les évaluations de Pangram réalisées par des chercheurs de l'université de Chicago (UChicago) et de l'université du Maryland (UMD), ainsi que par des évaluateurs commerciaux.

Point clé à retenir : les tests internes de Pangram résistent à l'examen minutieux de tiers.

Fiabilité et précision de Pangram (Université de Chicago)

Expérience

Au Becker Friedman Institute for Economics de l'université de Chicago, des chercheurs ont comparé quatre détecteurs d'IA : Pangram, GPTZero, Originality AI et RoBERTa (un détecteur d'IA open source). L'étude a utilisé chaque détecteur pour analyser 1 992 textes humains écrits avant 2020 et 1 992 textes générés par l'IA, dans différents genres et avec différents nombres de mots. Ils ont examiné deux types d'erreurs dans la détection de l'IA : les taux de faux positifs et les taux de faux négatifs. Ces taux ont été comparés pour plusieurs seuils. Les détecteurs ont également classé les textes générés par l'IA à partir de LLM populaires tels que ChatGPT, Claude et Gemini. Les chercheurs ont créé plusieurs plafonds de politique FPR parmi les détecteurs afin de noter les changements dans le FNR.

Résultats

Extrait de l'étude intitulée « Écriture artificielle et détection automatisée » réalisée par Brian Jabarian et Alex Imas en août 2025 :

Pangram domine les autres détecteurs pour tous les seuils.

Pangram est le seul détecteur qui respecte une limite stricte (FPR ≤ 0,005) sans compromettre sa capacité à détecter avec précision les textes générés par l'IA.

Pangram reste le leader en matière de faible coût dans tous les genres et en moyenne : 0,0228 $ par passage correctement signalé par l'IA, contre 0,0416 $ pour OriginalityAI et 0,0575 $ pour GPTZero, ce qui fait de Pangram le détecteur le plus rentable pour les passages complets et les extraits.

L'étude a montré que :

Pangram atteint des taux de faux positifs et de faux négatifs pratiquement nuls sur des passages de longueur moyenne à longue.

La grande précision de Pangram a été saluée dans différents types de textes, tels que les blogs, les critiques, les CV, les actualités et les romans. Dans les textes plus courts, les taux de faux positifs et de faux négatifs augmentent légèrement, « mais restent bien en dessous des seuils raisonnables ».

Les chercheurs de l'université de Chicago ont souligné les performances supérieures de Pangram par rapport aux autres détecteurs d'IA disponibles. Avec un plafond FPR de 0,0001, « ni GPTzero ni Originality.AI ne donnent de très bons résultats dans le cadre de la politique FPR la plus stricte... Pangram atteint toujours un taux FNR d'environ 0,01 sur la plupart des modèles LLM ».

Pangram ne fait plus de prédictions pour les textes de moins de 50 mots, mais comme le souligne l'étude,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Performance de Pangram face aux Humanizers (Université du Maryland)

Expérience

Dans l'expérience 1 de cette étude de l'UMD, des annotateurs ayant différents niveaux de connaissances sur les LLM ont été utilisés pour prédire si un texte était généré par l'IA ou non. Après avoir constaté qu'un annotateur était presque parfait dans l'identification des textes générés par l'IA, quatre autres annotateurs experts ayant une expérience similaire dans l'utilisation des LLM ont été utilisés pour classer le même échantillon de 60 textes. Les résultats des votes des experts ont été comparés à ceux de détecteurs commerciaux tels que Pangram, Pangram Humanizer et GPTZero, ainsi qu'à ceux d'outils open source tels que Fast-DetectGPT. Au cours de ce processus, Pangram a été comparé à d'autres détecteurs.

Performance de Pangram par rapport à un texte paraphrasé et humanisé

Résultats

Pangram est capable de détecter avec précision les textes générés par l'IA et humanisés. Cela est corroboré par les informaticiens de l'UMD qui ont noté que Pangram obtenait les meilleurs résultats globaux en matière de détection des humanisateurs et des textes paraphrasés, surpassant les autres logiciels de détection de l'IA avec une précision de 99,3 %.

Découvrez comment Pangram se démarque des humanisateurs.

Évaluations Pangram en dehors des instituts de recherche

Amanda Caswell, de Tom's Guide, a déclaré dans un article qu'après avoir essayé des dizaines d'outils de détection de l'IA, Pangram « surpassait tous ceux que j'avais testés ». Pangram s'est également montré très efficace dans la réduction du nombre déjà faible de faux positifs.

David Gewirtz, de ZDNET, décrit Pangram comme « un nouveau venu dans nos tests qui s'est immédiatement hissé parmi les gagnants ».

L'utilisation croissante de l'IA dans les articles de recherche suscite des inquiétudes quant à un éventuel comportement répréhensible. Dans son article publié sur Medium, Adam Day a utilisé l'outil de détection d'IA de Pangram pour obtenir des résultats fiables sur la prévalence du contenu généré par l'IA, tout en concluant qu'il existe des cas d'utilisation légitime de l'IA générative dans la recherche. Adam Day recommande d'utiliser Pangram pour mener des recherches, affirmant que « si quelqu'un souhaite mener une enquête sur l'utilisation de l'IA générative dans la littérature publiée, je pense que les outils de Pangram constituent un excellent moyen d'y parvenir ».

Utilisation des résultats de Pangram dans des recherches réputées (Université du Maryland)

Les chercheurs de l'UMD (en collaboration avec Microsoft et Pangram) ont utilisé les résultats de la détection IA de Pangram dans une étude récente pour analyser la présence de textes générés par IA dans les actualités à partir d'un échantillon de 186 000 articles de journaux. Bien qu'un faible pourcentage d'actualités se soit avéré être généré par IA, l'utilisation de l'IA n'a pas été divulguée. Pangram a été utilisé pour identifier « 219 articles contenant du contenu généré par l'IA dans les pages d'opinion du New York Times, du Wall Street Journal et du Washington Post ».

L'étude a permis de mettre en évidence certaines nuances dans l'utilisation de l'IA, telles que :

Les journalistes qui rédigent leurs propres articles ne savent peut-être pas que les personnes qu'ils citent dans leurs articles ont utilisé l'IA pour créer leur réponse.

L'IA dans l'actualité grâce à la détection des pangrammes

Conclusion

Chez Pangram, nous pensons que la transparence est essentielle à la confiance. Nous serions ravis de collaborer avec vous pour apporter la transparence de l'IA à votre organisation.