Évaluations de pangrammes par des tiers

Nous estimons qu'il est important que les institutions puissent compter sur la grande précision de Pangram ; c'est pourquoi nous encourageons la vérification par des tiers de nos indicateurs de qualité (faux positifs et faux négatifs). Nous présentons ci-dessous les évaluations de Pangram réalisées par des chercheurs de l'Université de Chicago (UChicago) et de l'Université du Maryland (UMD), ainsi que par des experts indépendants.

Point clé : les tests internes de Pangram résistent à l'examen minutieux de tiers.

Fiabilité et précision du pangramme (Université de Chicago)

Expérience

Au Becker Friedman Institute for Economics de l’Université de Chicago, des chercheurs ont comparé quatre détecteurs d’IA : Pangram, GPTZero, Originality AI et RoBERTa (un détecteur d’IA open source). L’étude a utilisé chaque détecteur pour analyser 1 992 textes rédigés par des humains avant 2020 et 1 992 textes générés par l’IA, couvrant différents genres et nombres de mots. Ils ont examiné deux types d'erreurs dans la détection de l'IA : les taux de faux positifs et les taux de faux négatifs. Ces taux ont été comparés pour plusieurs seuils. Les détecteurs ont également classé des textes générés par l'IA à partir de modèles de langage (LLM) populaires tels que ChatGPT, Claude et Gemini. Les chercheurs ont défini plusieurs plafonds de taux de faux positifs (FPR) pour les différents détecteurs afin de noter les variations du taux de faux négatifs (FNR).

Résultats

Extrait de l'étude intitulée « Écriture artificielle et détection automatisée », rédigée par Brian Jabarian et Alex Imas en août 2025 :

Pangram surpasse les autres détecteurs à tous les seuils.

Pangram est le seul détecteur qui respecte un seuil strict (FPR ≤ 0,005) sans pour autant compromettre sa capacité à détecter avec précision les textes générés par l'IA.

Pangram reste le leader en matière de prix compétitifs dans tous les genres. En moyenne, il coûte 0,0228 $ par passage détecté correctement par l'IA, contre 0,0416 $ pour OriginalityAI et 0,0575 $ pour GPTZero, ce qui fait de Pangram le détecteur le plus économique, tant pour les passages complets que pour les ébauches.

L'étude a montré que :

Pangram affiche des taux de faux positifs et de faux négatifs pratiquement nuls sur des passages de longueur moyenne à longue.

La grande précision de Pangram a été saluée dans divers types de textes, tels que les blogs, les critiques, les CV, les actualités et les romans. Dans les textes courts, les taux de faux positifs et de faux négatifs augmentent légèrement, « mais restent bien en deçà des seuils raisonnables fixés par les directives ».

Les chercheurs de l'Université de Chicago ont souligné les performances supérieures de Pangram par rapport aux autres détecteurs d'IA disponibles. Avec un seuil de FPR fixé à 0,0001, « ni GPTzero ni Originality.AI ne donnent de très bons résultats avec ce seuil de FPR extrêmement strict... Pangram parvient néanmoins à atteindre un taux de FNR d'environ 0,01 sur la plupart des modèles LLM. »

Pangram ne fournit plus de prévisions pour les textes de moins de 50 mots, mais comme le souligne l'étude,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

La prestation de Pangram face aux Humanizers (Université du Maryland)

Expérience

Dans l'expérience 1 de cette étude de l'UMD, on a fait appel à des annotateurs possédant différents niveaux de connaissance des modèles de langage à grande échelle (LLM) pour déterminer si un texte avait été généré par une IA ou non. Après avoir constaté qu'un annotateur était presque parfait dans l'identification des textes générés par l'IA, quatre annotateurs experts supplémentaires ayant des antécédents similaires en matière d'utilisation des LLM ont été sollicités pour classer le même échantillon de 60 textes. Les résultats des votes des experts ont été comparés à ceux de détecteurs commerciaux tels que Pangram, Pangram Humanizer et GPTZero, ainsi qu'à ceux d'outils open source comme Fast-DetectGPT. Au cours de ce processus, Pangram a été comparé à d'autres détecteurs.

Les performances constantes de Pangram face à des textes paraphrasés et humanisés

Résultats

Pangram est capable de détecter avec précision les textes générés par l'IA et « humanisés ». Cette affirmation est corroborée par des informaticiens de l'UMD, qui ont constaté que Pangram obtenait les meilleurs résultats globaux en matière de détection des textes « humanisés » et paraphrasés, surpassant les autres logiciels de détection de l'IA avec une précision de 99,3 %.

Découvrez comment Pangram se mesure aux outils d'humanisation

Évaluations des pangrammes en dehors des instituts de recherche

Amanda Caswell, de Tom’s Guide, a déclaré dans un article qu’après avoir testé des dizaines d’outils de détection de l’IA, Pangram « s’est révélé plus performant que tous ceux que j’ai essayés ». Il a également été démontré que Pangram s’efforce activement de réduire le nombre déjà faible de faux positifs.

David Gewirtz, de ZDNET, décrit Pangram comme « un nouveau venu dans nos tests qui s'est immédiatement hissé parmi les meilleurs ».

L'utilisation croissante de l'IA dans les articles de recherche suscite des inquiétudes quant à la possibilité qu'elle soit un indicateur de mauvaise conduite. Dans son article publié sur Medium, Adam Day a utilisé l'outil de détection de l'IA de Pangram pour obtenir des résultats fiables sur la prévalence du contenu généré par l'IA, tout en concluant qu'il existe des cas d'utilisation légitimes de l'IA générative dans la recherche. Day recommande d'utiliser Pangram pour mener des recherches, affirmant : « Si quelqu'un souhaite mener une enquête sur l'utilisation de l'IA générative dans la littérature publiée, je pense que les outils de Pangram offrent une excellente opportunité de le faire. »

Utilisation des résultats de Pangram dans des travaux de recherche reconnus (Université du Maryland)

Des chercheurs de l'UMD (en collaboration avec Microsoft et Pangram) ont utilisé les résultats de la détection par IA de Pangram dans une étude récente afin d'analyser la présence de textes générés par l'IA dans l'actualité, à partir d'un échantillon de 186 000 articles de journaux. Bien qu'un faible pourcentage d'articles se soit avéré généré par l'IA, l'utilisation de cette technologie n'était pas mentionnée. Pangram a été utilisé pour identifier « 219 articles contenant du contenu généré par l'IA dans les pages d'opinion du New York Times, du Wall Street Journal et du Washington Post ».

L'étude a permis de mettre en évidence certaines nuances dans l'utilisation de l'IA, telles que :

Les journalistes qui rédigent eux-mêmes leurs articles ne savent peut-être pas que les personnes qu'ils citent ont utilisé l'IA pour rédiger leur réponse.

L'IA dans l'actualité grâce à la détection des pangrammes

Conclusion

Chez Pangram, nous sommes convaincus que la transparence est essentielle à la confiance. Nous serions ravis de collaborer avec vous pour apporter la transparence en matière d'IA au sein de votre organisation.