Pangram est-il fiable ?

La précision permet d'évaluer dans quelle mesure Pangram parvient à classer correctement un texte comme étant généré par l'IA, rédigé avec l'aide de l'IA ou rédigé par un humain. La précision est définie par deux types d'erreurs distincts, qui sont mesurés séparément :

1. Taux de faux négatifs : fréquence à laquelle Pangram ne détecte pas un document rédigé ou co-rédigé par une IA, en le classant à tort comme rédigé par un humain
2. Taux de faux positifs : fréquence à laquelle Pangram classe à tort un document rédigé par un humain comme étant généré par l'IA ou assisté par l'IA

Pangram est un outil qui effectue des prévisions statistiques. Nous avons délibérément configuré Pangram de manière à ce qu’il ait davantage tendance à générer des faux négatifs plutôt que des faux positifs ; nous avons fait ce choix car, si un faux négatif occasionnel peut être gênant, un faux positif peut causer un préjudice réel.

Si vous constatez un faux positif ou un faux négatif, vous pouvez le signaler via notre formulaire de retour d'expérience. Les signalements des utilisateurs sont utilisés uniquement à des fins d'examen manuel et de diagnostic — nous n'utilisons jamais les données des utilisateurs pour l'entraînement ou l'évaluation comparative de nos systèmes.

Comment mesure-t-on la précision de Pangram ?

Pour évaluer la précision de Pangram, celui-ci est testé sur de vastes ensembles de données composés de documents dont chaque élément a un auteur connu, qu'il s'agisse d'un humain, d'une IA ou d'une combinaison des deux. Afin de garantir la fiabilité des résultats des tests comparatifs, nous n'entraînons jamais les modèles sur nos ensembles de référence, et nous n'effectuons pas non plus de tests comparatifs sur des textes dont la vérité de référence est incertaine.

La précision de Pangram est testée à la fois en interne, par nos soins, et par des chercheurs indépendants. Nous sommes toujours à la recherche de nouveaux évaluateurs indépendants : si vous êtes chercheur et que vous souhaitez nous mettre à l'épreuve, nous vous proposons des crédits gratuits ! N'hésitez pas à nous contacter pour obtenir des informations sur les crédits API.

Ensembles de référence

Nous testons Pangram sur de nombreux types de données différents, notamment des contenus rédigés par des humains, générés par l'IA, créés avec l'aide de l'IA et mixtes (humains et IA).

Nos données de référence, rédigées par des humains, sont constituées de textes sous licence commerciale et de textes propriétaires couvrant un large éventail de genres et de domaines. Nous n'utilisons jamais de données issues de textes soumis par les utilisateurs ni de contenus piratés pour nos tests de performance.

Nous souhaitons que nos ensembles de référence générés par l'IA reflètent une variété aussi large que possible d'applications réelles de la rédaction par IA. C'est pourquoi notre benchmark principal, généré par l'IA, est alimenté par un ensemble de demandes de rédaction ouvertes issues du jeu de données LMSYS-Chat-1M, qui regroupe des conversations anonymisées issues de modèles de langage à grande échelle (LLM).

Nous effectuons également des tests de performance sur plusieurs ensembles de données accessibles au public et compilés par des chercheurs externes ; pour plus d'informations, consultez les résultats des tests de performance réalisés par des tiers sur la fiche technique du modèle Pangram 4.

Les performances du pangram dans différents types d'écrits

Le taux de faux positifs cible de Pangram est de 0,01 %, soit 1 sur 10 000. Dans nos tests comparatifs internes, Pangram 4 fait légèrement mieux que cela, avec environ 41 faux positifs pour 1 000 000 de documents, ce qui correspond à un taux de faux positifs observé de 0,0041 %. Notre taux de faux négatifs global, mesuré sur près de 520 000 documents générés par IA, s'élevait à 0,3396 %.

Tous nos tests de performance s'appuient sur une définition stricte des faux positifs et des faux négatifs : tout segment rédigé par un humain et signalé comme étant généré par l'IA ou assisté par l'IA — même s'il ne représente qu'une infime partie du texte total — est considéré comme un faux positif. De même, dans le cas des documents générés par l'IA, tout segment, aussi infime soit-il, signalé comme étant rédigé par un humain ou assisté par l'IA est considéré comme un faux négatif pour l'ensemble du document.

Afin de garantir la fiabilité de nos tests de performance, nous évaluons les performances de Pangram sur un large éventail de textes rédigés par des humains et générés par l'IA. Vous trouverez ci-dessous des informations sur les performances de Pangram dans différents domaines et genres, avec différents modèles d'IA et différents types de textes.

Domaine et genre

Le style, la technique et la structure varient selon les différents types d'écrits, tels que les essais, la fiction ou le journalisme, et une analyse comparative à haut niveau peut masquer les taux d'erreur propres à certains domaines. C'est pourquoi nous décomposons nos analyses comparatives en sous-ensembles spécifiques à chaque domaine et examinons à la fois les taux de faux positifs et de faux négatifs sur ces segments.

Taux de faux positifs par domaine

Nous testons divers extraits rédigés par des humains afin de vérifier si certains d'entre eux présentent un taux de faux positifs disproportionné. Dans l'ensemble, nos performances sur nos principaux cas d'utilisation sont plutôt bonnes, notamment en matière d'écriture créative, universitaire et scientifique.

Dans cette analyse par domaine, les avis sur Amazon, les actualités et les guides pratiques contiennent tous des données multilingues.

La poésie présentait le taux de faux positifs le plus élevé parmi tous les domaines : les poèmes sont plus difficiles à classer car ils sont généralement courts et très structurés. Bien que ce taux de faux positifs reste relativement faible, nous recommandons d'accorder une attention particulière à ce type d'écrits.

Taux de faux négatifs par domaine

Pangram 4 a été évalué quant à sa capacité à détecter un large éventail de textes générés par l'IA, notamment des textes universitaires tels que des dissertations, des articles de recherche et des articles scientifiques, ainsi que des textes créatifs et des œuvres de fiction.

Il a également été testé sur un échantillon aléatoire de réponses générées par l'IA à des requêtes d'utilisateurs anonymisées, issues de requêtes réelles destinées à des modèles de langage à grande échelle (LLM) provenant de l'ensemble de données LMSYS-Chat-1M. Ces requêtes portaient notamment sur la rédaction scientifique et technique, la création littéraire et la rédaction commerciale.

Des modèles d'IA différents et innovants

Tous les modèles d'IA n'écrivent pas de la même manière. Lors de la sortie de Pangram 4, nous avons utilisé le jeu de données LMSYS-Chat-1M pour générer 20 000 exemples à partir de 26 modèles linguistiques courants, soit un total de 520 000 échantillons. Vous trouverez ci-dessous le taux de faux négatifs pour 15 de ces modèles ; vous pouvez consulter le tableau complet sur la fiche du modèle Pangram 4.

Les modèles d'IA ne sont pas non plus statiques. De nouveaux modèles d'IA sont lancés en permanence, et les entreprises spécialisées dans l'IA accordent une attention particulière au style rédactionnel et à la qualité de leurs nouvelles versions ; il est donc raisonnable de s'attendre à ce que le style et la « voix » de ces modèles continuent d'évoluer. Pour rester à jour, nous effectuons un test de performance à petite échelle sur chaque nouveau modèle dès sa sortie et publions les résultats sur notre blog entre deux versions de notre propre modèle.

Pangram continue d'afficher de bonnes performances, même sur des modèles inconnus, car les nouveaux modèles héritent en grande partie du style d'écriture de leurs prédécesseurs. Vous pouvez consulter notre dernier article sur les tests de performance des modèles, intitulé « Pangram peut-il détecter Claude Sonnet 5.5 ? », ici, et découvrir comment Pangram parvient à obtenir un faible taux de faux négatifs sur des modèles inconnus ici.

Paternité mixte

Le texte n'est pas binaire : tous les documents ne sont pas soit entièrement générés par l'IA, soit entièrement rédigés par un humain. Souvent, l'IA et la rédaction humaine s'entremêlent au cours d'un processus itératif de révision, de peaufinage et d'autres allers-retours. Idéalement, Pangram devrait être capable de faire la distinction entre un document collaboratif et un document généré avec un minimum d'intervention humaine, et de refléter cette différence dans ses résultats de détection.

La mention attribuée dépendra du degré d'intervention de l'IA dans la production du document. Par exemple, les interventions légères de l'IA, telles que la relecture ou la révision stylistique, devraient généralement conserver la mention « entièrement rédigé par un humain », tandis que les réécritures plus importantes, comme les suggestions de modifications de formulation visant à améliorer la clarté, devraient généralement recevoir la mention « assisté par l'IA ». En revanche, les réécritures importantes réalisées par l'IA pourraient être étiquetées comme « générées par l'IA ».

La classification devrait également dépendre de la manière dont l'IA et l'écriture humaine sont combinées. Par exemple, échanger plusieurs fois avec une IA pour réécrire un paragraphe serait classé comme « assisté », tandis que demander à une IA de développer une affirmation rédigée par un humain en un paragraphe plus long, accompagné d'éléments justificatifs, serait classé comme « contenu mixte généré par l'IA et par l'humain », reflétant ainsi les auteurs distincts des différentes sections.

Afin de prendre en compte toutes ces différentes façons d'utiliser l'IA pour écrire, nous évaluons Pangram sur des ensembles de données présentant des niveaux d'intervention de l'IA variables.

Pangram donne de bons résultats avec les textes générés et révisés par l'IA. Par mesure de prudence, Pangram privilégie les textes rédigés par des humains lorsqu'il rencontre des textes mixtes.

Divers auteurs

Nous avons évalué Pangram afin de détecter d'éventuels biais à l'encontre des auteurs issus de milieux divers. Sur un ensemble de données comprenant 25 996 dissertations rédigées par des élèves présentant des situations différentes en matière de handicap, de genre, de niveau scolaire, d'origine ethnique, d'apprentissage de l'anglais et de situation économique, Pangram n'a donné aucun faux positif. Consultez la ventilation complète des résultats concernant les dissertations d'élèves issus de milieux divers.

Une étude a examiné les performances de Pangram 4 sur 143 755 documents, dont 85 887 rédigés par des auteurs autistes, et a conclu que Pangram ne présentait aucun biais notable. Sur 89 903 documents antérieurs à 2022, rédigés aussi bien par des auteurs neurodivers que par des auteurs du groupe témoin, Pangram 4 a affiché un taux de faux positifs de 0,0011 %. Vous pouvez consulter l'intégralité de cette étude indépendante consacrée aux auteurs neurodivers.

Outre l'anglais, Pangram prend en charge l'arabe, le chinois, le tchèque, le néerlandais, le français, l'allemand, le grec, l'hindi, le hongrois, l'italien, le japonais, le coréen, le persan, le polonais, le portugais, le roumain, le russe, l'espagnol, le suédois, le turc, l'ukrainien, l'ourdou et le vietnamien.

Pour consulter les résultats des tests de performance par langue, voir le taux de faux positifs de Pangram par langue prise en charge.

Limites

Texte court

Pangram est conçu pour détecter les textes générés par l'IA dans des textes en langage naturel comportant au moins 50 mots, rédigés principalement sous forme de phrases complètes. Pangram est particulièrement fiable sur des passages de texte plus longs, qui fournissent au détecteur d'IA davantage d'informations pour établir des prédictions précises.

Vous trouverez ci-dessous une analyse détaillée des performances de Pangram sur des textes de différentes longueurs. En raison du compromis entre faux positifs et faux négatifs, bon nombre des erreurs détectées sur les textes courts seront en réalité des faux négatifs.

Autres limites

Il existe certains types de textes que nous considérons pour l'instant comme hors du champ d'application de notre outil et pour lesquels Pangram peut fournir des résultats moins fiables. Il s'agit notamment :

• Code, balisage ou Markdown
• Les traductions par IA et les traductions automatiques, telles que Google Translate
• Éléments préliminaires du document, notamment les tables des matières et les pages de titre
• Les éléments figurant à la fin d'un document, tels que les index ou les listes de références
• Texte d'une figure, comme les libellés d'axes ou les données sous forme de tableau
• Notation mathématique
• Texte comportant de nombreuses mises en forme, comme la poésie ou les recettes

Bonnes pratiques

• Pour obtenir les meilleurs résultats possibles, il est recommandé de supprimer les en-têtes, les pieds de page, les instructions et tout autre élément superflu rédigé à la main avant de numériser un document.
• Il est recommandé de privilégier les fichiers au format brut et les fichiers .docx plutôt que les PDF lorsque cela est possible, car l'analyse des PDF peut parfois entraîner l'apparition d'artefacts indésirables. Les résultats issus de fichiers PDF doivent toujours être vérifiés une deuxième fois.

FAQ

Pourquoi mesure-t-on séparément le taux de faux positifs et le taux de faux négatifs ?

La précision est mesurée en exécutant Pangram sur un ensemble de textes d'exemple et en comparant l'étiquette attribuée avec celle que nous savons correspondre au document. Ainsi, le taux de faux négatifs et le taux de faux positifs mesurent deux choses différentes :

• Le taux de faux négatifs permet de déterminer : pour un document généré par l'IA, quelle est la probabilité que Pangram le classe comme étant rédigé par un humain ?
• Le taux de faux positifs permet de déterminer : pour un document rédigé par un humain, quelle est la probabilité que Pangram le classe comme « IA » ?

Il n'y a pas de taux de faux positifs sur un ensemble de documents rédigés par une IA, car toute étiquette positive (IA) attribuée par Pangram à un élément de cet ensemble ne serait pas un faux positif — par définition, ce serait un vrai positif. C'est pourquoi les taux de faux positifs et de faux négatifs doivent être mesurés et communiqués séparément.

Pourquoi Pangram analyse-t-il des textes courts si sa précision est moindre dans ce cas ?

Le taux de faux positifs de Pangram sur des textes comprenant entre 50 et 100 mots est de 0,02 %, soit environ 1 sur 5 000. Bien que ce taux soit suffisamment élevé — et que les textes courts en ligne soient suffisamment nombreux — pour qu’un utilisateur lambda puisse rencontrer un faux positif sur un texte court dans le cadre d’une utilisation normale, il reste néanmoins suffisamment faible pour que nous estimions que Pangram puisse fournir des informations utiles la plupart du temps.

Nous recommandons toujours de numériser la partie la plus longue d'un document lorsque cela est possible. Plus il y a de mots, plus Pangram dispose d'informations pour établir une prédiction ; c'est pourquoi la précision s'améliore à mesure que le nombre de mots augmente.