Tout ce qu'il faut savoir sur les faux positifs dans les détecteurs basés sur l'IA

L'un des aspects les plus importants de notre travail chez Pangram consiste à réduire au minimum notre taux de faux positifs. Cela signifie que nous nous efforçons de réduire autant que possible le risque que des textes rédigés par des humains soient identifiés à tort comme ayant été générés par une IA. Aujourd'hui, nous allons vous expliquer les taux de faux positifs de Pangram pour différents types d'écrits, comment nous mesurons et évaluons nos modèles pour garantir que le taux de faux positifs soit le plus bas possible, et enfin, certaines des techniques que nous utilisons pour développer un logiciel de détection par IA présentant le taux de faux positifs le plus bas du secteur.

Points clés à retenir

• On parle de « faux positif » lorsqu'un détecteur signale à tort une œuvre humaine comme étant générée par l'IA. Ce type d'erreur est d'autant plus grave dans le cadre de la détection de l'IA que le fait d'affirmer qu'une œuvre n'est pas celle de son auteur peut nuire à la réputation ou à la crédibilité académique de ce dernier.
• Pangram accorde une grande importance aux faux positifs et aux faux négatifs, et affiche un taux de faux positifs de 1 pour 10 000, ce qui le place parmi les meilleurs du secteur.
• Par domaine, Pangram affiche un taux de faux positifs extrêmement faible dans tous les cas d'utilisation les plus courants, tels que la création littéraire (0,01 %), la rédaction académique (0,02 %), la rédaction biomédicale (0,01 %) et les scénarios de films (0 %).
• Pangram n'est pas aussi performant dans certains cas d'utilisation plus spécifiques, comme la poésie ou les recettes.

Qu'est-ce qu'un faux positif ?

Dans le domaine de la détection de l'IA, on parle de « faux positif » lorsqu'un détecteur identifie à tort un échantillon créé par un humain comme étant généré par l'IA. À l'inverse, on parle de « faux négatif » lorsqu'un échantillon généré par l'IA est identifié à tort comme étant d'origine humaine.

Faux positifs et faux négatifs dans la détection par IA

Le schéma ci-dessus illustre ces deux types d'erreurs. Si le rouge représente la classe négative et le vert la classe positive, un X rouge prédit comme vert correspondrait à un faux positif, et un O vert prédit comme rouge correspondrait à un faux négatif.

En statistique, on utilise les termes « erreur de type I » et « erreur de type II » : ces termes désignent exactement la même chose. Une erreur de type I correspond à un faux positif, tandis qu'une erreur de type II correspond à un faux négatif. Les statisticiens, et en particulier ceux qui travaillent dans le domaine des sciences médicales, utilisent également les termes « sensibilité » et « spécificité » pour distinguer ces deux taux d'erreur. Les chercheurs en apprentissage automatique utilisent quant à eux les termes « précision » et « rappel ». Bien qu'il existe de légères différences techniques entre ces termes, à des fins pédagogiques, nous nous en tiendrons dans cet article aux simples expressions « faux positifs » et « faux négatifs », car je pense que ce sont les termes les plus explicites pour désigner ces deux types d'erreurs.

En matière de détection par IA, un faux positif est bien pire qu'un faux négatif. Accuser à plusieurs reprises des élèves qui rédigent leurs devoirs eux-mêmes, sans aide de l'IA, de plagiat assisté par IA sape considérablement la confiance entre l'élève et l'enseignant et peut être source d'une grande anxiété et d'un stress important pour l'élève. En revanche, un faux négatif peut signifier qu'un tricheur passe entre les mailles du filet de temps à autre, ce qui n'est pas un résultat aussi grave pour un outil de détection par IA.

Il convient de noter que, dans d'autres problèmes de détection, un faux négatif peut causer bien plus de tort qu'un faux positif : par exemple, dans le cadre d'un test de dépistage du cancer, il vaut bien mieux que le test indique à tort que le patient a un cancer plutôt que de passer complètement à côté d'un cancer réel. Si le test indique à tort que le patient a un cancer, même si cela peut être gênant pour le patient de devoir revenir pour des suivis, des examens et des tests supplémentaires, c'est bien mieux que de passer à côté d'un diagnostic de cancer, ce qui constitue une menace pour la vie du patient.

Pour en revenir à la détection de l'IA, un faux positif cause plus de tort qu'un faux négatif, mais les deux ont leur importance : passer systématiquement à côté de textes générés par l'IA et les qualifier à tort de textes humains nuit également à la valeur de l'outil. C'est pourquoi, chez Pangram, notre approche générale consiste à réduire autant que possible les faux négatifs et les faux positifs, tout en accordant une priorité plus élevée aux faux positifs.

Quel est le taux de faux positifs de Pangram ?

La réponse est : ça dépend !

Dans l'ensemble, nous estimons que notre taux de faux positifs est d'environ 1 sur 10 000 : il est parfois légèrement supérieur, parfois légèrement inférieur, selon le type de texte et d'autres facteurs.

Nous mesurons le taux de faux positifs de Pangram sur une grande variété de textes : nous appelons cela des « domaines ». Bien que cette liste ne soit pas exhaustive, voici les taux de faux positifs les plus récents que nous mesurons en interne pour chaque domaine :

Quels sont les facteurs qui déterminent la sensibilité de Pangram aux faux positifs ?

En général, Pangram fonctionne de manière optimale lorsque les conditions suivantes sont réunies :

• Le texte est assez long (plus de deux cents mots)
• Le texte est rédigé en phrases complètes
• Ce domaine est bien représenté dans les ensembles de données d'apprentissage courants disponibles en ligne
• Le texte fait davantage appel à la créativité et est moins stéréotypé

Nous pensons que ces facteurs expliquent pourquoi Pangram obtient les meilleurs résultats dans les essais, la création littéraire et les critiques. Alors que les articles d'actualité, les publications scientifiques et les entrées Wikipédia sont plus stéréotypés et techniques, ces domaines regorgent de données, ce qui a permis à Pangram de devenir très performant dans la reconnaissance des schémas, même les plus subtils, présents dans les textes. Enfin, les domaines tels que les recettes et la poésie sont ceux où le système est le moins performant, car les textes y sont généralement courts, rédigés sans phrases complètes (ce qui laisse moins de possibilités au LLM d'y injecter son style propre) et sont globalement moins courants en ligne que dans les autres domaines.

Concrètement, qu'est-ce que cela signifie ? Bien que Pangram reste relativement fiable dans tous les domaines, vous pouvez avoir davantage confiance en la précision de Pangram lorsque le texte est long, rédigé en phrases complètes et nécessite une contribution plus originale de la part de l'auteur. C'est pourquoi nous déconseillons d'analyser des éléments tels que les listes à puces et les plans succincts, les calculs mathématiques, les réponses très courtes (par exemple, des phrases isolées) et les textes extrêmement stéréotypés, comme les longues listes de données, les feuilles de calcul, les textes basés sur des modèles et les manuels d'instructions.

Comment le taux de faux positifs de Pangram se compare-t-il à celui de ses concurrents ?

Nous ne pouvons pas réaliser le même test de performance approfondi sur nos concurrents, tout simplement parce que le coût d'une telle opération serait extrêmement prohibitif. Nous pouvons toutefois examiner les chiffres avancés par nos concurrents concernant leur taux de faux positifs.

Turnitin

Le taux de faux positifs indiqué par Turnitin sur son site web

Le dernier livre blanc de Turnitin fait état d'un taux de faux positifs de 0,51 % pour les travaux universitaires, soit environ 1 sur 200 au niveau du document. Cela signifie qu'un travail sur 200 remis par un étudiant sera signalé à tort comme ayant été généré par l'IA.

Notre taux de faux positifs, mesuré sur un ensemble de données similaire composé d'essais universitaires, est de 0,004 %, soit 1 sur 25 000.

C'est une différence considérable. Dans une grande université de recherche, on peut compter jusqu'à 100 000 articles soumis chaque année. Cela représente une différence entre 500 faux positifs pour Turnitin et seulement 4 pour Pangram.

GPTZero

Le taux de faux positifs indiqué par GPTZero sur son site web

GPTZero affiche un taux de faux positifs de 1 %, soit deux fois plus élevé que celui de Turnitin et 250 fois plus élevé que celui de Pangram.

Nous avons comparé en interne GPTZero et Pangram sur un sous-ensemble de documents issus de notre corpus VIP général, afin d'assurer une comparaison équitable. Nous avons constaté que le taux de faux positifs était plus élevé que celui indiqué, s'élevant à 2,01 %.

Copyleaks

Taux de faux positifs indiqué par Copyleaks sur son site web

Copyleaks affirme avoir un taux de faux positifs de 0,2 %, soit 1 sur 500, ce qui, si cela s'avérait vrai, serait 50 fois pire que Pangram.

De plus, un chiffre pris isolément ne reflète pas toute la réalité. Nous ne savons pas d'où proviennent ces données, ni quels biais ont pu influencer l'évaluation. C'est pourquoi nous procédons à des comparaisons approfondies et publions cet article qui détaille notre processus d'évaluation du modèle.

Test de performance RAID

En examinant l'étude RAID publiée l'année dernière par Liam Dugan et ses coauteurs, qui constitue la deuxième étude de notre article de synthèse sur la recherche, nous souhaitons attirer votre attention sur le graphique suivant.

Taux de faux positifs de l'étude RAID selon les détecteurs

La plupart des détecteurs indiquent un « seuil », qui correspond au seuil de confiance : au-dessus de ce seuil, le modèle considère que le texte a été généré par une IA, tandis qu'en dessous, il estime qu'il a été rédigé par un humain. En ajustant ce seuil, il est possible de trouver un équilibre entre les faux positifs et les faux négatifs.

Sur ce graphique, l'axe des x représente le taux de faux positifs résultant du déplacement du seuil, tandis que l'axe des y représente le rappel, c'est-à-dire la proportion de documents AI pouvant être classés comme AI lorsqu'ils sont évalués à ce seuil.

En résumé, les détecteurs de nos concurrents ne fonctionnent pas lorsqu'on leur impose un taux de faux positifs inférieur à 1 % ; en d'autres termes, ils ne seraient pas en mesure de détecter la moindre IA lorsque le seuil est suffisamment bas pour produire un taux de faux positifs de 1 %.

Comment évaluer le taux de faux positifs de Pangram ?

Pangram suit un processus de validation et de test extrêmement rigoureux avant qu'un nouveau modèle ne soit autorisé à être déployé sur notre tableau de bord et notre API.

Dans le cadre de notre contrôle qualité, nous disposons de trois types de tests pour détecter les faux positifs, qui allient chacun une évaluation quantitative et qualitative. Nos évaluations comprennent :

1. Ensembles de validation à grande échelle. Environ 10 000 à 10 000 000 d'exemples par ensemble. Il s'agit de bases de données Internet à grande échelle et en libre accès datant d'avant ChatGPT (2022), à partir desquelles nous avons sélectionné un ensemble de validation qui n'a pas servi à l'entraînement et qui a été réservé exclusivement à des fins d'évaluation.

2. Ensembles de données VIP de taille moyenne. Environ 1 000 exemples par ensemble. Il s'agit de jeux de données que des ingénieurs ou des étiqueteurs ont collectés manuellement auprès de sources fiables, inspectés visuellement et validés personnellement pour garantir qu'ils ont été rédigés par des humains. Bien que les experts formés soient capables de détecter à l'œil nu les contenus générés par l'IA, il leur arrive parfois de se tromper ; c'est pourquoi nous vérifions régulièrement les données et les nettoyons pour en garantir l'exactitude.

3. Ensembles de test. Environ 10 à 100 exemples par ensemble. Il s'agit de faux positifs signalés précédemment, de cas complexes que nos collaborateurs nous ont envoyés et, de manière générale, d'exemples intéressants pour lesquels nous souhaitons évaluer nos performances. Nous collectons également des exemples de textes hors du commun, tels que des recettes, des poèmes, des scénarios de films et d'autres formes écrites qui ne sont pas bien représentées dans les ensembles d'entraînement des grands modèles linguistiques, et nous considérons également ceux-ci comme des ensembles de test, ainsi que comme un repère global permettant d'évaluer les performances de notre modèle lorsqu'il est confronté à des données « hors distribution ».

Outre ces trois types de contrôle qualité, nous disposons également de tests unitaires. Ces tests unitaires consistent, en termes simples, à vérifier si notre modèle présente ce que l'on pourrait appeler des « échecs embarrassants ». Notre suite actuelle de tests unitaires nous oblige à reproduire le comportement humain pour des documents tels que la Déclaration d'indépendance, des passages célèbres de la littérature, ainsi que les textes de notre site web et nos articles de blog. Si l'un de ces tests unitaires échoue, nous bloquons le déploiement d'un nouveau modèle et repartons de zéro. L'une de nos philosophies en matière d'évaluation consiste à faire preuve d'une vigilance extrême dans le suivi et la surveillance de ces « échecs embarrassants », afin qu'ils ne réapparaissent jamais lors de la publication d'un nouveau modèle.

Schéma illustrant les trois types d'ensembles d'évaluation utilisés dans le cadre de Pangram : les ensembles de validation à grande échelle (plus de 10 millions d'exemples), les ensembles VIP à moyenne échelle (plus de 1 000 exemples) et les ensembles de défi (10 à 100 exemples)

Ceux qui ont un penchant pour les mathématiques et les sciences pourraient se demander : pourquoi a-t-on besoin d'une évaluation qualitative ? N'est-ce pas toujours mieux d'avoir plus d'échantillons ?

Ma réponse à cela serait la suivante : avoir plus d'échantillons n'est pas toujours mieux. Comme l'a dit un jour un sage prophète, il y a des mensonges, des mensonges éhontés et des statistiques. Mais sérieusement, nous pensons que lorsque l'on crée un ensemble de données à grande échelle, on y introduit inévitablement une forme de biais. Et lorsque votre ensemble de données est si vaste que vous ne pouvez pas examiner chaque exemple, vous ne savez pas si votre modèle s'est surajusté à un biais présent dans l'ensemble de données, ce qui le ferait bien fonctionner lors des tests, mais mal dans le monde réel. (Soit dit en passant, nous pensons que c'est la raison pour laquelle de nombreux détecteurs d'IA en ligne annoncent une « précision de 99 % », mais sont loin d'atteindre ce chiffre lorsque vous les testez réellement).

Un exemple amusant illustrant l’importance de ces différentes variantes de suites de tests s’est produit aux débuts de Pangram, lorsque nous avons intégré Wikipédia pour la première fois à l’ensemble d’apprentissage. L’une de nos premières tentatives infructueuses s’est avérée excellente sur l’ensemble de validation, mais très médiocre sur l’ensemble VIP, qui comprenait des articles Wikipédia sélectionnés manuellement. Nous avons fini par découvrir que dans l'ensemble de données Huggingface que nous utilisions, du côté humain, la prononciation des noms exprimée en alphabet phonétique international était reformatée d'une manière vraiment étrange à laquelle le modèle s'adaptait de manière excessive : il se contentait d'examiner le formatage du nom, puis de conclure, sur la base de ce formatage, si le document était issu de l'IA ou d'un humain. Excellent sur l'ensemble de validation, mais catastrophique en situation réelle lorsque le modèle ne disposait pas de cet indice particulier ! C'est pourquoi il est essentiel de disposer d'un ensemble de test qui reflète fidèlement le type de texte que Pangram va rencontrer dans le monde réel.

Avant d'expédier un modèle à nos clients chez Pangram, nous suivons une procédure de validation rigoureuse qui comprend une évaluation à la fois quantitative et qualitative, au cours de laquelle nous soumettons le modèle à des tests de résistance et examinons minutieusement ses performances par rapport au modèle actuel.

1. Évaluation quantitative : cela signifie que les mesures du taux de faux positifs sur l'ensemble des échantillons de validation, des ensembles VIP et des cas de test ne doivent pas faire l'objet d'une régression.

2. Évaluation qualitative : dans la plupart des cas, certains exemples s'améliorent, tandis que d'autres régressent. Dans la mesure du possible, nous examinons visuellement les exemples spécifiques qui régressent et nous nous assurons que les échecs sont explicables. Cela relève souvent de nuances et dépend des hypothèses particulières que nous testons, mais d'une manière générale, nous voulons nous assurer que les cas d'échec ne présentent pas de schéma particulier susceptible de se généraliser à des défaillances dans le monde réel après le déploiement.

3. Évaluation intuitive / « red teaming » : enfin, une fois les évaluations quantitative et qualitative terminées, nous procédons simplement à une « évaluation intuitive » du modèle en le transmettant à l'équipe et en lui demandant de l'essayer pendant un certain temps. Pour certaines mises à jour, nous pouvons également demander à des testeurs internes ou à des clients bêta de tester le modèle avant de le diffuser largement au public (en général, nous les encourageons à essayer de trouver des cas qui font échouer le modèle !)

4. Tests A/B rétroactifs : nous effectuons des inférences hors ligne sur nos anciennes prédictions et examinons les différences entre l'ancien modèle et le nouveau. Nous ne disposons pas toujours des données de référence pour les données sur lesquelles nous avons précédemment effectué des inférences, mais là encore, nous recherchons des tendances cohérentes susceptibles de refléter des cas d'échec réels.

En résumé, bien que nous adoptions une approche extrêmement rigoureuse et scientifique pour évaluer les performances de notre modèle à l'aide d'indicateurs et de statistiques, nous ne nous fions pas uniquement aux chiffres pour dresser un tableau complet de la situation. Nous nous appuyons également sur notre observation, notre intuition et notre capacité à reconnaître des schémas pour examiner le modèle en détail et détecter des schémas d'erreurs que nos indicateurs auraient pu négliger. Nous comptons également sur notre équipe de testeurs, de « red-teamers » et de clients bêta pour repérer les failles que l'équipe aurait pu manquer.

Quelles sont les techniques que nous utilisons pour obtenir un taux de faux positifs aussi faible ?

Le maintien d'un faible taux de faux positifs est au cœur de notre mission de recherche. Voici quelques-unes des techniques que nous avons utilisées jusqu'à présent pour atteindre un taux d'erreur parmi les meilleurs de la catégorie.

Couverture complète des données d'entraînement

Si les détecteurs d'IA concurrents sont peut-être « conçus pour le milieu universitaire, les établissements scolaires, les salles de classe et les enseignants », cela signifie en réalité que leur ensemble de données d'apprentissage ne contient que des textes universitaires.

D'autre part, nous avons conçu Pangram pour tirer parti de la « leçon amère » : les algorithmes d'apprentissage généraux, entraînés sur de grands volumes de données provenant d'une grande variété de sources, sont plus efficaces que les modèles spécifiques entraînés sur des données propres à un domaine particulier.

Cela signifie que nous entraînons notre détecteur d'IA sur une grande variété de textes : créatifs, techniques, scientifiques, encyclopédiques, critiques, sites web, articles de blog… la liste est longue. À l'instar d'une formation générale bien équilibrée, l'exposition à de nombreuses disciplines et styles d'écriture aide le modèle à mieux comprendre et à mieux généraliser lorsqu'il est confronté à de nouveaux cas. Conformément à la tendance générale en matière de formation de l'IA, ChatGPT et d'autres grands modèles linguistiques ne sont pas entraînés sur des données spécifiques à des cas d'utilisation particuliers, mais sur des données textuelles générales à grande échelle afin de leur conférer une intelligence générale : nous croyons en la même stratégie pour former des détecteurs d'IA capables de résister à tous les différents types de textes généraux qu'un grand modèle linguistique (LLM) peut produire.

Apprentissage par exemple négatif / Apprentissage actif

Nous avons longuement évoqué notre algorithme d'apprentissage actif, qui s'appuie sur une technique appelée « hard negative mining », et nous pensons que c'est principalement grâce à cela que nous parvenons à réduire notre taux de faux positifs à un niveau proche de zéro.

En substance, cela fonctionne parce que la plupart des exemples observés dans la réalité sont des « exemples faciles » : une fois que le modèle a appris les schémas de base permettant de distinguer ce qui est humain de ce qui relève de l'IA, il est très facile de faire la différence pour la grande majorité de l'ensemble de données. Cependant, cela ne permet d'atteindre qu'une précision d'environ 99 %. Afin de gagner les derniers points de précision, nous devons trouver les cas les plus difficiles pour entraîner le modèle : nous pouvons considérer ces cas comme ceux où un humain décide simplement d'écrire d'une manière très similaire à un modèle linguistique d'IA, mais où, en réalité, il écrit ainsi par simple coïncidence. Pour trouver ces « négatifs difficiles », nous effectuons une recherche à grande échelle sur des ensembles de données de l'ordre de l'Internet, comme ceux utilisés pour entraîner les LLM, puis nous procédons à une mise en miroir synthétique pour générer des exemples d'IA au son similaire. Vous trouverez plus de détails sur notre page « Comment ça marche ».

Pondération des pertes et suréchantillonnage

Nous formulons notre objectif d'optimisation de manière à ce que le modèle privilégie les faux positifs plutôt que les faux négatifs dès la phase d'apprentissage. Lorsque le modèle se trompe sur un document rédigé par un humain, il est « pénalisé » beaucoup plus sévèrement que s'il se trompe sur un document généré par une IA. Cela oblige le modèle à faire preuve de prudence et à ne prédire qu'un document est issu d'une IA que s'il en est absolument certain.

Étalonnage

Cela concerne le choix du seuil tel que décrit dans le chapitre sur le RAID. Nous déterminons notre seuil en nous appuyant sur l'analyse de millions de documents issus de nos ensembles d'évaluation, afin de trouver le juste équilibre entre les taux de faux positifs et de faux négatifs. Ce choix de seuil nous permet de maintenir un taux de faux négatifs raisonnable sans pour autant compromettre le nombre de faux positifs.

Points à retenir

• Pangram affiche un taux de faux positifs nettement inférieur à celui de ses concurrents.
• Le taux de faux positifs extrêmement faible de Pangram s'explique par une combinaison de facteurs liés à l'échelle, à l'apprentissage et à la recherche.
• Étant donné que le taux de faux positifs revêt une importance capitale dans la détection par IA, nous avons mis en place une suite de tests et de contrôle qualité extrêmement complète et élaboré un processus de validation rigoureux qui allie une évaluation statistique minutieuse à un jugement humain plus subjectif et qualitatif, ainsi qu'à une analyse intuitive.

Nous apprécions particulièrement de travailler avec des chercheurs afin d'améliorer la précision globale de notre logiciel, et nous sommes très attachés à l'évaluation comparative ouverte et à la transparence en matière de détection par IA. Pour toute demande concernant une éventuelle collaboration avec nous ou pour toute question supplémentaire sur la précision de Pangram, veuillez nous contacter à l'adresse info@pangram.com.