Analyse approfondie des avis sur Yelp

REMARQUE : Nous avons changé de nom et nous nous appelons désormais Pangram Labs ! Consultez notre article de blog pour plus de détails.

Chez Checkfor.ai, nous nous efforçons d'être le meilleur détecteur de texte généré par l'IA de notre catégorie afin de mener à bien notre mission : protéger Internet contre la pollution causée par les contenus de mauvaise qualité générés par l'IA. Les plateformes d'avis d'utilisateurs constituent l'un des domaines les plus importants à défendre.

Les faux avis en ligne finissent par nuire tant aux entreprises qu'aux consommateurs, et ChatGPT n'a fait que faciliter encore davantage la fraude aux avis à grande échelle.

Avis généré par ChatGPT sur Yelp

Préserver la confiance des utilisateurs dans les avis en ligne est un élément essentiel de notre mission chez Checkfor.ai, qui consiste à garantir l'authenticité du contenu généré par des utilisateurs sur Internet.

À propos de moi

Je m'appelle Bradley Emi et je suis directeur technique chez Checkfor.ai. J'ai travaillé comme chercheur en IA à Stanford, j'ai mis en production des modèles en tant que spécialiste en apprentissage automatique au sein de l'équipe Tesla Autopilot, et j'ai dirigé une équipe de recherche qui a développé une plateforme de conception de médicaments à l'aide de grands réseaux neuronaux chez Absci. Dans le domaine des voitures autonomes et de la découverte de médicaments, une précision de 99 % n'est tout simplement pas suffisante. Une précision de 99 % pourrait signifier qu'un piéton sur 100 est renversé par un véhicule autonome, ou qu'un patient sur 100 subit des effets secondaires potentiellement mortels dus à un médicament mal conçu.

Même si la détection de textes générés par l'IA n'est pas nécessairement une question de vie ou de mort, chez Checkfor.ai, nous souhaitons concevoir des modèles et des systèmes logiciels qui répondent aux mêmes exigences de qualité. Notre détecteur doit résister aux attaques adversaires telles que la paraphrase, l'ingénierie avancée des prompts et les outils de contournement de la détection comme undetectable.ai. Nous sommes déterminés à résoudre ce problème (c'est-à-dire ne pas nous contenter d'atteindre 99 %), et c'est pourquoi l'une des principales priorités de notre équipe d'ingénieurs est de développer une plateforme d'évaluation extrêmement robuste.

Philosophie d'évaluation : les ensembles de tests sont des tests unitaires

Une entreprise de cybersécurité de type « Software 1.0 » ne commercialiserait jamais un produit sans tests unitaires. En tant qu’entreprise de type « Software 2.0 », nous avons besoin d’équivalents aux tests unitaires, à ceci près qu’ils doivent tester de grands modèles comportant des millions, voire des milliards de paramètres, susceptibles de se comporter de manière stochastique, et qui doivent fonctionner correctement tout en couvrant une large distribution de cas marginaux. Nous ne pouvons pas nous contenter d’une « précision de 99 % sur l’ensemble de test » et en rester là : nous avons besoin d’évaluations qui testent spécifiquement les types d’exemples que nous rencontrerons dans le monde réel.

Un bon ensemble de test permet de répondre à des questions précises et de réduire au minimum le nombre de variables de confusion.

Voici quelques exemples de questions d'évaluation ciblées et des séries de tests correspondantes :

• Dans quelle mesure notre modèle fonctionne-t-il avec les avis Yelp ? Ensemble de test composé de mille avis Yelp réels et de mille avis Yelp générés par l'IA.
• Notre modèle fonctionne-t-il bien sur des textes paraphrasés ? Ensemble de test comprenant des centaines de dissertations réelles rédigées par des étudiants, des centaines de dissertations générées par l'IA, ainsi que ces mêmes dissertations paraphrasées à l'aide de QuillBot ou d'Undetectable.AI.

Il y a plusieurs raisons pour lesquelles on ne peut pas simplement regrouper tous les éléments de l'ensemble de test et donner un chiffre.

• Il y a trop de variables de confusion : nous ne savons pas si le test a réussi ou échoué à cause de la distribution des données ou du modèle.
• N'importe qui peut gonfler artificiellement son taux de précision en inondant simplement l'ensemble de test d'exemples faciles.
• Sans une explication transparente et reproductible de la manière dont l'ensemble de test a été constitué de manière impartiale, nous ne pouvons pas savoir si quelqu'un s'est contenté de sélectionner des exemples sur lesquels son modèle réussit et sur lesquels le modèle de référence échoue.

C'est pourquoi les études comparatives de ce type passent complètement à côté de l'essentiel. Elles manquent de précision et ne testent pas les comportements spécifiques que nous souhaitons voir le modèle adopter. Des ensembles de test biaisés mettent en valeur le modèle lorsqu'il se montre sous son meilleur jour, et non lorsqu'il est confronté à des exemples concrets.

Une analyse comparative impartiale de Yelp

Un exemple concret d'application de la détection de texte généré par l'IA consiste à repérer les avis créés par l'IA sur Yelp. Yelp s'engage à modérer rigoureusement sa plateforme d'avis, et si vous consultez son rapport « Confiance et sécurité » pour 2022, vous constaterez clairement que Yelp accorde une grande importance à la lutte contre les avis frauduleux, rémunérés, incités ou malhonnêtes de toute autre manière.

Heureusement, Yelp a également publié un excellent ensemble de données en open source. Nous avons prélevé au hasard 1 000 avis dans cet ensemble de données et généré 1 000 avis synthétiques à l'aide de ChatGPT, le modèle de langage de grande envergure (LLM) le plus couramment utilisé.

Il est important de noter que les avis générés par ChatGPT concernent de véritables entreprises répertoriées sur Yelp, issues de leur ensemble de données Kaggle : ainsi, le modèle ne peut pas tricher en s'adaptant de manière excessive à des détails tels que la répartition des entreprises. Lors de l'évaluation, nous vérifions si le modèle a réellement appris à exploiter les caractéristiques pertinentes du texte afin de distinguer les avis authentiques des faux.

Nous utilisons cet ensemble de données pour déterminer lesquels des modèles de détection par IA sont réellement capables de distinguer les avis générés par ChatGPT des avis authentiques !

Précision des modèles

Notre indicateur le plus simple est la précision : combien d'exemples chaque modèle a-t-il classés correctement ?

• Checkfor.ai : 99,85 % (1997/2000)
• Originality.AI : 96,2 % (1 738/1 806) (remarque : Originality.AI ne classe pas les documents de moins de 50 mots).
• GPTZero : 90,8 % (1 815/2 000)

Même si une différence entre 99,85 % et 96 % peut sembler insignifiante à première vue, le fait de prendre en compte le taux d'erreur permet de mieux replacer ces chiffres dans leur contexte.

Checkfor.ai ne devrait échouer qu'une fois toutes les 666 requêtes, tandis qu'Originality.AI devrait échouer une fois toutes les 26 requêtes et GPTZero une fois toutes les 11 requêtes. Cela signifie que notre taux d'erreur est plus de 25 fois meilleur que celui d'Originality.AI et 60 fois meilleur que celui de GPTZero.

Faux positifs et faux négatifs

Pour analyser les faux positifs et les faux négatifs (dans le jargon de l'apprentissage automatique, on parlerait plutôt des statistiques très proches que sont la précision et le rappel), on peut se pencher sur la matrice de confusion : quels sont les taux relatifs de vrais positifs, de faux positifs, de vrais négatifs et de faux négatifs ?

Over all 2,000 examples, Checkfor.ai produces 0 false positives and 3 false negatives, exhibiting high precision and high recall. While admirably, GPTZero does not often predict false positives, with only 2 false positives, it comes at the expense of predicting 183 false negatives– an incredibly high false negative rate! We’d call this a model that exhibits high precision but low recall. Finally, Originality.AI predicts 60 false positives and 8 false negatives– and it refuses to predict a likelihood on short reviews (<50 words) — which are the hardest cases and most likely to be false positives. This high false positive rate means that this model is low precision, high recall.

Si, dans le domaine de la détection de texte généré par l'IA, il est primordial de maintenir un faible taux de faux positifs (nous ne voulons pas accuser à tort de vraies personnes de plagier ChatGPT), il est également indispensable de limiter le taux de faux négatifs : nous ne pouvons pas nous permettre de laisser passer plus de 10 à 20 % du contenu généré par l'IA.

Confiance du modèle

En fin de compte, nous souhaitons que notre modèle exprime un niveau de confiance élevé lorsqu'il est évident que le texte a été rédigé par un humain ou par ChatGPT.

En suivant une stratégie de visualisation similaire à celle de l'excellent article scientifique DetectGPT de Mitchell et al., nous représentons graphiquement les histogrammes des prédictions des modèles, tant pour les avis générés par l'IA que pour les avis réels, pour les trois modèles. Étant donné que ces trois modèles affichent une précision supérieure à 90 %, une échelle logarithmique sur l'axe des y est la plus utile pour visualiser les caractéristiques du niveau de confiance de chaque modèle.

Sur ce graphique, l'axe des x représente la probabilité que le modèle prédise que l'avis saisi est généré par une IA. L'axe des y indique la fréquence à laquelle le modèle prédit cette probabilité pour un texte réel (barres bleues) ou généré par une IA (barres rouges). On constate qu'en examinant ces prédictions « nuancées », plutôt qu'un simple oui ou non, Checkfor.ai est bien plus efficace pour établir une limite de décision claire et émettre des prédictions plus fiables que GPTZero ou Originality.AI.

GPTZero a tendance à prédire un trop grand nombre d'exemples dans la fourchette de probabilité comprise entre 0,4 et 0,6, avec un mode situé juste autour de 0,5. En revanche, le problème des faux positifs d'Originality.AI devient encore plus flagrant lorsqu'on examine les prédictions « douces ». De nombreux avis réels sont sur le point d'être prédits comme générés par l'IA, même s'ils ne dépassent pas le seuil de 0,5. Il est donc difficile pour un utilisateur de croire que le modèle peut prédire de manière fiable les textes générés par l'IA, car de légères modifications apportées à l'avis peuvent permettre à un adversaire de contourner le détecteur en modifiant l'avis de manière itérative jusqu'à ce qu'il se situe en dessous du seuil de détection.

Notre modèle, en revanche, est généralement très sûr de lui. Nous sommes généralement en mesure de prendre des décisions avec assurance. Pour les lecteurs ayant des connaissances en apprentissage profond ou en théorie de l'information, nous observons la plus faible entropie croisée/divergence de KL entre la distribution réelle et la distribution prédite.

Il est indéniable qu'il y a un intérêt certain à identifier avec un haut degré de certitude les textes authentiques comme tels (voir cette illustration humoristique tirée de Twitter). Bien qu'il soit évident que cet enseignant ait mal interprété la probabilité calculée par l'IA en la prenant pour la proportion de texte rédigée par l'IA, lorsque les détecteurs ne sont pas certains de l'authenticité d'un texte, cela laisse la porte ouverte à des interprétations erronées.

https://twitter.com/rustykitty_/status/1709316764868153537

Sur les trois erreurs signalées par Checkfor.ai, deux d'entre elles sont malheureusement jugées assez fiables. Notre détecteur n'est pas parfait, et nous travaillons activement à l'ajustement du modèle afin d'éviter de telles erreurs de prédiction jugées fiables.

Conclusion

Nous mettons à disposition en open source les ensembles de données utilisés pour cette évaluation des avis Yelp authentiques et faux, afin que les futurs modèles puissent s'appuyer sur cette référence importante pour tester la précision de leurs détecteurs.

Voici les principaux points à retenir :

Checkfor.ai affiche à la fois un faible taux de faux positifs et un faible taux de faux négatifs. Checkfor.ai est capable de distinguer les avis authentiques de ceux générés par l'IA, non seulement avec une grande précision, mais aussi avec un haut degré de fiabilité. Nous publierons d'autres articles de blog de ce type à l'avenir et partagerons publiquement nos évaluations honnêtes de notre modèle à mesure que nous en apprendrons davantage. Restez à l'écoute et n'hésitez pas à nous faire part de vos commentaires !