Comment Quora utilise Pangram pour gérer les réponses rédigées par l'IA

En avril 2024, Pangram Labs s'est associé à Quora pour l'aider à lutter contre les spammeurs qui utilisaient ChatGPT pour répondre aux publications avec des réponses factices générées par l'IA.

Quora est l'un des plus grands sites web au monde ; il occupe la 33e place du classement mondial des sites les plus fréquentés et enregistre plus d'un milliard de pages vues par mois en août 2024 (Source : Semrush). Quora permet aux utilisateurs de publier des questions, qui seront vues et auxquelles répondront les autres internautes naviguant sur le site.

« Notre mission consiste à partager et à enrichir le savoir mondial. Nous sommes convaincus qu’une grande partie de ce savoir est enfouie dans l’esprit des gens, et qu’en posant les bonnes questions aux bonnes personnes, nous pouvons le faire émerger. »

Lexie Wu, responsable produit du groupe en charge de la modération chez Quora

Quel est le problème avec les réponses générées par l'IA ?

Exemple de réponse générée par l'IA

L'IA générative permet aux spammeurs de générer des centaines, voire des milliers de réponses d'apparence authentique sans grand effort. On pourrait faire valoir qu'une réponse générée par l'IA reste globalement positive. Les utilisateurs obtiennent une réponse qui est peut-être de qualité médiocre ou moyenne, mais qui va souvent dans la bonne direction. C'est mieux que pas de réponse du tout, n'est-ce pas ?

Dans l'absolu, peut-être… mais la présence de réponses générées par l'IA sur Quora entraîne plusieurs effets indésirables.

1. Lorsqu'une question a déjà reçu une réponse, cela dissuade les autres de prendre le temps de rédiger leur propre réponse. Ainsi, même si une question a reçu une réponse satisfaisante générée par l'IA, cette réponse réduit les chances que quelqu'un décide de partager sa propre expérience concrète.
2. L'IA évince les publications authentiques. Comme sur de nombreuses plateformes, les vues et l'engagement constituent un jeu à somme nulle. Chaque fois qu'un utilisateur voit du contenu généré par l'IA dans son fil d'actualité ou son résumé, d'autres créateurs réels sont privés de l'engagement qu'ils méritent.
3. Risque de réputation. Les gens savent reconnaître quand une réponse qu’ils lisent a été rédigée par une IA. Cela soulève la question suivante : pourquoi se rendre sur Quora si c’est pour ne lire que des réponses générées par une IA ? Pourquoi ne pas simplement aller sur ChatGPT ? Quora propose une valeur ajoutée différente de celle de ChatGPT – des réponses authentiques fournies par de vraies personnes – et veille à la qualité de sa plateforme pour s’assurer que cela reste le cas.

Pourquoi utiliser Pangram ?

Il est parfois difficile de déterminer à l'œil nu si un texte a été rédigé par une IA. Dans d'autres cas, c'est tout simplement une tâche fastidieuse qui oblige un modérateur à lire attentivement le texte pendant un certain temps avant d'en être certain. L'automatisation de ce processus permet de décharger les modérateurs d'une tâche qui, autrement, serait très coûteuse, ce qui, à long terme, fait gagner du temps et de l'argent.

Bien qu'il existe quelques solutions open source visant à résoudre le problème de la détection de l'IA pour GPT-2, aucune n'a donné de bons résultats avec GPT-4, le modèle linguistique de grande envergure (LLM) le plus couramment utilisé. Des plateformes telles que Quora recherchent une solution capable de classer les résultats générés même par des modèles avancés comme GPT-4. Idéalement, cette solution devrait rester compatible avec les nouveaux LLM, car des modèles linguistiques de pointe sont lancés tous les deux ou trois mois.

Pangram, qui s'appuie sur des évaluations rigoureuses et affiche une précision plus de 100 fois supérieure à celle de concurrents tels que GPTZero, était l'une des seules solutions capables de détecter de manière fiable les contenus générés par GPT-4 en avril 2024, et reste aujourd'hui, de loin, le modèle de détection d'IA le plus précis.

De plus, le pipeline de données de Pangram intègre une capacité d'adaptation aux futures versions des modèles de langage (LLM). Il est capable de générer des données d'entraînement synthétiques et de former un nouveau modèle dans les 24 heures suivant la mise à disposition d'un nouveau LLM. En juillet 2024, Pangram a étendu la prise en charge linguistique à plus de 20 langues et continue d'améliorer ses modèles afin de garantir une grande précision à ses clients.

Impact

En septembre 2024, Quora avait identifié plus d'un million de publications générées par l'IA, ce qui a permis d'améliorer la qualité du contenu sur l'ensemble du site et de préserver sa réputation de source d'information authentique et fiable.

Pangram continue de jouer un rôle de catalyseur pour les équipes chargées de la confiance et de la sécurité, en leur fournissant les outils nécessaires pour définir en toute confiance des politiques relatives au contenu généré par l'IA.

Vous avez un cas d'utilisation pour la détection par IA ? Contactez-nous à l'adresse info@pangram.com!