
On peut affirmer sans conteste que « la personnalité de l’année 2023 » est l’IA. Nous avons tous été surpris par la rapidité des innovations et les capacités des grands modèles linguistiques (LLM) et, plus généralement, de l’IA générative (GenAI). Dans le même temps, nombreux sont ceux, notamment sur les plateformes en ligne, qui s’interrogent sur les risques potentiels que ces technologies peuvent présenter – voir cet article de la Harvard Business Review qui présente certains risques liés à l’IA. Les plateformes en ligne pourraient bientôt être inondées de contenus générés par l'IA, ce qui aurait des implications pour la sécurité et la fidélisation de leurs utilisateurs ainsi que pour la réputation des plateformes. Il existe déjà des start-ups qui proposent des outils permettant de générer et de diffuser des volumes massifs de contenus GenAI.
Mais l'IA et l'IA générative peuvent également être mises à profit pour gérer ces risques et nous aider à créer des espaces numériques et des plateformes en ligne plus sûrs, comme en témoignent certaines idées issues du dernier hackathon « Trust & Safety ». À l'heure où de nouveaux outils voient le jour, le moment est venu de faire le point sur l'état d'avancement des dernières innovations et des processus visant à gérer les risques auxquels sont confrontées les plateformes en ligne en raison de l'IA générative.
Cet article peut vous aider à répondre à des questions telles que :
Toute entreprise proposant du contenu généré par les utilisateurs doit se doter d'une politique relative à l'IA générative. Il convient généralement de répondre à deux questions : les utilisateurs souhaitent-ils voir du contenu généré par l'IA, et acceptent-ils que ce contenu soit mélangé à du contenu créé par des humains ?
Si vous répondez « non » à l'une ou l'autre de ces questions, vous devez alors mettre en place une politique relative au contenu généré par l'IA. Il peut s'agir, par exemple, d'exiger que ce type de contenu soit signalé ou de l'interdire formellement. Une telle politique peut être appliquée par des modérateurs humains dotés d'un œil avisé et de processus efficaces, à l'aide d'outils tels que Pangram Labs.
Si la réponse est oui – c'est-à-dire que les utilisateurs acceptent ou sont enthousiastes à l'idée de voir du contenu généré par l'IA –, alors d'un point de vue stratégique, tout va bien. Cependant, avant de vous lancer et d'introduire directement des outils d'IA, comme les messages assistés par l'IA de LinkedIn, vous devrez tout de même vous assurer que le contenu est sûr. Pour cela, vous avez besoin de garde-fous et, surtout, vous devez toujours mettre en place des processus permettant de modérer de manière efficace et efficiente le contenu généré par l'IA, à l'instar de la modération du contenu généré par les utilisateurs, en utilisant des outils tels que la plateforme de modération de Tremau.
Bien sûr, votre politique en matière d’IA générative dépend de votre activité et de votre contexte. Il n’existe pas de solution universelle. Par exemple, si vous gérez une place de marché ou, plus généralement, une plateforme où les utilisateurs s’appuient sur les avis d’autres utilisateurs, vous devrez peut-être vous assurer qu’aucun avis généré par l’IA ne se retrouve sur votre plateforme. De manière plus générale, vous devez également vous assurer qu'aucun contenu illégal généré par l'IA, à l'instar du contenu généré par les utilisateurs, ne figure sur votre plateforme. Les bots et le spam ont toujours constitué un défi, mais grâce à la puissance de la GenAI, ils sont désormais plus puissants et plus difficiles à détecter.
La plupart des API d'IA commerciales intègrent des mécanismes de contrôle de l'IA. L'API Gemini de Google évalue automatiquement ses résultats selon quatre catégories de sécurité : discours de haine, harcèlement, contenu sexuellement explicite et contenu dangereux. Si vous utilisez l'API OpenAI d'Azure, vous obtenez des évaluations similaires basées sur les filtres de contenu « haine et équité », « contenu sexuel », « violence » et « automutilation ». Les deux API rejettent les requêtes dont le score est trop élevé dans l'une de ces catégories, mais laissent à votre appréciation les niveaux intermédiaires de modération de sécurité.
Si vous utilisez un modèle open source tel que Llama-2 ou Mistral, vous devrez développer votre propre filtre de contenu. Pour ce faire, vous pouvez recourir à un appel distinct vers un classificateur propriétaire (l'API de filtrage de contenu d'OpenAI, l'API de sécurité du contenu IA d'Azure) ou à une solution open source telle que LlamaGuard, récemment lancé par Meta. LlamaGuard est un modèle basé sur un LLM de 7 milliards de paramètres qui affiche d'excellentes performances. Il s'avère prometteur pour la classification des invites et des réponses, ainsi que pour la modération générale des contenus.
Quels que soient les outils automatisés que vous utilisez pour protéger vos utilisateurs et votre entreprise, aucune technologie ne peut vous protéger totalement. Tous les outils d'IA que vous utilisez commettront toujours des erreurs. Vous devez vous assurer que ces erreurs ne vous exposent pas à des risques opérationnels, liés à la clientèle ou réglementaires.
Tout d'abord, il faudra toujours faire intervenir des personnes qui, au minimum, examineront une partie du contenu que les outils auront signalé pour vérification. Bien entendu, vos processus de vérification du contenu doivent être efficaces et performants. Paradoxalement, plus le marché propose d'outils d'IA (par exemple pour générer ou modérer du contenu), plus vous risquez d'avoir besoin de faire intervenir du personnel dans certains cas.
Deuxièmement, tous les processus et pratiques de modération de contenu doivent être conçus en gardant à l'esprit la sécurité et la fidélisation de vos utilisateurs – et donc aussi les intérêts de votre entreprise. Que se passe-t-il si des erreurs de modération suscitent des inquiétudes ? Comment vous assurez-vous que vos utilisateurs puissent s’exprimer lorsque cela est nécessaire pour corriger vos décisions – ou celles de votre IA ? Comment garantir que vos modérateurs disposent de tout ce dont ils ont besoin pour prendre les meilleures décisions de modération de la manière la plus efficace et la plus efficiente possible ? La gestion de ces complexités, et d’autres encore, exige que vous réfléchissiez soigneusement à vos processus et que vous les automatisiez efficacement, en utilisant par exemple des outils tels que la plateforme de modération de contenu de Tremau.
Enfin, 2024 sera l'année où vous devrez vraiment redoubler d'efforts pour vous assurer de ne pas figurer parmi les entreprises sanctionnées par les autorités de régulation. La loi européenne sur les services numériques entrera en vigueur pour toutes les plateformes en ligne opérant en Europe, vous obligeant à repenser vos processus et à fournir – sous peine d'amende – des rapports, tels que des rapports de transparence. Bien entendu, la mise en conformité est indispensable, que votre plateforme soit concernée par l'IA ou qu'elle y ait recours.
Comment pouvons-nous vous aider ? Chez Checkfor.ai et Tremau, nous mettons tout en œuvre pour vous aider à vous y retrouver au mieux dans ce nouvel univers marqué par l'IA puissante et les nouvelles réglementations.
Pour en savoir plus, contactez-nous à l'adresse info@tremau.com ou info@pangram.com.
Theodoros Evgeniou est cofondateur et directeur de l'innovation chez Tremau, professeur à l'INSEAD, membre du réseau d'experts de l'OCDE sur l'IA, conseiller auprès du BCG Henderson Institute, et a été partenaire universitaire en matière d'IA au Forum économique mondial. Il est titulaire de quatre diplômes du MIT, dont un doctorat dans le domaine de l'IA.
Max Spero est cofondateur et PDG de Pangram Labs. Auparavant, il a occupé le poste d'ingénieur logiciel chez Google et Nuro, où il a mis en place des pipelines de données et formé des modèles d'apprentissage automatique. Il est titulaire d'une licence et d'un master en informatique de l'université de Stanford.
Cet article a été publié en collaboration avec Tremau en janvier 2024.

Max est un ingénieur chevronné en apprentissage automatique. Il a récemment travaillé sur les véhicules autonomes chez Nuro, où il a dirigé les efforts en matière d'apprentissage actif. Il possède une longue expérience dans le déploiement de produits d'apprentissage automatique couronnés de succès chez Google, Two Sigma et Yelp.
Max est titulaire d'une licence en informatique théorique et d'un master en intelligence artificielle de l'université de Stanford. Outre sa passion pour la construction, il est également un membre actif de la communauté des cubes de Magic: The Gathering.






