Pangram ou Turnitin : lequel offre le meilleur système de détection par IA ?

Si vous vous intéressez un tant soit peu au domaine de l'intégrité académique, vous connaissez sans doute Turnitin. C'est le leader incontesté du monde universitaire, et ce n'est pas sans raison en matière de détection du plagiat. 

Partout en France, les établissements scolaires utilisent Turnitin pour vérifier que les travaux des élèves ne contiennent pas de plagiat. On pourrait donc penser que, puisque cet outil fait déjà partie intégrante des processus de travail, le recours à ses fonctionnalités de détection par IA constituerait une évolution tout à fait naturelle. 

Mais si le système de détection par IA de Turnitin peut s'avérer utile en cas de besoin, les contenus générés par l'IA dépassent de loin le cadre de la salle de classe. Nous avons constaté que 67 % des internautes ont déjà été confrontés à des informations trompeuses générées par l'IA — et pourtant, ce même groupe reste préoccupé par les taux de faux positifs. 

La précision reste importante, tant en classe qu'en dehors. 

C'est pourquoi, lorsque nous avons comparé Pangram et Turnitin, la précision a été le critère le plus important que nous avons évalué. 

Aujourd'hui, je vais vous présenter en détail nos recherches, qui portent sur les performances de détection, les taux de faux positifs, les langues prises en charge, l'accessibilité, les tarifs et les options de déploiement, afin de déterminer quelle plateforme correspond le mieux à vos besoins. 

Pangram contre Turnitin : le point sur la situation

Bien qu'elles puissent sembler similaires à première vue, Pangram et Turnitin abordent la détection par IA avec des priorités fondamentalement différentes. Turnitin est un écosystème plus vaste, déjà adopté par de nombreux établissements universitaires, qui intègre également des fonctionnalités de détection par IA. 

Pangram, quant à lui, a été conçu avant tout pour la détection par IA. 

Qu'est-ce qu'un pangramme ?

Pangram est une plateforme de détection de l'IA conçue pour les enseignants, les éditeurs, les équipes chargées des admissions et, plus généralement, toute personne ou organisation ayant besoin d'évaluer l'origine d'un texte. Si vous souhaitez savoir si l'IA a été utilisée pour créer un contenu, nous pouvons vous aider. 

Ce sont nos méthodes qui nous distinguent des autres détecteurs. Les premiers outils de détection basés sur l'IA se concentraient excessivement sur des mesures superficielles telles que la perplexité et la granularité. 

C'est pourquoi nous avons développé Pangram afin de résoudre deux des principaux problèmes liés à la détection de l'IA : les faux positifs et les contenus générés par l'IA mais présentant un aspect humain. 

Nos modèles sont entraînés à partir de millions d'exemples de textes rédigés tant par des humains que par l'IA, ce qui leur permet d'identifier correctement les textes générés sans signaler à tort les textes rédigés par des humains. 

Le résultat ? Un détecteur conçu pour analyser le document dans son ensemble plutôt qu'une poignée de signaux isolés. 

Aujourd'hui, Pangram prend en charge la détection dans 24 langues et propose une plateforme web, une extension Chrome, des intégrations à des systèmes de gestion de l'apprentissage (LMS) ainsi qu'une API d'entreprise destinée aux organisations qui ont besoin de vérifier des contenus à grande échelle.

Qu'est-ce que Turnitin ?

Si vous avez suivi un cursus universitaire au cours des deux dernières décennies, ce nom ne vous est certainement pas inconnu ! Turnitin est une plateforme dédiée à l'intégrité académique, surtout connue pour son logiciel de détection du plagiat. Sa dernière nouveauté remonte à 2023, année où l'entreprise a élargi son offre pour inclure la détection de la rédaction assistée par IA (une évolution tout à fait logique). 

De nombreux établissements utilisaient déjà Turnitin pour comparer les travaux remis par les étudiants à de vastes bases de données regroupant des travaux publiés et déjà soumis. L'ajout d'une fonctionnalité de détection du plagiat généré par l'IA a permis à ces établissements d'évaluer simultanément à la fois le plagiat et les textes générés par l'IA.

C'est pourquoi Turnitin est souvent utilisé dans le cadre d'un programme plus large d'intégrité académique plutôt que comme un simple outil autonome de détection de plagiat.

Son public cible reste les établissements scolaires (de la maternelle à la terminale) et les universités qui ont besoin de systèmes centralisés pour gérer l'intégrité académique à grande échelle.

Précision

Pour quiconque évalue un outil de détection basé sur l'IA, la précision est LA métrique à prendre en compte. Heureusement, il n'y a pas lieu de se poser de questions sur la précision de ces deux outils. Pangram et Turnitin ont tous deux publié des rapports techniques, ce qui nous permet de comparer directement leurs chiffres. 

Avant d'aborder ces points, il convient de préciser ce que l'on entend ici par « précision », car ce terme est souvent utilisé à tort et à travers dans le domaine de la détection par IA. Il n'y a en réalité que deux indicateurs pertinents à cet égard, ce qui rend la notion facile à comprendre. 

• Taux de rappel : à quelle fréquence le détecteur identifie-t-il correctement un contenu généré par l'IA ? 

• Taux de faux positifs : à quelle fréquence le détecteur signale-t-il à tort qu'un texte écrit par un humain provient d'une IA ?

La plupart des détecteurs d'IA actuellement disponibles sur le marché penchent un peu trop d'un côté ou de l'autre. Il est facile d'exceller dans un domaine, mais réussir dans les deux est bien plus difficile. Heureusement, Pangram et Turnitin s'en sortent plutôt bien dans ce domaine. 

Grâce au rapport technique de Turnitin, nous savons que les chercheurs ont constaté un taux de détection de 76,8 % pour les contenus générés par GPT-4 lors des tests de leur outil. Cela signifie que, lors des essais techniques, Turnitin n'a pas détecté un document sur quatre généré par l'IA.

De même, le rapport technique de Pangram a révélé que Pangram affichait un taux de détection supérieur à 99,9 % pour cette même famille de modèles. Et pour les établissements qui examinent de grands volumes de travaux d'étudiants, l'écart entre les deux outils est considérable, Pangram détectant un pourcentage bien plus élevé de contenus générés. 

Les affirmations relatives à la précision, telles que celles évoquées ci-dessus, ne sont utiles que si elles peuvent faire l'objet d'un examen minutieux et sont régulièrement testées et réévaluées. C'est pourquoi nous publions des données de référence et encourageons les évaluations indépendantes par le biais de partenariats universitaires et de programmes d'accès destinés aux chercheurs. Plusieurs études menées par des tiers ont directement évalué les performances de Pangram. 

L'histoire devient encore plus intéressante lorsqu'on s'intéresse aux faux positifs. Turnitin fait état d'un taux de faux positifs d'environ 0,51 %, soit environ 1 document sur 200. Les tests comparatifs de Pangram indiquent un taux de faux positifs global de 1 sur 10 000, ce taux étant encore plus faible pour les dissertations universitaires, avec environ 1 sur 25 000.

Lorsque je compare les données de référence disponibles, le gagnant en matière de précision s'impose clairement. Pangram détecte un pourcentage plus élevé de contenus générés par l'IA tout en produisant nettement moins de faux positifs.

Taux de faux positifs

Il est certes frustrant de ne pas disposer d'un texte généré par l'IA, mais accuser à tort un étudiant de tricherie dans une affaire d'intégrité académique est, à mon avis, bien pire.

Dans une salle de classe, une rédaction ou sur un lieu de travail, un faux positif peut avoir de réelles conséquences. Un étudiant peut être accusé de tricherie, un journaliste peut voir son travail remis en cause, ou un rédacteur en chef peut perdre confiance dans un article pourtant légitime. Si les utilisateurs ne peuvent pas se fier aux résultats, la précision du détecteur perd beaucoup de son intérêt.

Selon Turnitin, la plateforme fait état d'un taux de faux positifs de 0,51 %, soit environ 1 sur 200. Cela signifie qu'environ un document authentique est signalé à tort pour 200 documents évalués.

Les rapports de tests de performance publiés par Pangram font état d'un taux de faux positifs global de 1 sur 10 000. Sur un ensemble de données composé d'essais universitaires comparable à celui utilisé par Turnitin pour son évaluation, ce taux chute encore davantage, à 1 sur 25 000.

Ces chiffres ont été vérifiés de manière indépendante par l'Université de Chicago, ce qui nous permet de les valider lorsque des établissements utilisent Pangram pour prendre des décisions concernant le travail des étudiants.

Biais ESL

Une préoccupation majeure qui persiste concernant la détection de l'IA est de savoir si les auteurs dont l'anglais n'est pas la langue maternelle sont plus susceptibles d'être signalés à tort comme utilisant l'IA. Étant donné que les locuteurs non natifs de l'anglais écrivent souvent d'une manière qui génère des scores de perplexité plus faibles, les textes rédigés par des humains peuvent parfois sembler statistiquement similaires à des textes générés par l'IA.

Tous les détecteurs d'IA affirment que la réduction des biais liés à l'anglais langue seconde (ESL) est une priorité. Mais la vraie question est de savoir si les chiffres corroborent cette affirmation.

Au cours de notre évaluation ESL, le modèle a affiché des taux de faux positifs extrêmement faibles, tant sur les ensembles de données ESL que sur les ensembles de données non ESL :

Ces résultats s'inscrivent dans la lignée de l'approche plus globale de Pangram en matière de détection de l'IA, qui évalue les schémas au niveau du document plutôt que de se fonder sur des choix lexicaux individuels ou des modèles de rédaction rigides.

Si vous souhaitez approfondir vos connaissances sur les recherches sous-jacentes, consultez notre analyse de la précision de la détection par IA dans les textes rédigés par des locuteurs non natifs, ainsi que nos capacités de détection multilingues par IA.

Disponibilité

Même si cela peut sembler évident, un détecteur d'IA ne sert à rien si vous ne pouvez pas l'utiliser ! C'est l'une des principales différences entre Pangram et Turnitin, et cela mérite d'être souligné ici, car de nombreux enseignants ont besoin d'une solution personnalisée.

Pangram s'adresse à tout le monde : enseignants, éditeurs, équipes juridiques, responsables de la révision de contenu en entreprise, etc. Créez un compte et commencez à utiliser la plateforme dès maintenant, avec notamment quatre analyses gratuites par jour. N'hésitez pas à l'essayer dès maintenant si vous ne l'avez pas encore fait. 

Turnitin, en revanche, est difficile d'accès à moins qu'il n'ait été mis à disposition au niveau de l'établissement. Les enseignants à titre individuel n'ont généralement pas cette chance. L'accès à Turnitin est réservé à ceux qui disposent d'une licence institutionnelle, généralement gérée par un établissement scolaire ou une université.

Pangram ne s'adresse toutefois pas uniquement aux particuliers. Les universités et les districts scolaires peuvent également déployer Pangram à grande échelle grâce à des licences institutionnelles, offrant ainsi au corps enseignant et au personnel un accès illimité, ainsi que des intégrations avec les plateformes de gestion de l'apprentissage (LMS).

En d'autres termes, Pangram est accessible à un usage individuel, tout en prenant en charge les déploiements en milieu institutionnel pour lesquels Turnitin a été conçu. 

Tarifs

Dans le même ordre d'idées, Turnitin se montre tout aussi discret quant à ses tarifs. Si vous n'êtes pas un établissement, vous n'aurez accès à aucune information sur les tarifs. 

Pangram facilite l'accès à ses tarifs et leur comparaison. Les utilisateurs particuliers peuvent commencer gratuitement avec quatre analyses par jour ; les formules payantes sont proposées à partir de 15 $ par mois pour un maximum de 600 analyses par IA. Des licences institutionnelles sont également disponibles pour les établissements scolaires et les organisations ayant besoin d'un accès plus étendu, ce qui nous permet de répondre à tous les types de besoins.

Turnitin ne publie toutefois pas ses tarifs. Les licences institutionnelles sont disponibles sur devis, les tarifs étant généralement négociés directement avec les établissements scolaires. Il n'existe ni formule individuelle ni option en libre-service permettant à une personne souhaitant tester le logiciel de détection avant de se décider à l'acheter ; nous ne pouvons donc pas nous prononcer de manière exhaustive sur sa tarification.

Langues prises en charge 

La prise en charge linguistique constitue l'une des différences pratiques les plus marquantes entre ces deux plateformes.

Pangram prend en charge 24 langues, dont l'anglais, l'arabe, le chinois, le néerlandais, le tchèque, le français, l'allemand, le grec, l'hindi, le hongrois, l'italien, le japonais, le coréen, le persan, le polonais, le portugais, le roumain, le russe, l'espagnol, le suédois, le turc, l'ukrainien, l'ourdou et le vietnamien.

Turnitin, quant à lui, prend en charge trois langues: l'anglais, le japonais et l'espagnol. Toutefois, nos fonctionnalités d'écriture en paraphrase et de contournement de la détection, basées sur l'IA, ne sont disponibles que pour les documents soumis en anglais.

Pour les établissements accueillant des étudiants internationaux ou les équipes d'entreprise chargées de vérifier des contenus dans plusieurs langues, cette lacune est importante. Un outil de détection qui ne prend en charge que trois langues crée des angles morts, laissant ainsi les contenus générés par l'IA dans des langues non prises en charge hors du champ de la vérification.

Comment utiliser Pangram ?

L'un des avantages de Pangram par rapport à Turnitin réside dans sa flexibilité. Loin de se limiter à un seul processus de travail, Pangram peut être utilisé de plusieurs façons différentes selon la manière dont vous examinez le contenu :

• Tableau de bord : vous pouvez utiliser le tableau de bord gratuit de Pangram pour coller du texte ou importer des documents afin de vérifier s'ils contiennent du contenu généré par l'IA. Depuis le tableau de bord, vous pouvez consulter un rapport détaillé sur le texte généré par l'IA, comprenant notamment un graphique indiquant les emplacements où l'IA a été détectée et mettant en évidence les expressions couramment utilisées par l'IA.

• Extension Chrome : vous pouvez utiliser l'extension Chrome « Pangram » pour vérifier si un texte contient du contenu généré par l'IA. Pour cela, sélectionnez le texte, puis choisissez « Vérifier la présence de contenu généré par l'IA » dans le menu contextuel. Cette fonctionnalité fonctionne partout sur Internet, y compris dans Canvas Speedgrader et sur les forums de discussion. L'extension ajoute également un bouton dans Google Docs permettant de vérifier instantanément si le document contient du contenu généré par l'IA.

• Intégration à une plateforme de gestion de l'apprentissage (LMS) : Pangram propose diverses intégrations, notamment avec Canvas et Google Classroom. Celles-ci ne sont disponibles que via une licence institutionnelle. 

Trouvez la plateforme de détection par IA la mieux adaptée à votre équipe

Dans l'ensemble, Pangram et Turnitin ont tous deux fourni des preuves solides à l'appui de leurs affirmations concernant la précision, mais Pangram est deux ordres de grandeur plus précis que Turnitin par rapport aux autres détecteurs basés sur l'IA.

Si vous souhaitez constater la différence par vous-même, vous pouvez essayer Pangram gratuitement. Lancez votre première analyse avec notre détecteur d'IA, utilisez l'extension Chrome pour vérifier le contenu au fur et à mesure de votre navigation, ou découvrez notre API Entreprise pour comprendre son fonctionnement.