Quel est le meilleur : Pangram ou Turnitin ?

Comparaison des deux principaux détecteurs d'IA

On me pose souvent la question suivante : « En quoi Pangram se distingue-t-il du détecteur de plagiat basé sur l'IA de Turnitin ? » Après tout, de nombreux établissements scolaires utilisent le détecteur de plagiat classique de Turnitin. Le détecteur de plagiat basé sur l'IA de Turnitin est simple d'utilisation, mais de nombreux enseignants préfèrent opter pour Pangram. Pourquoi ? À mon sens, les deux facteurs principaux sont la précision et la disponibilité.

Précision de Pangram vs précision de Turnitin

Quelle est la précision de Pangram et quelle est celle de Turnitin ? Chaque entreprise a publié ses propres rapports techniques détaillant leur précision, et la précision des deux a été évaluée dans le cadre de différentes études universitaires.

Dans son rapport technique de septembre 2024, Turnitin fait état d'un taux de détection de 76,8 % pour les textes générés par GPT-4. Cela signifie que Turnitin détecte environ 77 % des textes générés par l'IA à partir de GPT-4 qu'il analyse.

En revanche, le rapport technique de Pangram fait état d'un taux de rappel global de 99,9 % pour les textes générés par l'IA, ainsi que pour les textes créés par GPT-4 en particulier. Ces chiffres sont corroborés par des recherches universitaires menées par des tiers : trois études indépendantes ont toutes conclu que Pangram affichait une précision supérieure à 99 %.

Taux de faux positifs

Le taux de faux positifs est un élément important de la précision, et sans doute le plus important dans le contexte d'une salle de classe. Si l'on ne peut pas se fier aux résultats fournis par son détecteur, quelle est alors sa véritable utilité ?

Le rapport technique de Turnitin fait état d'un taux de faux positifs de 0,51 %, soit environ 1 sur 200.

Le taux de faux positifs indiqué par Turnitin sur son site web

Pangram, quant à lui, affiche un taux global de faux positifs bien documenté de 0,01 %, soit 1 sur 10 000. Sur un ensemble de données d'essais universitaires similaire à celui utilisé pour l'évaluation de Turnitin, Pangram affiche un taux de faux positifs de 1 sur 25 000.

Biais ESL

Pangram et Turnitin affirment tous deux ne pas faire de discrimination à l'égard des locuteurs non natifs de l'anglais.

Pangram a enregistré un taux de faux positifs de 0,032 % sur quatre ensembles de données ESL utilisés pour l'évaluation.

Turnitin a analysé ses performances en matière de rédaction en anglais langue seconde (ESL) et a mesuré un taux de faux positifs de 1,4 % pour ce type de textes, contre 1,3 % pour les textes rédigés dans une autre langue que l'anglais.

Pangram a pu analyser le même ensemble de données dans le cadre d'une comparaison directe, démontrant un taux de faux positifs (FPR) nettement inférieur, à savoir 0,02 % pour les textes rédigés par des apprenants de langue seconde (ESL) et 0,0 % pour les textes non ESL.

Disponibilité

Pangram est accessible à tous les enseignants, que leur établissement dispose ou non d'une licence institutionnelle. Les enseignants peuvent effectuer cinq vérifications par jour gratuitement, mais ils peuvent souscrire un abonnement pour utiliser Pangram de manière intensive. Si un établissement achète une licence institutionnelle, tous les enseignants et membres du personnel auront un accès illimité à Pangram.

Turnitin n'est accessible que via une licence institutionnelle. Il n'est pas possible de tester gratuitement le produit de détection par IA de Turnitin sans souscrire à leur licence institutionnelle.

Comment utiliser Pangram ?

Il existe trois façons principales d'utiliser Pangram :

1. Tableau de bord: vous pouvez utiliser le tableau de bord gratuit de Pangram pour coller du texte ou télécharger des documents afin de vérifier s'ils contiennent du contenu généré par l'IA. Depuis le tableau de bord, vous pouvez consulter un rapport détaillé sur la rédaction par l'IA, comprenant un graphique indiquant les endroits où l'IA a été détectée ainsi que des exemples de phrases couramment générées par l'IA.
2. Extension Chrome: vous pouvez utiliser l'extension Chrome Pangram pour vérifier si un texte contient du contenu généré par l'IA en le sélectionnant, puis en choisissant « Vérifier le contenu généré par l'IA » dans le menu contextuel. Cela fonctionne partout sur Internet, y compris dans Canvas Speedgrader et sur les forums de discussion. L'extension ajoute également un bouton dans Google Docs permettant de vérifier instantanément si le document contient du contenu généré par l'IA.
3. Intégration à des plateformes d'apprentissage en ligne (LMS): Pangram propose diverses intégrations, notamment avec Canvas et Google Classroom. Celles-ci ne sont disponibles que dans le cadre d'une licence institutionnelle. Cliquez ici pour consulter la liste actualisée de nos intégrations.

Quelles langues sont prises en charge ?

Pangram prend en charge 24 langues, dont l'anglais, l'arabe, le chinois, le néerlandais, le tchèque, le français, l'allemand, le grec, l'hindi, le hongrois, l'italien, le japonais, le coréen, le persan, le polonais, le portugais, le roumain, le russe, l'espagnol, le suédois, le turc, l'ukrainien, l'ourdou et le vietnamien.

Turnitin prend en charge trois langues: l'anglais, le japonais et l'espagnol.

Résumé : Pangram contre Turnitin

Dans l'ensemble, Pangram et Turnitin ont tous deux fourni des preuves solides à l'appui de leurs affirmations concernant la précision, mais Pangram est deux fois plus précis que Turnitin par rapport aux autres détecteurs basés sur l'IA. Pangram prend en charge 24 langues, contre seulement trois pour Turnitin. Pangram propose un tableau de bord gratuit, une extension Chrome ainsi que des licences individuelles ou institutionnelles, tandis que Turnitin n'offre que des licences institutionnelles.

Vous vous interrogez sur l'ensemble des solutions de détection disponibles pour l'enseignement supérieur ? Découvrez quels détecteurs d'IA les établissements d'enseignement supérieur devraient utiliser.