Outil de vérification d'essais par IA : ce qui fonctionne réellement pour vérifier les rédactions des étudiants

Selon la dernière étude du College Board, 74 % des enseignants des établissements d’enseignement supérieur indiquent que les étudiants ont recours à l’IA pour rédiger leurs dissertations.

Ce chiffre ne reflète même pas le nombre d’étudiants qui utilisent l’IA sans se faire prendre. Il ne représente que les enseignants qui l’ont remarqué.

Face à une utilisation aussi répandue de l’IA dans le milieu universitaire, apprendre à reconnaître les caractéristiques des grands modèles linguistiques (LLM) et à vérifier l’intégrité des travaux écrits des étudiants n’est plus une option. C’est ce qui a donné naissance au vérificateur de dissertations par IA, qui est (pour le meilleur ou pour le pire) un énième LLM promettant d’aider à identifier l’utilisation de l’IA, souvent avec des résultats mitigés.

Aujourd’hui, nous allons examiner ce qu’est un vérificateur de dissertations par IA, comment il fonctionne et si vous pouvez l’utiliser pour vérifier efficacement les rédactions des étudiants.

Qu'est-ce qu'un correcteur d'essais basé sur l'IA ?

Un vérificateur de dissertation basé sur l'IA est un logiciel qui analyse un texte, en l'occurrence une dissertation d'étudiant, afin de détecter d'éventuels indices d'utilisation de l'IA. L'objectif est de s'assurer que l'étudiant a rédigé sa dissertation sans l'aide d'un modèle de langage de grande envergure (LLM) et, dans certains cas, de repérer les fautes d'orthographe et de grammaire courantes.

Le terme « vérificateur de dissertation » recouvre deux fonctions distinctes, qu'il est utile de distinguer avant d'évaluer un outil.

Outils de vérification de la grammaire et de la clarté des textes

Le premier type d'outil de vérification de rédaction aide l'auteur à améliorer son brouillon en vérifiant la grammaire, la clarté, la structure et les citations. Ces outils ne suscitent généralement aucune controverse en classe.

Parmi les outils courants d'amélioration de la rédaction, on peut citer :

• ProWritingAid
• Quillbot
• Paperpal
• Éditeur Hemingway
• Grammarly (même si la suite intègre désormais une fonctionnalité de détection par IA)

Outils de vérification permettant de vérifier l'origine d'un texte

Le deuxième type de vérificateur de rédaction contrôle l'origine d'un texte. Cela consiste notamment à détecter les textes générés par l'IA (c'est-à-dire à vérifier si le texte a été créé par une machine) et, parfois, à repérer les cas de plagiat.

Voici quelques exemples courants de ce type d'outils :

• Pangram
• Originality.ai
• GPTZero
• Turnitin

La plupart des enseignants ne voient pas d’inconvénient à l’utilisation d’outils automatisés d’aide à la grammaire et à l’orthographe ; ces outils de vérification de dissertations ne constituent donc pas un problème en matière d’intégrité académique.

En revanche, lorsqu’il s’agit d’étudiants utilisant l’IA pour générer l’intégralité de leur dissertation, c’est une tout autre histoire. C’est alors que de nombreux enseignants se tournent vers un deuxième type d’outil de vérification de dissertations afin de s’assurer de l’authenticité des travaux de leurs étudiants.

Conseil : certains outils prétendument destinés à la détection de textes générés par IA intègrent également des fonctions d’« humanisation » par IA, ce qui permet à l’utilisateur de l’IA de modifier aléatoirement le texte pour lui donner un ton plus humain (tout en conservant la nature intrinsèque d’un modèle de langage grand modèle). Cette fonctionnalité va à l’encontre de ce que vous recherchez en tant qu’enseignant ; évitez donc les outils qui proposent cette fonctionnalité.

Quelle est la différence entre un outil de vérification de rédaction et un outil de détection de plagiat ?

On nous pose souvent cette question, et il est facile de confondre les deux. Cependant, la différence entre un vérificateur de rédaction basé sur l’IA et un détecteur de plagiat est assez simple : ils répondent à deux problèmes différents.

Un vérificateur de rédaction basé sur l’IA pose la question « Ce texte a-t-il été rédigé par une IA ? » et attribue à l’analyste un score indiquant dans quelle mesure il est probable que la réponse à cette question soit « Oui ». Il ne vous indique pas d’où provient un texte généré par l’IA, mais simplement qu’il a été produit par un modèle de langage (LLM).

En revanche, un détecteur de plagiat pose la question suivante : « Ce texte a-t-il été copié à partir d’une source existante ? » Il recherche des correspondances quasi mot pour mot parmi des millions d’articles, de sites web, de forums et de bases de données, puis fournit à l’analyste des passages surlignés illustrant ses résultats.

Si vous êtes enseignant, vous comprenez sans doute déjà la nécessité de ces deux outils. Bien qu’il y ait un certain chevauchement entre les deux (l’IA peut commettre du plagiat en se basant sur ses données d’entraînement), chacun répond à un besoin distinct. Il existe ici deux façons pour un élève de tenter de contourner un devoir plutôt que de le réaliser, et deux solutions différentes.

Quelle est la précision des outils de vérification d'essais basés sur l'IA ?

Dans le domaine de la détection par IA, la précision ne se résume pas à un simple chiffre, et aucun outil n'est fiable à 100 %. L'efficacité d'un outil de détection par IA dépend de deux facteurs :

• Le taux de détection indique si l'outil de détection est capable, en premier lieu, de détecter l'utilisation de l'IA.
• Le taux de faux positifs (FPR) désigne la proportion de cas où l'outil identifie à tort un texte rédigé par un humain comme étant généré par l'IA.

Une infographie comparant le taux de détection et le taux de faux positifs des outils d'IA de correction de dissertations.

Les faux positifs constituent une préoccupation majeure pour les enseignants, car il peut être risqué d’avancer la moindre accusation de malhonnêteté académique, et le faire sur la base d’un faux positif peut aboutir à une note d’échec injustifiée, voire à une exclusion.

La plupart des outils de détection présentent un point faible. Les textes courts et les textes fortement remaniés sont les plus difficiles à analyser pour toutes les solutions de détection par IA, mais surtout avec un outil d’analyse basé sur la perplexité.

C’est pourquoi le taux de faux positifs (FPR) de Pangram, vérifié par un organisme tiers, qui s’élève à 0,01 %, en fait un détecteur fiable pour une utilisation dans l’enseignement supérieur. La technologie de détection par réseau neuronal que nous utilisons résiste aux outils de paraphrase et d’humanisation ; vous pouvez donc être assuré que le risque de faux positif est aussi faible que possible.

Le recours à l'IA pour rédiger une dissertation constitue-t-il une forme de malhonnêteté académique ?

Rédiger un essai à l’aide de l’IA n’est pas tout à fait synonyme de plagiat, mais la plupart des universités considèrent cela comme une atteinte à l’intégrité académique. La raison tient essentiellement à la manière dont les politiques d’intégrité académique définissent les infractions.

« Le plagiat consiste à présenter comme siennes des idées, des recherches ou des textes qui ne sont pas les vôtres. Voici quelques exemples de plagiat : copier les mots ou les images d’une autre personne ou d’un outil d’IA sans utiliser de guillemets ni de citations attribuant ces éléments à leur source. »

- City University of New York


Selon de nombreuses définitions du plagiat, notamment celles de l’université du Michigan et de l’université d’Oxford, l’essentiel est qu’il s’agit de remettre un travail que vous n’avez pas réalisé vous-même.

Utiliser un LLM pour générer du texte revient à exploiter la capacité de l’IA à prédire des séquences de mots probables pour réaliser un devoir, ce qui est très différent de réaliser ce devoir soi-même. Lorsqu’un étudiant rend ce travail, il présente le travail de quelqu’un d’autre comme le sien, ce qui correspond à la définition courante du plagiat.

Comment vérifier si un essai a été rédigé par une IA (étape par étape)

Maintenant que nous avons défini ce qu'est un correcteur d'essais basé sur l'IA et comment il fonctionne, voyons comment relire un essai en suivant une méthode capable de résister à un contrôle.

Une image présentant les quatre étapes à suivre pour vérifier si un essai a été rédigé par une IA.

1. Lire le texte

La première étape consiste bien sûr à soumettre votre dissertation à un détecteur d'IA. Vous pouvez le faire par un simple copier-coller ou directement depuis votre plateforme d'apprentissage en ligne (LMS) où se trouve déjà votre travail.

Pangram propose une extension Chrome ainsi que des intégrations à Canvas et Blackboard, ce qui vous évite d'avoir à exporter les travaux des étudiants pour les noter. Si vous préférez toutefois cette méthode, n'hésitez pas !

2. Consulter le score de probabilité généré par l'IA

Une fois le texte analysé, vous obtiendrez un score. Ce score ne sera pas un « oui » ou un « non », mais une échelle ou un pourcentage indiquant dans quelle mesure le texte est susceptible d’avoir été généré par un modèle de langage de grande envergure (LLM). Il s’agit davantage d’un indicateur de triage que d’un verdict définitif.

Si le texte obtient un score de 100 % « rédigé par un humain », vous pouvez passer à l’étape suivante. En revanche, un score inférieur vous invite à approfondir l’analyse.

3. Lire les indicateurs au niveau des segments

Pour les dissertations pour lesquelles un certain pourcentage de contenu généré par IA a été détecté, c’est à ce stade que vous devez approfondir votre analyse. C’est également à ce stade qu’un détecteur rigoureux se distingue des autres.

À ce stade du processus, Pangram (par exemple) peut mettre en évidence les passages spécifiques d’une dissertation qui présentent des schémas caractéristiques de l’IA. Vous pouvez voir où le signalement a eu lieu, ce qui l’a provoqué, et si ce sont trois phrases qui sont en cause ou si c’est l’ensemble de la dissertation qui est suspectée.

Ce niveau de détail s’avérera utile si vous devez expliquer votre raisonnement à un étudiant ou à une commission d’intégrité académique.

4. Vérifier le contexte avant de prendre toute décision

Enfin, vous devrez toujours comparer les passages signalés, voire des travaux entiers, avec les travaux antérieurs de l’étudiant et son style d’écriture.

Le travail que vous analysez correspond-il à ses travaux antérieurs ? Son style semble-t-il différent de celui qu’il utilise lors des examens ou dans ses devoirs écrits ? Les réponses à ces questions vous aideront à vous forger une opinion.

Tout au long de cette réflexion, n’oubliez pas que le score attribué par un détecteur d’IA n’est qu’une pièce parmi d’autres d’un puzzle plus vaste.

Les critères à prendre en compte pour choisir un outil de vérification de dissertations basé sur l'IA

La priorité absolue pour quiconque recherche un outil de vérification de dissertations basé sur l'IA devrait être la précision. Signaler à tort un travail rédigé par un humain ne sert à rien et peut causer beaucoup de tort.

Comment éviter cela ?

Tenez compte de ces six critères lorsque vous évaluez des outils de vérification de dissertations basés sur l'IA :

1. Un faible taux de faux positifs : le taux de faux positifs (FPR) de Pangram, vérifié par un organisme tiers, s'élève à 0,01 %, ce qui signifie que lorsque l'outil signale une dissertation, vous pouvez prendre les mesures qui s'imposent sans vous demander si vous êtes sur le point d'accuser à tort un étudiant honnête.
2. Analyse au niveau des segments : un score unique pour l'ensemble d'un document n'est pas très utile. Les indicateurs au niveau des phrases vous montrent exactement quels passages semblent avoir été générés par une IA, ce qui vous permet de repérer les différences.
3. Détection simultanée de l'IA et du plagiat : un outil qui vérifie à la fois la présence de texte généré et de texte copié en une seule opération comble ces deux lacunes d'un seul coup, au lieu de vous obliger à effectuer deux vérifications distinctes pour chaque soumission.
4. Prise en charge de plus de 20 langues : malheureusement, certains détecteurs moins performants peuvent signaler à tort les textes rédigés par des étudiants dont le français n'est pas la langue maternelle comme étant générés par l'IA. Il est donc recommandé de privilégier une solution offrant une large prise en charge linguistique, afin que vos étudiants multilingues soient évalués de manière équitable.
5. Intégration au LMS : un détecteur qui vous oblige à quitter votre carnet de notes ne fait qu'alourdir votre charge de travail et multiplier les étapes. Vous devez rechercher un détecteur d'IA qui vous facilite la vie, et non l'inverse.
6. Validation par un organisme tiers indépendant : avant tout, votre outil doit pouvoir résister à un examen minutieux ; optez donc pour un outil qui a été testé et validé par des organismes indépendants.

Si vous parvenez à trouver un outil de vérification qui satisfait à ces six critères, vous saurez que vous avez affaire à un outil de qualité, capable de tenir ses promesses.

FAQ sur les outils de vérification d'essais basés sur l'IA

Vous avez encore des questions sur l'utilisation de l'IA dans les dissertations et sur la manière de la repérer ? Nous avons les réponses.

Existe-t-il un outil gratuit de vérification de dissertations basé sur l'IA ?

Techniquement, oui, plusieurs outils proposent un vérificateur d'essais par IA gratuit, mais cela implique généralement des limites en termes de nombre de mots, de nombre de vérifications par mois ou de profondeur d'analyse.

Cela semble bien en théorie, mais ces limites s'accompagnent souvent d'un taux de faux positifs plus élevé, ce qui rend les scores moins utiles pour les travaux liés à l'intégrité académique.

Les outils de vérification de dissertations sont-ils vraiment efficaces ?

Un outil de détection de plagiat est généralement efficace lorsqu’il présente un taux de détection élevé associé à un taux de faux positifs quasi nul. Si l’outil que vous évaluez ne publie pas sa méthodologie de détection, méfiez-vous. Les outils qui signalent une part significative de textes rédigés par des humains comme provenant de l’IA (ou inversement) ne vous sont d’aucune utilité.

Existe-t-il un correcteur d'essais basé sur l'IA, gratuit et fiable, que je puisse utiliser pour noter mes travaux ?

Vous pouvez bien sûr trouver un outil gratuit de vérification de dissertations basé sur l'IA (une simple recherche sur Google en propose des dizaines), mais cela ne signifie pas pour autant qu'il fonctionnera comme vous le souhaitez. Avant de faire confiance à un outil, qu'il soit gratuit ou non, assurez-vous toujours qu'il a été testé et validé de manière indépendante par un organisme tiers reconnu.

Trouvez l'outil de vérification de dissertations adapté pour garantir l'intégrité académique

En fin de compte, si vous devez vérifier les travaux écrits de vos étudiants, vous devez avoir la certitude que l’outil que vous utilisez à cette fin produira des résultats fiables. C’est pourquoi nous sommes si fiers du taux de faux positifs de 0,01 % de Pangram : il donne aux enseignants et aux responsables pédagogiques la confiance nécessaire pour prendre des mesures justifiées.

Vous souhaitez le tester sur les travaux de vos étudiants ? Commencez dès aujourd’hui à utiliser l’extension Chrome de Pangram et vérifiez les dissertations directement dans votre LMS.