Comment recueillir des preuves dans le cadre d'une affaire d'intégrité académique liée à l'IA

Nous tenons à remercier Marilyn Derby, directrice adjointe du service d'aide aux étudiants et des affaires judiciaires à l'université UC Davis, pour sa contribution aux idées développées dans cet article et pour certaines des ressources visuelles utilisées dans ce billet. Nous tenons également à remercier Amanda Clarke, directrice du département d'anglais à la Viewpoint School en Californie, pour son excellente référence sur la distinction entre les caractéristiques de l'écriture des étudiants et celles de l'écriture générée par l'IA.

Vous avez peut-être reçu une dissertation et vous avez le sentiment intuitif que ce texte n'a pas été rédigé par un élève de votre classe. Vous le soumettez à Pangram, qui vous répond avec un niveau de confiance de 99,9 % que ce texte a été généré par une IA.

Ou peut-être êtes-vous responsable de l'intégrité académique, et un professeur signale le travail d'un étudiant pour plagiat généré par l'IA, mais l'étudiant et ses parents insistent absolument sur le fait que l'étudiant l'a rédigé lui-même.

Vous lisez le texte et il présente tous les signes révélateurs d'une rédaction générée par une IA. « À l'ère technologique actuelle », commence le texte. L'étudiant explique qu'un auteur « tisse les détails de manière complexe à travers une riche tapisserie de perspectives ». L'essai, grammaticalement parfait et structuré de manière homogène, se termine par la phrase classique « En conclusion... » ou peut-être « Dans l'ensemble... ».

Au fond de vous, vous savez que votre élève n'a pas rédigé son devoir, mais vous ne pouvez tout simplement pas le prouver. Lorsque les personnes que vous essayez de convaincre vous disent « Les détecteurs d'IA ne fonctionnent pas et ne sont pas fiables » ou « Il est impossible d'en être certain », que faites-vous ?

Comme nous l'avons déjà mentionné, une détection positive par l'IA n'est que le début de la conversation et ne peut jamais être prise isolément lorsqu'une sanction à l'encontre d'un étudiant est envisagée. Bien que nous garantissions la précision de notre produit, nous pensons également qu'une approche holistique doit être adoptée lorsque les enjeux sont importants et que davantage de preuves doivent être recueillies après le score de détection par l'IA afin de prouver hors de tout doute raisonnable que le travail d'un étudiant n'est pas authentique ou original.

Aujourd'hui, nous allons aborder 7 stratégies permettant de recueillir des preuves supplémentaires dans ce type de cas.

1. Accumuler des preuves textuelles plus détaillées

Les textes générés par l'IA ne sont jamais « trahis » par une phrase ou un choix de mots particulier : Pangram prend sa décision en se basant sur l'accumulation de nombreux signaux faibles dans le texte. De même, vous pouvez rechercher les nombreux signaux présents dans les textes générés par l'IA et les utiliser dans leur ensemble pour démontrer que les signaux de l'IA ne peuvent pas être le fruit du hasard. Vous devez d'abord rechercher les phrases courantes générées par l'IA et voir si elles apparaissent souvent. Dans les cas évidents, les textes générés par l'IA en contiennent tellement qu'il est très difficile de prétendre qu'il s'agit d'une coïncidence, comme dans les exemples ci-dessous.

Expressions et mots courants liés à l'IA

Vous pouvez consulter une liste complète des mots et expressions couramment utilisés dans le domaine de l'IA dans le guide de Jenna Russell.

Pangram peut également extraire automatiquement ces expressions, ainsi que leur fréquence d'apparition. Il est important de comprendre qu'aucune de ces expressions ne prouve à elle seule que le texte a été généré par une IA, mais que leur combinaison constitue une preuve très solide, car il est extrêmement improbable que toutes ces expressions soient apparues par hasard.

Exemple d'analyse de fréquence de phrases par IA

Au-delà des mots et expressions individuels, vous pouvez également rechercher les caractéristiques générales de l'écriture IA.

Guide pour distinguer les textes rédigés par des étudiants de ceux rédigés par l'IA

Cet excellent guide d'Amanda Clarke montre certaines des différences de style et de ton qui existent entre les écrits des étudiants et ceux générés par l'IA. Pour résumer le guide, voici quelques-uns des points les plus importants :

• L'écriture IA n'aime pas entrer dans les détails, préférant s'exprimer en termes généraux et vagues. Si elle le fait, elle peut halluciner ces détails. Les réflexions directes des élèves sur leur travail et les citations textuelles spécifiques sont des caractéristiques de l'écriture des élèves que les chatbots IA ne peuvent pas encore imiter.
• La rédaction par IA ne reflète pas véritablement le point de vue d'un étudiant sur un sujet donné.
• La rédaction par IA utilise une grammaire toujours parfaite et un ton neutre et fluide.

Il convient également de noter que lorsque les écrits authentiques d'un étudiant sont mélangés à des écrits générés par l'IA, il peut souvent y avoir des changements brusques de ton et de style.

2. Recueillir les preuves du processus

Lorsqu'un travail est rédigé par un étudiant, il est le résultat d'un processus d'écriture : brainstorming, planification, rédaction, révision et relecture. Lorsqu'un travail est plagié à partir d'une IA générative, il s'agit souvent d'un simple copier-coller.

Une manière simple de vérifier le processus de rédaction d'un élève consiste simplement à lui demander de vous montrer ses travaux : demandez-lui de vous montrer ses notes, ses idées et ses plans. S'il s'agit d'une version finale, demandez-lui de vous montrer son brouillon. Cela suffit souvent pour vérifier le processus de rédaction : les élèves honnêtes n'ont pas peur de le prouver, tandis que ceux qui trichent sont souvent incapables de produire ces travaux.

Il existe également des outils permettant de vérifier le processus d'écriture de l'élève. Par exemple, Draftback est une extension Chrome qui vous permet de revoir l'historique d'écriture de l'élève dans Google Docs. Nous connaissons également Brisk Teaching, Cursive Technologies et Visible AI. Utilisés en combinaison avec Pangram, ces outils peuvent s'avérer très efficaces.

Exemple de données de relecture Draftback

Dans la trace Draftback ci-dessus, vous pouvez voir où l'élève a modifié son texte, ou s'il y a eu un seul copier-coller important.

Les outils d'aide à la rédaction ne doivent pas être considérés comme des preuves irréfutables. Sachant que les enseignants vérifient désormais l'historique des révisions pour s'assurer de l'intégrité académique, les étudiants sont conscients du fait que le copier-coller les rend vulnérables. Certains étudiants se contentent de retranscrire les résultats de ChatGPT dans leur document, donnant ainsi l'impression qu'ils l'ont rédigé eux-mêmes.

Pire encore, il existe désormais des outils logiciels qui falsifient l'historique des révisions, comme cette extension Chrome « Human Auto Typer ».

Exemple d'extension Chrome « Human Auto Typer »

Sachez que même s'il peut être utile d'examiner le processus d'écriture et l'historique des révisions d'un étudiant, il existe désormais des moyens pour les étudiants de contourner ces simples vérifications.

3. Vérifier la validité des citations

L'IA générative invente souvent des citations, cite incorrectement les sources et commet d'autres erreurs évidentes dans l'attribution des travaux. Lorsque les chatbots IA ne savent pas quelles sources étayent une affirmation qu'ils font, la plupart du temps, ils se contentent d'inventer une citation fictive. Voir l'exemple de Claude ci-dessous.

Exemple de citations inventées par Claude

Les erreurs de citation constituent souvent certaines des preuves les plus convaincantes dans les affaires d'IA, car la falsification intentionnelle d'une source de recherche est en soi une violation de l'intégrité académique. Souvent, il suffit de consulter la bibliographie ou les ouvrages cités et de vérifier si les entrées correspondent à des articles réels. Si vous recherchez le premier article sur Google et qu'il ne s'agit pas d'un article réel, cela constitue une preuve extrêmement solide d'une violation.

Encore une fois, il faut être prudent : les citations réelles n'indiquent pas avec certitude que l'étudiant n'a pas utilisé l'IA. De nouveaux outils, tels que Deep Research et Perplexity, citent en effet des sources correctes, et les chatbots s'améliorent rapidement et ne fournissent plus de fausses sources.

4. Vérifiez que l'élève comprend son propre texte.

L'un des moyens les plus simples de vérifier si le travail d'un élève est original ou falsifié consiste simplement à lui poser des questions sur son devoir. Si le niveau de rédaction du devoir ne correspond pas au niveau de rédaction de l'élève, interrogez-le sur les parties les plus complexes du texte. Parfois, pour les élèves plus jeunes, il suffit de leur poser des questions sur la signification d'un mot compliqué que ChatGPT utilise souvent et que les élèves de ce niveau n'utilisent jamais (comme « axiomatique ») pour qu'ils admettent avoir utilisé l'IA.

Au niveau universitaire, où l'on attend des étudiants qu'ils proposent des idées novatrices et originales, vous pouvez leur poser des questions sur la manière dont ils ont trouvé leur idée. Souvent, cela peut mener à une discussion sur le processus d'écriture, au cours de laquelle vous pouvez recueillir des informations sur la manière dont l'écriture s'est déroulée, comme nous l'avons décrit au point 2.

Il est important de faire preuve d'empathie et de créer un espace de discussion sûr. Une discussion sur l'intégrité académique avec des étudiants peut être très stressante, et l'étudiant peut se montrer sur la défensive lorsqu'on lui présente des preuves. La meilleure façon d'aborder la conversation avec l'étudiant est simplement de parvenir à une compréhension significative de ce qui s'est passé, afin que vous puissiez faire de votre mieux pour aider l'étudiant à réussir à l'avenir. Donnez à l'étudiant la possibilité de corriger ses erreurs et d'expliquer pourquoi il a dû recourir à l'IA au lieu de faire le devoir lui-même. Nous encourageons également l'ouverture d'esprit quant au fait que l'utilisation de l'IA peut être le résultat d'un malentendu plutôt que d'un acte intentionnel de malhonnêteté. Nous avons écrit davantage sur la manière d'avoir ce type de conversations dans l'un de nos précédents articles de blog.

5. Comparez le travail aux échantillons précédents de l'élève.

Particulièrement applicable aux étudiants plus jeunes ou en cours de formation, l'écriture IA est souvent nettement supérieure au niveau d'écriture que l'on pourrait attendre d'un étudiant.

Nous vous recommandons de consulter les anciens travaux écrits d'un étudiant. Les universités disposent souvent de bases de données centrales où vous pouvez trouver les dissertations rédigées dans d'autres cours. Si vous ne connaissez pas l'étudiant, n'hésitez pas à demander à son ancien professeur de vous fournir quelques exemples de ses travaux écrits.

Une amélioration soudaine du niveau d'écriture d'un élève qui écrit mal à un élève qui écrit avec une orthographe et une grammaire parfaites est préoccupante.

6. Comparez le travail à la réponse de ChatGPT.

ChatGPT ne présente généralement pas beaucoup de variations dans ses résultats. Lorsque vous collez deux fois la même invite dans ChatGPT, le texte obtenu n'est pas exactement le même, mais il présente souvent de nombreuses similitudes difficiles à attribuer à une simple coïncidence.

Exemple de comparaison côte à côte avec ChatGPT

Grâce à la fonctionnalité Side By Side de Pangram, vous pouvez voir automatiquement la soumission à côté de celle de ChatGPT. Bien que les phrases ne soient pas exactement identiques, nous mettons en évidence et associons les phrases qui ont un sens très similaire.

Une autre tactique consiste à générer plusieurs réponses à partir de ChatGPT et à examiner leur similitude. Si la soumission ne peut pas être facilement distinguée du lot, il s'agit probablement aussi d'une IA.

Il est utile de connaître le sujet du devoir : vous pouvez ainsi l'utiliser directement comme invite pour ChatGPT. Mais si vous ne connaissez pas le sujet, vous pouvez tout de même trouver une invite raisonnable. Essayez de trouver une invite suffisamment précise pour produire un essai similaire à celui que vous avez sous les yeux, mais pas trop précise au point de le reproduire à l'identique. L'utilisation de ChatGPT peut être une ressource utile à cet effet : collez l'essai dans ChatGPT, demandez quelles sont les idées principales, les thèmes et les questions abordés dans le document, et essayez plusieurs invites pour voir ce qui produit des essais raisonnablement similaires sur le plan sémantique, afin de vérifier s'ils correspondent sur le plan stylistique.

7. Recueillir davantage d'avis

Selon Russell et al., une étude de l'université du Maryland dont nous avons déjà parlé, les experts peuvent déterminer avec une précision de 92,7 % si un texte a été généré par une IA ou non. Cependant, un conseil composé de 5 experts, lorsqu'il se base sur le vote majoritaire, peut atteindre une précision quasi parfaite (sur les 300 textes étudiés par les chercheurs, la majorité était parfaitement exacte à 100 %).

Nous vous encourageons à former d'autres personnes de votre département ou de votre école à détecter visuellement les textes générés par l'IA, afin de pouvoir obtenir plusieurs avis en cas de doute. Discuter des différents signes que chaque évaluateur remarque est un excellent moyen de gagner en confiance dans l'évaluation de l'authenticité d'un texte.

De plus, comme dans tous les cas liés au droit, les individus peuvent être inconsciemment ou consciemment biaisés dans leur prise de décision pour des raisons indépendantes de la volonté de l'étudiant. Le recours à un panel composé de plusieurs personnes pour déterminer si un étudiant a enfreint l'intégrité académique peut non seulement vous aider à être plus précis, mais aussi, en fin de compte, à rendre votre processus plus équitable.

L'importance des preuves supplémentaires dans les affaires liées à l'IA

Dans cet article, nous avons examiné plusieurs façons d'aller au-delà du score et d'utiliser Pangram et d'autres outils pour vous aider à rassembler des preuves à l'appui de votre argumentation, que ce soit pour dénoncer une utilisation abusive de l'IA ou pour protéger un étudiant accusé de tricherie à l'aide de l'IA alors qu'il est en réalité innocent.

Aucun élément de preuve n'est absolument infaillible pour déterminer l'issue d'une affaire, mais plus vous collecterez et accumulerez de preuves, plus votre processus d'intégrité académique sera équitable et défendable.