Comment recueillir des preuves dans le cadre d'une affaire d'intégrité académique liée à l'IA

Nous tenons à remercier Marilyn Derby, directrice adjointe du service d’aide aux étudiants et des affaires judiciaires à l’université de Californie à Davis, pour sa contribution aux idées développées dans cet article et pour certaines des ressources visuelles utilisées dans ce billet. Nous souhaitons également remercier Amanda Clarke, responsable du département d’anglais à la Viewpoint School en Californie, pour ses précieuses remarques sur la manière de distinguer les caractéristiques de la rédaction des élèves de celles d’un texte généré par l’IA.

Peut-être avez-vous reçu une dissertation et avez-vous le sentiment que ce texte n'a pas été rédigé par l'un de vos élèves. Vous le soumettez à Pangram, qui vous indique avec un niveau de confiance de 99,9 % que ce texte a été généré par une IA.

Ou peut-être êtes-vous responsable de l'intégrité académique, et un professeur signale le travail d'un étudiant pour plagiat généré par l'IA, alors que l'étudiant et ses parents affirment catégoriquement que c'est lui qui l'a rédigé.

En lisant ce texte, on y retrouve tous les signes caractéristiques d'un texte rédigé par une IA. « À l'ère technologique actuelle », commence le texte. L'étudiant explique qu'un auteur « tisse les détails avec finesse à travers une riche mosaïque de points de vue ». Cet essai, d'une grammaire irréprochable et d'une structure homogène, se termine par la formule classique « En conclusion, ... » ou peut-être « Dans l'ensemble, ... »

Au fond de vous, vous savez que votre élève n'a pas rédigé lui-même son devoir, mais vous n'arrivez tout simplement pas à le prouver. Lorsque les personnes que vous essayez de convaincre vous répondent : « Les détecteurs d'IA ne fonctionnent pas et ne sont pas fiables » ou « Il est impossible d'en être certain », que faites-vous ?

Comme nous l'avons déjà mentionné, un résultat positif issu de la détection par IA ne constitue que le point de départ d'une réflexion et ne saurait en aucun cas servir de fondement unique lorsqu'il s'agit d'envisager des mesures disciplinaires à l'encontre d'un élève. Bien que nous soyons convaincus de la fiabilité de notre produit, nous estimons également qu'une approche globale s'impose lorsque les enjeux sont importants, et qu'il est nécessaire de recueillir des preuves supplémentaires après le résultat de la détection par IA afin de démontrer, hors de tout doute raisonnable, que le travail d'un élève n'est ni authentique ni original.

Aujourd'hui, nous allons passer en revue sept stratégies permettant de recueillir des éléments de preuve supplémentaires pour ce type d'affaires.

1. Recueillir des éléments de preuve textuels plus détaillés

Un texte généré par l'IA ne se « trahit » jamais par une expression ou un choix de mot en particulier : Pangram fonde sa décision sur l'accumulation de nombreux signaux faibles présents dans le texte. De la même manière, vous pouvez rechercher les nombreux signaux présents dans un texte généré par l'IA et les utiliser dans leur ensemble pour démontrer que ces signaux ne peuvent pas être le fruit du hasard. Vous devriez d'abord rechercher les expressions courantes de l'IA et voir si elles apparaissent souvent. Dans les cas évidents, le texte généré par l'IA en contient tellement qu'il est très difficile de prétendre qu'il s'agit d'une coïncidence, comme dans les exemples ci-dessous.

Expressions et mots courants liés à l'IA

Vous trouverez une liste complète des termes et des formules couramment utilisés dans le domaine de l'IA dans le guide de Jenna Russell.

Pangram peut également extraire automatiquement ces expressions, ainsi que leur fréquence d'apparition. Il est important de comprendre qu'aucune de ces expressions ne constitue à elle seule une preuve que le texte a été généré par une IA, mais que la présence de plusieurs d'entre elles constitue un indice très solide, car il est extrêmement improbable que toutes ces expressions soient apparues par hasard.

Exemple d'analyse de la fréquence des expressions par l'IA

Au-delà du simple niveau des mots et des expressions, vous pouvez également rechercher les caractéristiques générales propres à la rédaction générée par l'IA.

Guide pour distinguer les textes rédigés par des étudiants de ceux générés par l'IA

Cet excellent guide d'Amanda Clarke met en évidence certaines des différences de style et de ton qui existent entre les textes rédigés par des élèves et ceux générés par l'IA. Pour résumer ce guide, voici quelques-uns des points les plus importants :

• Les textes générés par l'IA évitent généralement de s'appuyer sur des preuves concrètes, préférant s'en tenir à des généralités vagues. Lorsqu'ils le font, ces détails peuvent être le fruit de leur imagination. Les réflexions personnelles des élèves sur le travail et les citations textuelles précises sont des caractéristiques propres à l'écriture des élèves que les chatbots basés sur l'IA ne sont pas encore capables de reproduire.
• La rédaction assistée par l'IA ne permettra pas de traiter véritablement un sujet du point de vue d'un étudiant.
• Les textes générés par l'IA se caractérisent par une grammaire irréprochable et un style fluide et neutre.

Il convient également de noter que lorsque les textes rédigés par un élève sont mélangés à des textes générés par l'IA, on observe souvent des changements brusques de ton et de style.

2. Recueillir les preuves de la procédure

Lorsqu'un travail est rédigé par un étudiant, il est le fruit d'un processus d'écriture : réflexion, planification, rédaction, révision et relecture. Lorsqu'un travail est plagié à partir d'une IA générative, il s'agit souvent d'un simple copier-coller.

Un moyen simple de vérifier le processus de rédaction d'un élève consiste simplement à lui demander de vous montrer ses documents : demandez-lui ses notes, ses brouillons et ses plans. S'il s'agit d'une version finale, demandez-lui de vous montrer son brouillon. Souvent, cela suffit pour constater le processus de rédaction : les élèves honnêtes n'ont pas peur de le prouver, tandis que ceux qui trichent sont souvent tout simplement incapables de produire ces documents.

Il existe également des outils permettant de suivre le processus d'écriture de l'élève. Par exemple, Draftback est une extension Chrome qui permet de consulter l'historique des modifications apportées par l'élève dans Google Docs. Nous connaissons également Brisk Teaching, Cursive Technologies et Visible AI. Associés à Pangram, ces outils peuvent s'avérer très efficaces.

Exemple de données de relecture Draftback

Dans la trace Draftback ci-dessus, vous pouvez voir à quels endroits l'élève a modifié son texte, ou s'il s'agit d'un simple copier-coller.

Les outils d'aide à la rédaction ne doivent pas être considérés comme des preuves irréfutables. Sachant que les enseignants vérifient désormais l'historique des modifications pour s'assurer de l'intégrité académique, les élèves sont conscients qu'un simple copier-coller les expose à des risques. Certains élèves se contentent de recopier les résultats générés par ChatGPT dans leur document, donnant ainsi l'impression qu'ils l'ont rédigé eux-mêmes.

Pire encore, il existe désormais des outils logiciels qui falsifient l'historique des révisions, comme cette extension Chrome intitulée « Human Auto Typer ».

Exemple d'extension Chrome « Human Auto Typer »

Il faut toutefois garder à l'esprit que, même s'il peut être utile d'examiner le processus de rédaction et l'historique des révisions d'un élève, il existe désormais des moyens pour les élèves de contourner ces simples vérifications.

3. Vérifier la validité des références

L'IA générative invente souvent des références, cite de manière erronée ses sources et commet d'autres erreurs d'attribution qui sont faciles à repérer. Lorsque les chatbots basés sur l'IA ne savent pas quelles sources étayent une affirmation qu'ils avancent, la plupart du temps, ils n'hésitent pas à inventer une référence fictive. Voir l'exemple de Claude ci-dessous.

Exemple de Claude inventant des citations

Les erreurs de citation comptent souvent parmi les preuves les plus convaincantes dans les affaires liées à la tricherie à l'examen, car la falsification intentionnelle d'une source de recherche constitue en soi une atteinte à l'intégrité académique. Il suffit souvent de consulter la bibliographie ou la liste des ouvrages cités pour vérifier si les références correspondent bien à de véritables articles. Si, après avoir recherché le premier article sur Google, celui-ci s'avère être une fausse publication, cela constitue une preuve extrêmement solide d'une infraction.

Encore une fois, il faut rester prudent : le fait qu'il y ait de vraies citations ne prouve pas pour autant que l'étudiant n'ait pas eu recours à l'IA. De nouveaux outils, tels que Deep Research et Perplexity, citent en effet des sources correctes, et les chatbots s'améliorent rapidement et ne génèrent plus de fausses sources.

4. Vérifier que l'élève comprend ce qu'il a écrit

L'un des moyens les plus simples de vérifier si le travail d'un élève est original ou s'il a été plagié consiste simplement à lui poser des questions sur son devoir. Si le niveau rédactionnel du devoir ne correspond pas à celui de l'élève, interrogez-le sur les passages les plus complexes du texte. Parfois, pour les élèves plus jeunes, il suffit de leur demander la signification d'un mot compliqué que ChatGPT utilise souvent et que les élèves de ce niveau n'utilisent jamais (comme « axiomatique ») pour que l'élève admette avoir utilisé l'IA.

Au niveau universitaire, où l'on attend souvent des étudiants qu'ils proposent des idées novatrices et originales, vous pourriez leur demander comment ils en sont arrivés à cette idée. Cela peut souvent déboucher sur une discussion autour du processus d'écriture, qui vous permettra de recueillir des informations sur la manière dont le texte a pris forme, comme nous l'avons décrit au point 2.

Il est important de faire preuve d'empathie et de créer un espace propice à la discussion. Une discussion sur l'intégrité académique avec un étudiant peut être très stressante, et celui-ci peut se montrer sur la défensive lorsqu'on lui présente des preuves. La meilleure façon d'aborder la conversation avec l'étudiant est simplement de parvenir à une compréhension claire de ce qui s'est passé, afin de pouvoir faire de votre mieux pour l'aider à réussir à l'avenir. Donnez à l'étudiant la possibilité de corriger ses erreurs et d'expliquer pourquoi il a dû recourir à l'IA au lieu de réaliser le devoir lui-même. Nous encourageons également à garder l'esprit ouvert quant au fait que l'utilisation de l'IA peut résulter d'un malentendu plutôt que d'un acte intentionnel répréhensible. Nous avons abordé plus en détail la manière de mener ce type de conversations dans l'un de nos précédents articles de blog.

5. Comparer le travail aux échantillons précédents de l'élève

Particulièrement applicable aux élèves plus jeunes ou en phase d'apprentissage, la rédaction générée par l'IA dépasse souvent de loin le niveau que l'on pourrait attendre d'un élève.

Nous vous recommandons de consulter les travaux écrits antérieurs de l'étudiant. Les universités disposent souvent de bases de données centrales où l'on peut trouver des dissertations rédigées dans d'autres cours. Si vous ne connaissez pas encore l'étudiant, n'hésitez pas à demander à son ancien enseignant de vous fournir quelques exemples de ses travaux écrits.

Un changement radical dans le niveau d'écriture d'un élève qui écrivait mal pour devenir un élève dont l'orthographe et la grammaire sont irréprochables est un motif d'inquiétude.

6. Comparez le travail à la réponse de ChatGPT

Les résultats générés par ChatGPT ne varient généralement pas beaucoup. Si vous collez deux fois la même requête dans ChatGPT, le texte obtenu ne sera pas exactement le même, mais il présentera souvent de nombreuses similitudes difficiles à attribuer au hasard.

Exemple de comparaison côte à côte avec ChatGPT

Grâce à la fonctionnalité « Side By Side » de Pangram, vous pouvez automatiquement comparer côte à côte votre proposition et celle de ChatGPT. Même si les phrases ne sont pas exactement identiques, nous mettons en évidence et associons celles dont le sens est très similaire.

Une autre stratégie consiste à générer plusieurs réponses à partir de ChatGPT et à en comparer la similitude. Si la réponse en question ne se distingue pas facilement des autres, il s'agit probablement aussi d'une IA.

Il est utile de connaître le sujet du devoir : vous pouvez ainsi l'utiliser directement comme consigne pour ChatGPT. Mais si vous ne connaissez pas le sujet, vous pouvez tout de même formuler une consigne raisonnable. Essayez de trouver une consigne suffisamment précise pour générer un essai similaire à celui que vous avez sous les yeux, mais pas au point d'aboutir à un texte identique par simple copie. L'utilisation de ChatGPT peut s'avérer utile à cet effet : collez l'essai dans ChatGPT, demandez quelles sont les idées principales, les thèmes et les questions abordés dans le texte, puis essayez plusieurs invites pour voir lesquelles produisent des essais raisonnablement similaires sur le plan sémantique, afin de vérifier s'ils correspondent sur le plan stylistique.

7. Recueillir davantage d'avis

Selon Russell et al., dont nous avons déjà évoqué les travaux menés à l'université du Maryland, les experts peuvent déterminer avec une précision de 92,7 % si un texte a été généré par une IA ou non. Cependant, un groupe de cinq experts, lorsqu'on se base sur le vote majoritaire, peut atteindre une précision quasi parfaite (sur les 300 textes étudiés par les chercheurs, la majorité des décisions s'est avérée exacte à 100 %).

Nous vous encourageons à former vos collègues de votre service ou de votre établissement à repérer à l'œil nu les textes générés par l'IA, afin de pouvoir bénéficier de plusieurs avis en cas de cas difficiles. Discuter des différents indices que chaque évaluateur repère est un excellent moyen de gagner en assurance pour évaluer l'authenticité d'un texte.

De plus, comme dans toutes les situations relevant du domaine juridique, les individus peuvent, inconsciemment ou consciemment, faire preuve de partialité dans leur prise de décision pour des raisons indépendantes de la volonté de l'étudiant. Le recours à un comité composé de plusieurs personnes pour déterminer si un étudiant a enfreint les règles d'intégrité académique peut non seulement vous aider à être plus précis, mais devrait également, en fin de compte, contribuer à rendre votre procédure plus équitable.

L'importance des éléments de preuve supplémentaires dans les affaires relatives à l'IA

Dans cet article, nous avons examiné plusieurs façons d'aller au-delà du simple score et d'utiliser Pangram ainsi que d'autres outils pour vous aider à rassembler des éléments de preuve en faveur de votre argumentation, qu'il s'agisse de démontrer une utilisation abusive de l'IA ou de défendre un élève accusé de tricherie à l'aide de l'IA alors qu'il est en réalité innocent.

Aucun élément de preuve n'est à lui seul infaillible pour déterminer l'issue de l'affaire, mais plus vous parvenez à rassembler et à accumuler de preuves, plus votre procédure en matière d'intégrité académique sera équitable et justifiable.