Que se passe-t-il lorsqu'un détecteur d'IA commet une erreur ?

Avec la généralisation croissante de l'intelligence artificielle, les enseignants veulent pouvoir savoir si leurs élèves utilisent l'IA pour rédiger leurs devoirs à leur place. Un détecteur d'IA destiné aux enseignants semble être la solution naturelle, mais beaucoup hésitent. Que se passerait-il si le logiciel commettait une erreur ?

Cette préoccupation est tout à fait légitime. Jusqu'à présent, les détecteurs d'IA étaient peu fiables. De nombreuses études ont montré que ces outils ne parviennent souvent pas à reconnaître les textes générés par l'IA et qu'un tricheur déterminé peut les tromper en y intégrant quelques paraphrases ou fautes d'orthographe. Ces faux négatifs sont particulièrement gênants, car ils permettent à certains textes générés par ordinateur de passer inaperçus.

Mais ce qui est plus inquiétant, c'est le taux élevé de faux positifs des détecteurs précoces. Ceux-ci surviennent lorsqu'un texte rédigé par un humain est signalé comme ayant été écrit par une IA, ce qui entraîne du stress et des sanctions injustifiées pour des élèves qui n'ont rien fait de mal, une surveillance inutile de la part des enseignants et une rupture de la confiance à l'école.

Le problème est particulièrement aigu chez les étudiants dont l'anglais n'est pas la langue maternelle. Plusieurs outils de détection de l'IA font preuve de partialité à l'égard des locuteurs non natifs. Un article publié en 2023 par l'université de Stanford a révélé que plusieurs détecteurs identifiaient à l'unanimité (et à tort) 1 essai sur 5 rédigé par un locuteur non natif comme ayant été généré par l'IA. Presque tous ont été signalés à tort par au moins un des détecteurs.

À quelle fréquence les détecteurs d'IA commettent-ils des erreurs ?

La plupart des détecteurs d'IA reconnus admettent qu'ils commettent assez souvent ce genre d'erreurs. TurnItIn, par exemple, annonce un taux de faux positifs d'environ 1 sur 200, ce qui signifie que pour 200 documents examinés par un enseignant, le travail original d'un étudiant sera faussement marqué comme généré par l'IA. D'autres outils annoncent des taux de faux positifs compris entre 1 sur 500 et 1 sur 100, tandis que des études indépendantes ont montré que ces chiffres peuvent être encore plus élevés.

Le taux de faux positifs de Pangram, en revanche, n'est que de 1 sur 10 000, mesuré à partir de tests effectués sur des dizaines de millions de documents. Notre modèle est particulièrement fiable lorsqu'il s'agit de textes de plus de quelques centaines de mots rédigés en phrases complètes, soit exactement le type de textes que les étudiants soumettent généralement pour leurs travaux importants.

Comment les enseignants peuvent-ils savoir si un détecteur d'IA a signalé à tort un texte rédigé par un élève ?

Lorsqu'un détecteur d'IA signale qu'un texte a été généré par une IA, l'enseignant dispose de plusieurs options pour confirmer le résultat. Tout d'abord, il doit simplement interroger l'élève sur l'utilisation de l'IA, en abordant la conversation avec humilité. Si le résultat était en fait une erreur, l'élève peut être en mesure de fournir des preuves de son processus d'écriture, comme un historique de révision complet dans Google Docs ou des copies des premières ébauches. Dans ce cas, les enseignants peuvent reconnaître qu'ils ont probablement trouvé un faux positif extrêmement rare. L'élève devrait également être en mesure de discuter en détail de son processus d'écriture. Cette conversation pourrait mettre en lumière une compréhension approfondie du devoir remis, suggérant que l'élève l'a bien rédigé lui-même. D'un autre côté, elle pourrait révéler que l'élève a utilisé l'IA d'une manière qu'il ne savait pas être incorrecte, confirmant ainsi les conclusions du détecteur.

Si l'élève continue d'affirmer qu'il n'a pas utilisé l'IA, mais qu'il ne peut pas fournir de preuve ou parler de son travail de manière cohérente, il est tout à fait acceptable de lui accorder le bénéfice du doute. Après tout, il serait extrêmement préjudiciable de le punir pour quelque chose qu'il n'a pas fait. Dans ce cas, les enseignants peuvent demander aux élèves de conserver à l'avenir des traces de leur processus d'écriture, ce qui permettra d'éviter tout malentendu à l'avenir. Si l'élève ment sciemment au sujet de l'utilisation de l'IA, il y réfléchira probablement à deux fois avant de recommencer. Mais si son travail continue d'être signalé par un détecteur d'IA précis comme Pangram, il est probablement temps de passer à l'étape suivante. Les chances qu'une erreur se produise sont déjà faibles ; les chances que plusieurs erreurs se produisent sont infimes.