Que se passe-t-il lorsqu'un détecteur d'IA se trompe ?

À mesure que l'intelligence artificielle se généralise, les enseignants souhaitent pouvoir déterminer si leurs élèves ont recours à l'IA pour rédiger leurs devoirs à leur place. Un détecteur d'IA destiné aux enseignants semble être la solution évidente, mais beaucoup hésitent. Que se passerait-il si le logiciel commettait une erreur ?

Cette préoccupation est tout à fait légitime. Jusqu’à présent, les détecteurs d’IA se sont révél és assez peu fiables. De nombreuses études ont montré que ces outils ne parviennent souvent pas à identifier les textes générés par l’IA, et qu’un tricheur déterminé peut les tromper en y glissant quelques légères reformulations ou des fautes d’orthographe. Ces faux négatifs sont déjà suffisamment problématiques, car ils permettent à certains textes générés par ordinateur de passer inaperçus.

Mais ce qui est plus inquiétant, c'est le taux élevé de faux positifs des systèmes de détection précoce. Ceux-ci surviennent lorsqu'un texte rédigé par un être humain est identifié à tort comme provenant d'une IA, ce qui entraîne un stress et des sanctions injustifiées pour des élèves qui n'ont rien fait de mal, un contrôle inutile de la part des enseignants et une rupture de la confiance au sein de l'établissement.

Le problème est particulièrement grave chez les étudiants dont l'anglais n'est pas la langue maternelle. Plusieurs outils de détection de l'IA font preuve de partialité à l'égard des locuteurs non natifs. Une étude publiée en 2023 par l'université de Stanford a révélé que plusieurs détecteurs identifiaient à l'unanimité (et à tort) une dissertation sur cinq rédigée par un locuteur non natif comme étant générée par l'IA. Presque toutes ont été signalées à tort par au moins un de ces détecteurs.

À quelle fréquence les détecteurs d'IA se trompent-ils ?

La plupart des détecteurs d'IA les plus populaires reconnaissent qu'ils commettent ce genre d'erreurs assez souvent. TurnItIn, par exemple, annonce un taux de faux positifs d'environ 1 sur 200, ce qui signifie que pour 200 travaux soumis par un enseignant, le travail original d'un élève sera à tort signalé comme généré par l'IA. D'autres outils annoncent des taux de faux positifs compris entre 1 sur 500 et 1 sur 100, tandis que des études indépendantes ont montré que ces chiffres peuvent être encore plus élevés.

Le taux de faux positifs de Pangram, en revanche, n'est que de 1 sur 10 000, selon des tests effectués sur des dizaines de millions de documents. Notre modèle est particulièrement fiable lorsqu'il s'agit de textes de plus de quelques centaines de mots rédigés en phrases complètes — exactement le type de travaux que les étudiants soumettent généralement pour leurs devoirs importants.

Comment les enseignants peuvent-ils savoir si un détecteur d'IA a signalé à tort un texte rédigé par un élève ?

Lorsqu’un détecteur d’IA signale qu’un texte a été généré par une IA, l’enseignant dispose de plusieurs options pour vérifier ce résultat. Tout d’abord, il devrait simplement interroger l’élève sur l’utilisation éventuelle de l’IA, en abordant la conversation avec humilité. Si le résultat s’avère être une erreur, l’élève pourra peut-être fournir des preuves de son processus de rédaction, comme un historique de révisions complet dans Google Docs ou des copies des premières ébauches. Dans ce cas, les enseignants peuvent reconnaître qu'ils ont probablement détecté un faux positif extrêmement rare. L'élève devrait également être en mesure de décrire son processus d'écriture en détail. Cette conversation pourrait mettre en lumière une compréhension approfondie du devoir rendu, suggérant que l'élève l'a bel et bien rédigé lui-même. D'un autre côté, elle pourrait révéler que l'élève a utilisé l'IA d'une manière dont il ne se rendait pas compte qu'elle était incorrecte, confirmant ainsi les conclusions du détecteur.

Si l'élève continue d'affirmer qu'il n'a pas utilisé l'IA, mais qu'il ne peut pas en apporter la preuve ni expliquer son travail de manière cohérente, on peut tout de même lui accorder le bénéfice du doute. Après tout, il serait extrêmement préjudiciable qu'il soit sanctionné pour quelque chose qu'il n'a pas fait. Dans ce cas, les enseignants peuvent demander aux élèves de conserver des traces de leur processus d'écriture à l'avenir, ce qui permettra de dissiper tout malentendu ultérieur. Si l'élève ment sciemment au sujet de l'utilisation de l'IA, il y réfléchira probablement à deux fois avant de recommencer. Mais si son travail continue d'être signalé par un détecteur d'IA précis comme Pangram, il est probablement temps de faire remonter l'affaire. Les chances qu'il s'agisse d'une seule erreur sont déjà faibles ; celles qu'il s'agisse de plusieurs erreurs sont infimes.