Mythes et idées fausses sur la détection de l'IA

Jason est professeur d'anglais et de philosophie à la New Roads School de Los Angeles.

Introduction

On me demande souvent ce que les détecteurs d'IA peuvent et ne peuvent pas faire. Aujourd'hui, nous allons explorer certains des mythes et idées reçues les plus courants concernant la détection de l'IA. C'est parti !

Mythe n° 1 : au lieu d'utiliser la détection de l'IA, nous devrions intégrer l'IA dans notre enseignement et apprendre aux élèves à l'utiliser.

Nous devrions intégrer l'IA dans notre enseignement et apprendre aux élèves à l'utiliser ! Mais intégrer l'IA au lieu d'utiliser la détection de l'IA revient à opposer deux idées qui ne sont en réalité pas contradictoires. La détection de l'IA est une condition préalable nécessaire à son intégration, afin de mettre en place des garde-fous raisonnables autour de cette technologie et de garantir qu'elle soit utilisée à des fins d'assistance et non d'abus.

Il existe une certaine idée fausse, de nature luddite, qui apparaît lorsque de nouvelles technologies font leur apparition et que des restrictions sont proposées – dans ce cas-ci, l'idée selon laquelle « la détection équivaut à la dissuasion », ce qui est faux.

Dans la pratique, c'est tout le contraire. Ceux qui recherchent des outils de détection d'IA puissants sont généralement ceux qui souhaitent le plus utiliser l'IA dans leurs classes. Ils veulent utiliser ces outils, mais ils ne veulent pas qu'ils soient utilisés à mauvais escient. À l'inverse, certains sont tellement enthousiasmés par l'avenir de l'IA qu'ils veulent utiliser sans restriction les outils d'IA dans leurs classes, convaincus que « c'est l'avenir ». Ils ne veulent aucune restriction. Enfin, il y a ceux qui détestent l'IA et qui sont plutôt du genre « stylo et papier ». Ce sont des individus ou des écoles qui ont décidé que la seule approche valable en matière d'IA était de ne pas en utiliser du tout. Il n'est pas nécessaire de détecter l'IA lorsque la classe revient à l'époque pré-informatisée. Cependant, en réalité, ceux qui cherchent à détecter l'IA sont généralement ceux qui souhaitent maximiser son utilisation dans l'apprentissage en classe. Ils veulent éviter les déterminants inutiles tout en expérimentant et en développant leur savoir-faire avec l'IA. Cela nous semble être la bonne approche.

Mythe n° 2 : les détecteurs d'IA sont des boîtes noires qui ne révèlent pas leur méthodologie et ne sont donc pas fiables.

S'il est vrai que d'autres détecteurs d'IA ne sont pas transparents quant à leurs méthodes, Pangram a ouvertement partagé sa méthodologie. Pangram est transparent quant à ses méthodes, car il estime qu'il est important de gagner la confiance de la communauté scientifique et de montrer des preuves factuelles de la précision du logiciel. Pangram propose une démonstration interactive et animée de sa méthodologie sur son site web.

Pangram publie également certaines de ses innovations techniques dans des conférences et des revues consacrées à l'IA. Par exemple, l'entreprise a récemment présenté, lors de la conférence COLING, des travaux décrivant la robustesse du système face aux humanisateurs et aux paraphraseurs.

Mythe n° 3 : la détection par IA n'a pas fait l'objet d'une évaluation par les pairs ni d'une validation par des universitaires.

Non seulement les travaux de Pangram ont été évalués par des pairs, mais ils peuvent être consultés par tout le monde à tout moment.

Pangram a récemment fait l'objet de plusieurs articles évalués par des pairs et a été utilisé comme référence dans plusieurs travaux. Pangram a remporté le prix du détecteur le plus précis et le plus robuste dans le cadre du COLING Shared Task, un concours mettant en compétition plusieurs détecteurs IA open source et disponibles dans le commerce.

Pangram a également été récemment mis en avant dans une étude de l'université du Maryland démontrant qu'il s'agit du seul détecteur d'IA automatisé plus performant que des experts humains formés dans la détection de textes générés par l'IA, ainsi que dans un autre article de recherche de l'université de Houston démontrant que Pangram est le seul détecteur d'IA robuste face à la traduction.

Les études plus anciennes souvent citées, telles que celle de Weber-Wulff datant de 2023 et celle de Liang démontrant que les détecteurs d'IA sont biaisés contre l'ESL, ne prennent pas Pangram comme référence. Non seulement ces études sont obsolètes, mais nous avons démontré que Pangram excelle dans ces benchmarks, contrairement à d'autres détecteurs.

Pangram n'a pas peur d'être soumis à des tests de résistance par des chercheurs, c'est pourquoi ils offrent un accès gratuit et illimité aux chercheurs universitaires qui souhaitent étudier la précision du détecteur d'IA de Pangram.

Mythe n° 4 : les détecteurs d'IA sont imprécis.

J'ai souvent été approché par des personnes affirmant que leur travail avait été signalé comme étant généré par une IA alors qu'il avait été rédigé par un humain. Malheureusement, je pense que plusieurs facteurs entrent en jeu ici.

Certaines personnes pensent que les détecteurs d'IA ne sont tout simplement pas efficaces, car les auteurs et les institutions continuent de l'affirmer sans vergogne et sans preuve. Prenons par exemple cetarticle qui affirme qu'« à la mi-2024, aucun service de détection n'a été capable d'identifier de manière concluante les contenus générés par l'IA à un taux supérieur au hasard, et l'université d'État de l'Illinois n'entretient aucune relation avec ces services », ce qui est une affirmation inventée de toutes pièces étant donné que même les pires détecteurs d'IA parviennent encore à détecter certains contenus générés par l'IA. Pangram affiche un taux de faux positifs de 1/10 000, car dans leur développement et leur méthodologie, qui peuvent être consultés dans leur livre blanc, ce sont les chiffres réels des détections incorrectes qu'ils constatent, ce qui est environ 100 fois mieux que le deuxième meilleur logiciel commercial disponible.

Aucun logiciel de détection ne peut être précis à 100 %. C'est impossible. Les détecteurs d'IA sont généralement efficaces, mais la détection Pangram est plus performante. Aucune détection IA n'est fiable à 100 %. Si vous soumettez deux textes prétendument rédigés par des humains à Pangram (ou à tout autre détecteur) et que les deux sont signalés comme ayant été rédigés par une IA alors qu'ils ne le sont pas, la probabilité statistique que le détecteur se trompe est ridiculement inférieure à la probabilité que les textes aient réellement été rédigés par une IA. C'est le problème que les écoles veulent résoudre : la confiance lorsqu'elles affirment qu'un texte a été rédigé par une IA, alors que ce n'est pas le cas. Avec Pangram, nous pouvons être beaucoup plus sûrs qu'un texte a été rédigé par une IA que lorsqu'une personne affirme le contraire.

Mythe n° 5 : les détecteurs d'IA ne détectent pas les outils d'aide à la rédaction tels que Grammarly.

Il existe une idée fausse selon laquelle les aides génératives basées sur l'IA, telles que Grammarly, ne peuvent pas être détectées. C'est peut-être vrai avec d'autres détecteurs, mais Pangram détectera une quantité suffisante d'aide générative basée sur l'IA dans vos écrits. Cela signifie que, oui, le document que vous avez rédigé est bien le vôtre, mais il est signalé comme ayant été rédigé à l'aide de l'IA, car vous avez utilisé une quantité importante d'IA pour le « nettoyer ». Je constate cela tout le temps chez les étudiants.

Grammarly n'est plus seulement un correcteur grammatical. Il s'agit désormais d'un outil d'assistance IA complet qui réécrit entièrement les dissertations des étudiants à l'aide d'un modèle linguistique volumineux. Si un étudiant utilise Grammarly de cette manière, afin de modifier fondamentalement la composition et le style de son texte original, Pangram détectera que la dissertation a été générée par une IA.

C'est pourquoi j'encourage vivement les enseignants à adopter une politique en matière d'IA, telle que le système à plusieurs niveaux proposé sur le site web de Pangram, afin qu'il n'y ait aucune ambiguïté quant aux types d'outils d'IA autorisés dans le processus d'écriture et à ce qui constitue une faute professionnelle.

Mythe n° 6 : les détecteurs d'IA causent du tort en générant de fausses accusations à l'encontre d'étudiants honnêtes.

Les détracteurs de la détection de l'IA affirment généralement que le fait d'accuser à tort des étudiants d'utiliser l'IA cause un préjudice irréparable et nuit à la réputation de l'étudiant et à la crédibilité de l'enseignant.

Cependant, Pangram n'est pas un outil accusatoire en soi.

D'après mon expérience, la plupart du temps, la détection positive de l'IA dans les écrits d'un élève est probablement due à un malentendu, ou simplement à un élève bien intentionné qui était submergé par la pression des délais. Une simple conversation entre un enseignant et un élève ne doit pas nécessairement être conflictuelle. Nous pensons que les enseignants devraient profiter de cette occasion pour comprendre le processus d'écriture de l'élève : demander à l'élève s'il comprend bien le sujet, examiner l'historique des révisions de l'élève pour avoir une idée de la façon dont le document a été rédigé, et demander à l'élève d'expliquer s'il a utilisé l'aide de l'IA dans le processus d'édition et comment, plutôt que de conclure immédiatement que l'élève avait l'intention de tricher.

Pangram compare souvent les détecteurs d'IA à des détecteurs de métaux : lorsqu'un détecteur de métaux se déclenche, vous n'êtes pas immédiatement arrêté. Au contraire, une détection positive est une raison d'engager une conversation plus approfondie et de mieux comprendre ce qui se passe réellement.

Conclusion

Comme pour tout outil, il est important que les enseignants comprennent à la fois les avantages et les limites de la détection par IA.

Bien que des systèmes tels que Pangram soient extrêmement précis dans la détection des textes générés par l'IA, des erreurs peuvent parfois se produire.

C'est pourquoi il est essentiel que les enseignants établissent des directives, des politiques et des limites claires dans leurs classes quant au type d'aide apportée par l'IA qui est autorisé, et pourquoi les détections positives de Pangram doivent être prises au sérieux, mais les discussions autour de l'utilisation de l'IA doivent être abordées avec empathie et curiosité. Une détection positive de Pangram ne doit jamais être utilisée isolément pour punir ou accuser un élève de fraude scolaire sans une compréhension approfondie du processus d'écriture de l'élève.

Vous souhaitez poursuivre la conversation ? Jason se fera un plaisir de discuter avec vous et de vous fournir des conseils supplémentaires sur la mise en place d'une politique en matière d'IA dans votre classe. Vous pouvez le contacter à l'adresse jason@pangram.com.