Mythes et idées reçues sur la détection de l'IA

Jason est professeur d'anglais et de philosophie à la New Roads School de Los Angeles.

Introduction

On me demande souvent ce que les détecteurs d'IA peuvent et ne peuvent pas faire. Aujourd'hui, nous allons passer en revue certains des mythes et idées reçues les plus courants concernant la détection par IA. C'est parti !

Mythe n° 1 : Au lieu de recourir à la détection par IA, nous devrions intégrer l'IA dans notre enseignement et apprendre aux élèves à s'en servir.

Nous devrions intégrer l'IA dans notre enseignement et apprendre aux élèves à s'en servir ! Mais opposer l'intégration de l'IA à la détection de l'IA revient à mettre en concurrence deux concepts qui ne sont en réalité pas incompatibles. La détection de l'IA est une condition préalable indispensable à son intégration : elle permet de mettre en place des garde-fous raisonnables autour de cette technologie et de garantir qu'elle est utilisée à des fins d'assistance, et non de manière abusive.

Il existe un certain sophisme « luddite » qui se manifeste dès qu'une nouvelle technologie voit le jour et que l'on suggère une quelconque restriction – en l'occurrence, l'idée selon laquelle « la détection équivaut à la dissuasion », ce qui est faux.

En réalité, c’est tout le contraire. Ceux qui recherchent des outils performants de détection de l’IA sont généralement ceux qui souhaitent le plus l’utiliser dans leurs classes. Ils veulent utiliser ces outils, mais ne veulent pas qu’on en abuse. À l’inverse, il y a ceux qui sont tellement enthousiastes quant à l’avenir de l’IA qu’ils veulent tout simplement l’utiliser dans leurs classes, avec l’idée que « c’est l’avenir ». Ils ne veulent aucune restriction. Il y a aussi ceux qui ont horreur de l'IA et qui sont du genre « papier et crayon ». Ce sont des individus ou des établissements scolaires qui ont décidé que la seule approche valable face à l'IA est de s'en passer complètement. Il n’y a pas besoin de détection lorsque la classe revient à l’époque d’avant l’informatisation. La vérité, cependant, est que ceux qui recherchent la détection de l’IA sont généralement ceux qui souhaitent le plus maximiser l’utilisation de l’IA pour l’apprentissage en classe. Ils veulent éviter les contraintes inutiles tout en expérimentant et en développant leur pratique avec l’IA. Cela nous semble être la bonne approche.

Mythe n° 2 : les détecteurs d'IA sont des boîtes noires qui ne dévoilent pas leur méthodologie et ne sont donc pas fiables.

S'il est vrai que d'autres détecteurs d'IA ne font pas preuve de transparence quant à leurs méthodes, Pangram a, quant à lui, ouvertement partagé sa méthodologie. Pangram fait preuve de transparence sur ses méthodes, car l'entreprise estime qu'il est important de gagner la confiance de la communauté scientifique et de fournir des preuves concrètes de la fiabilité de son logiciel. Pangram propose sur son site web une démonstration interactive et animée de sa méthodologie.

Pangram publie également certaines de ses innovations techniques dans des revues et lors de conférences consacrées à l'IA. Par exemple, l'entreprise a récemment présenté, lors de la conférence COLING, des travaux montrant la robustesse du système face aux outils d'humanisation et de paraphrase.

Mythe n° 3 : La détection de l'IA n'a pas fait l'objet d'une évaluation par les pairs ni d'une validation par la communauté universitaire.

Non seulement les travaux de Pangram ont fait l'objet d'une évaluation par les pairs, mais ils peuvent être consultés par n'importe qui à tout moment.

Pangram a récemment fait l'objet de plusieurs articles évalués par des pairs. Pangram a remporté le prix du détecteur le plus précis et le plus robuste lors du COLING Shared Task, un concours réunissant plusieurs détecteurs d'IA open source et disponibles dans le commerce.

Pangram a également fait l'objet d'une étude récente de l'université du Maryland, qui a démontré qu'il s'agit du seul détecteur d'IA automatisé capable de surpasser les experts humains formés à la détection de textes générés par l'IA, ainsi que d'un autre article de recherche de l'université de Houston, qui a démontré que Pangram est le seul détecteur d'IA capable de résister à la traduction.

Les études plus anciennes souvent citées, telles que celle de Weber-Wulff datant de 2023 et celle de Liang démontrant que les détecteurs d'IA font preuve de partialité à l'égard des locuteurs non natifs, ne prennent pas Pangram en compte dans leurs tests de performance. Non seulement ces études sont obsolètes, mais nous avons démontré que Pangram excelle dans ces tests, contrairement aux autres détecteurs.

Pangram n'hésite pas à se soumettre aux tests de résistance menés par les chercheurs, et c'est pourquoi l'entreprise offre un accès gratuit et illimité aux chercheurs universitaires souhaitant évaluer la précision de son détecteur d'IA.

Mythe n° 4 : les détecteurs d'IA ne sont pas fiables.

On m'a souvent dit que certains textes, bien qu'écrits par des humains, avaient été signalés comme étant générés par une IA. Malheureusement, je pense qu'il y a plusieurs facteurs en jeu ici.

Certaines personnes pensent que les détecteurs d'IA ne valent rien, car les auteurs et les institutions ne cessent de l'affirmer sans vergogne, sans apporter de preuves. Prenons par exemple cet article qui affirme que « À la mi-2024, aucun service de détection n’a été capable d’identifier de manière concluante les contenus générés par l’IA avec un taux supérieur au hasard, et l’Illinois State University n’entretient aucune relation avec aucun de ces services. », ce qui est une affirmation infondée étant donné que même les pires détecteurs d’IA parviennent tout de même à repérer certains contenus générés par l’IA. Pangram affiche un taux de faux positifs de 1/10 000, car selon son développement et sa méthodologie, que l'on peut consulter dans son livre blanc, ce sont là les chiffres réels des détections erronées qu'il observe, ce qui est environ 100 fois mieux que le deuxième meilleur logiciel commercial disponible.

Aucun logiciel de détection ne peut être précis à 100 %. C'est tout simplement impossible. Les détecteurs d'IA sont généralement efficaces ; la détection par Pangram est plus performante. Aucune détection par IA n'est fiable à 100 %. Si vous soumettiez deux textes prétendument rédigés par des humains à Pangram (ou à n'importe quel autre détecteur), et que les deux étaient signalés comme étant issus de l'IA alors qu'ils ne l'étaient pas, la probabilité statistique que le détecteur se trompe est infiniment plus faible que la probabilité que le texte ait réellement été rédigé par une IA. C'est le problème que les écoles souhaitent résoudre : pouvoir affirmer avec certitude qu'un texte a été rédigé par une IA, alors que ce n'est pas le cas. Avec Pangram, nous pouvons être beaucoup plus sûrs qu’un texte a été rédigé par une IA qu’une personne affirmant le contraire.

Mythe n° 5 : les détecteurs d'IA ne repèrent pas les outils d'aide à la rédaction tels que Grammarly

On croit souvent à tort que les outils d'IA générative, tels que Grammarly, ne sont pas détectés. C'est peut-être vrai avec d'autres détecteurs, mais Pangram repère une utilisation suffisante de l'IA générative dans les textes. Cela signifie que, certes, le document que vous avez rédigé est bien le vôtre, mais qu'il est signalé comme contenant de l'IA parce que vous avez eu largement recours à l'IA pour le « peaufiner ». Je constate cela très souvent chez les étudiants.

Grammarly n'est plus seulement un correcteur grammatical. Il s'agit désormais d'un outil d'assistance basé sur l'IA capable de réécrire entièrement les dissertations des élèves à l'aide d'un modèle linguistique de grande envergure. Si un élève utilise Grammarly de cette manière, c'est-à-dire pour modifier en profondeur la structure et le style de son texte original, Pangram détectera que la dissertation a été générée par l'IA.

C'est pourquoi j'encourage vivement les enseignants à adopter une politique relative à l'IA, telle que le système à plusieurs niveaux proposé sur le site web de Pangram, afin d'éviter toute confusion quant aux types d'outils d'IA autorisés pour faciliter le processus d'écriture et à ce qui constitue une faute professionnelle.

Mythe n° 6 : les détecteurs d'IA causent du tort en donnant lieu à de fausses accusations à l'encontre d'étudiants honnêtes.

Les détracteurs de la détection de l'IA affirment souvent que le fait d'accuser à tort des élèves d'avoir utilisé l'IA cause un préjudice irréparable et nuit à la réputation de l'élève ainsi qu'à la crédibilité de l'enseignant.

Cependant, Pangram n'est pas, en soi, un outil d'accusation.

D'après mon expérience, la plupart du temps, lorsqu'un texte rédigé par un élève est détecté comme ayant été rédigé par une IA, il s'agit probablement d'un malentendu, ou simplement d'un élève bien intentionné qui s'est laissé submerger par la pression des délais. Une simple conversation entre un enseignant et un élève ne doit pas nécessairement revêtir un caractère conflictuel. Nous pensons que les enseignants devraient profiter de cette occasion pour comprendre le processus de rédaction de l'étudiant : lui demander dans quelle mesure il comprend la matière sous-jacente, examiner l'historique des révisions pour se faire une idée de la manière dont le document a été élaboré, et lui demander d'expliquer s'il a eu recours à l'IA pour l'aider dans le processus de révision, et comment, plutôt que de conclure immédiatement qu'il avait l'intention de tricher.

Pangram compare souvent les détecteurs d'IA à des détecteurs de métaux : lorsqu'un détecteur de métaux se déclenche, on n'est pas immédiatement arrêté. Au contraire, une détection positive est une raison d'entamer une discussion plus approfondie et de mieux comprendre ce qui se passe réellement.

Conclusion

Comme pour tout outil, il est important que les enseignants comprennent à la fois les atouts et les limites de la détection par IA.

Même si des systèmes tels que Pangram sont extrêmement précis pour détecter les textes générés par l'IA, il arrive parfois qu'ils se trompent.

C'est pourquoi il est essentiel que les enseignants établissent des directives, des règles et des limites claires dans leurs classes quant au type d'aide par l'IA autorisé, et qu'ils prennent au sérieux les détections positives de Pangram, tout en abordant les discussions sur l'utilisation de l'IA avec empathie et curiosité. Une détection positive de Pangram ne doit jamais être utilisée isolément pour sanctionner ou accuser un élève de fraude scolaire sans une compréhension approfondie de son processus d'écriture.

Vous souhaitez poursuivre la discussion ? Jason se fera un plaisir de vous conseiller sur la mise en place d'une politique relative à l'IA dans votre classe. Vous pouvez le contacter à l'adresse jason@pangram.com.