L'état de l'intégrité académique et de la détection par IA en 2025

Bradley Emi, directeur technique de Pangram Labs, a animé une session sur l'état des lieux de la détection de l'IA lors de la conférence de l'ICAI.

Les étudiants utilisent ChatGPT, mais en font aussi un usage abusif. La plupart d'entre eux ont régulièrement recours à des outils d'IA et estiment que ceux-ci leur permettront d'améliorer leurs résultats. Même en présence de règles claires interdisant l'utilisation de l'IA, il est probable qu'ils continuent à s'en servir.

Contrairement à ce que l'on croit généralement, l'IA peut être détectée. Le langage, le style et les choix sémantiques peuvent être identifiés tant par les humains que par des logiciels automatisés (à condition qu'ils aient été suffisamment entraînés).

Pourquoi l'IA a-t-elle cette voix ?

Les grands modèles de langage (LLM) sont des distributions de probabilité qui apprennent à partir de vastes quantités de données. Ils ne correspondent PAS à la moyenne de l'ensemble des textes rédigés par des humains. Cela tient à la manière dont ces modèles sont entraînés.

Les modèles sont entraînés en trois étapes : pré-entraînement, ajustement des instructions et alignement.

Au cours de la phase de pré-entraînement, le modèle analyse les tendances statistiques issues d’un vaste ensemble de données. Cet ensemble de données d’entraînement contient des biais qui se reflètent dans ces tendances statistiques. Par exemple, les données qui apparaissent fréquemment sur Internet sont surreprésentées. Dans un article du Guardian, Alex Hern explique comment des travailleurs au Kenya et au Nigeria ont été exploités pour fournir des données d'entraînement à OpenAI. Les mots que ces travailleurs utilisaient fréquemment, tels que « delve » et « tapestry », sont les mêmes mots qui apparaissent fréquemment dans les textes générés par l'IA.

Dans le cadre de l'« Instruction Tuning », le modèle est entraîné à répondre à des invites. Il apprend qu'il vaut mieux suivre des instructions plutôt que de fournir des informations précises et correctes. Même lorsque des filtres de sécurité sont mis en place, la désinformation continue de nuire à la rédaction générée par l'IA, celle-ci cherchant avant tout à satisfaire l'utilisateur.

Au cours de l'alignement, le modèle apprend à distinguer les bonnes réponses des mauvaises réponses aux invites. Les données de préférence peuvent être extrêmement biaisées, car elles reposent sur les points de vue de la personne chargée de l'entraînement, et non nécessairement sur des faits.

Nous avons rassemblé ici un échantillon des mots et expressions les plus courants utilisés dans la rédaction générée par l'IA. Ceux-ci proviennent des biais introduits lors de la phase de pré-entraînement.

L'IA est connue pour son langage et sa mise en page très structurés. Les phrases de transition, les listes à puces et une rédaction soignée sont très courantes dans les textes générés par l'IA, en raison de la phase d'alignement.

Les textes générés par l'IA sont souvent formels, car les textes formels sont surreprésentés sur Internet et, par conséquent, dans les ensembles de données utilisés pour l'entraînement des IA. La positivité et l'utilité sont renforcées lors de l'alignement.

Remarque : Pangram ne conclut pas à l'utilisation de l'IA simplement parce qu'un texte contient des termes et une mise en forme courants dans le domaine de l'IA.

L'humain au cœur du monde universitaire

Nous avons étudié 19 outils de « humanisation » différents et en avons développé un nous-mêmes. Nous avons constaté que les outils de « humanisation » basés sur l'IA préservent le sens d'origine à des degrés divers (allant de légères modifications à un texte incompréhensible). Certains outils de « humanisation » parviennent à bien paraphraser le texte, mais ne parviennent pas à échapper à la détection. Plus le texte « humanisé » est fluide, moins il a de chances d'échapper à la détection. Les outils d'humanisation sont capables de supprimer le filigrane SynthID de Google (utilisé pour marquer le texte généré par Gemini).

Détection automatisée et humaine par l'IA

La première génération d'outils de détection de l'IA et leurs lacunes ont façonné la perception qu'a le grand public de la détection de l'IA. Ces outils s'appuyaient sur des corrélations avec l'utilisation de l'IA plutôt que sur des signaux causaux. Ils revendiquaient une précision de 99 %, ce qui est insuffisant pour un usage académique.

Cette nouvelle génération d'outils de détection offre une précision supérieure à 99,9 % et des taux de faux positifs (FPR) très faibles ! Ils résistent également aux outils de paraphrase et d'humanisation.

Cependant, tous les détecteurs d'IA ne se valent pas ! Leur niveau de précision varie en fonction des différentes méthodes utilisées pour les entraîner.

Pangram, TurnItIn et Ghostbusters ont recours à la détection basée sur l'apprentissage. Dans ce type de détection, le modèle est entraîné à distinguer ce qui est généré par l'IA de ce qui ne l'est pas, à partir d'un vaste échantillon. Alors que le

Les experts humains ayant l'habitude d'utiliser les grands modèles linguistiques (LLM) pour des tâches de rédaction sont capables de détecter l'IA avec une précision de 92 %. Les linguistes n'ont pas réussi à atteindre ce niveau de précision sans avoir utilisé au préalable des outils tels que ChatGPT. Les détecteurs humains sont capables d'expliquer pourquoi ils ont retenu une prédiction particulière concernant un texte. Bien que Pangram affiche une précision et des taux de faux positifs plus élevés, il est incapable de replacer le texte dans son contexte.

Mettre en place un processus équitable en matière d'intégrité académique dans le domaine de l'IA

Lors de l'élaboration de politiques ou de normes relatives à l'utilisation de l'IA, la communication doit être claire. L'IA peut être utilisée pour rédiger des plans, trouver des idées, corriger des fautes de grammaire, effectuer des recherches, rédiger des brouillons ou réaliser des travaux d'écriture plus importants. Il est indispensable de mettre en place des directives précisant les degrés d'utilisation de l'IA qui sont autorisés ou non. Pour trouver l'inspiration, vous pouvez consulter les politiques réelles en matière d'IA de plus de 170 établissements d'enseignement supérieur répertoriés dans l'annuaire de Gradpilot.

Les élèves et les enseignants doivent comprendre comment les outils courants évoluent grâce à l'IA. La fonction « Aide à la rédaction » de Google Docs tire ses résultats de Gemini. Grammarly intègre actuellement des fonctionnalités de génération et de reformulation basées sur l'IA. Les outils de traduction peuvent recourir à des modèles de langage (LLM) pour fonctionner. Le fait de reprendre des passages issus de recherches générées par l'IA ou de séances de brainstorming déclenche également une détection.

Nous recommandons de recourir à la fois au jugement humain et à la détection automatisée. Il serait extrêmement injuste pour l'étudiant de se baser exclusivement sur la détection par IA pour évaluer son travail, compte tenu du taux de faux positifs (FPR) de 0,01 %. Après avoir obtenu un résultat positif, il conviendrait d'évaluer le processus de rédaction de l'étudiant et de comparer le texte en cause à ses travaux antérieurs. Veillez à tester le détecteur sur quelques textes et à prendre en compte les résultats que vous pourriez obtenir en utilisant un modèle de langage (LLM) pour ce devoir.

S'il apparaît de plus en plus clairement qu'un élève a rendu un devoir rédigé par une IA, cela peut constituer une occasion d'apprendre. Il est important de traiter les élèves avec respect et d'éviter d'être trop sévère. Les élèves pourraient tirer profit du fait de refaire le devoir et d'avoir une discussion sur les raisons qui les ont poussés à recourir à l'IA.

Pour plus d'informations sur cet article, nous vous invitons à visionner l'intégralité du webinaire : https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.