L'état de l'intégrité académique et la détection par l'IA en 2025

Bradley Emi, directeur technique de Pangram Labs, a donné une conférence sur l'état actuel de la détection de l'IA lors de la conférence ICAI.

Les étudiants utilisent et abusent de ChatGPT. La plupart d'entre eux utilisent régulièrement des outils d'IA et pensent que leurs performances s'amélioreront grâce à ces outils. Même si des politiques claires interdisent l'utilisation de l'IA, les étudiants sont susceptibles de continuer à l'utiliser.

Contrairement à la croyance populaire, l'IA peut être détectée. Le langage, le style et les choix sémantiques peuvent être discernés à la fois par les humains et par des logiciels automatisés (avec une formation suffisante).

Pourquoi l'IA sonne-t-elle ainsi ?

Les LLM sont des distributions de probabilité qui apprennent à partir de grandes quantités de données. Ils ne correspondent PAS à la moyenne de tous les écrits humains. Cela s'explique par la manière dont les modèles sont entraînés.

Les modèles sont entraînés en trois étapes : pré-entraînement, ajustement des instructions et alignement.

Au cours de la phase de pré-entraînement, le modèle analyse les modèles statistiques à partir d'un vaste ensemble de données. L'ensemble de données d'entraînement contient des biais qui apparaissent dans les modèles statistiques. Par exemple, les données qui apparaissent fréquemment sur Internet sont surreprésentées. Dans un article du Guardian, Alex Hern explique comment des travailleurs au Kenya et au Nigeria ont été exploités pour fournir des données d'entraînement à OpenAI. Les mots que ces travailleurs utilisaient fréquemment, tels que « delve » (creuser) et « tapestry » (tapisserie), sont les mêmes que ceux qui apparaissent fréquemment dans les textes générés par l'IA.

Dans le cadre de l'Instruction Tuning, le modèle est entraîné à répondre à des invites. Le modèle apprend qu'il vaut mieux suivre les instructions plutôt que de présenter des informations précises et correctes. Même lorsque des filtres de sécurité sont mis en place, la désinformation continue de nuire à la rédaction IA, qui cherche à satisfaire l'utilisateur.

Pendant l'alignement, le modèle apprend la différence entre les bonnes et les mauvaises réponses aux invites. Les données sur les préférences peuvent être extrêmement biaisées, car elles sont basées sur les points de vue du formateur, et pas nécessairement sur des faits.

Nous avons fourni un échantillon des mots et expressions les plus couramment utilisés dans la rédaction IA. Ceux-ci proviennent des biais introduits lors de la phase de pré-formation.

L'IA est connue pour son langage et son formatage très structurés. Les phrases de transition, les listes à puces et l'écriture soignée sont courantes dans les textes rédigés par l'IA en raison de la phase d'alignement.

La rédaction par IA est souvent formelle, car les textes formels sont surreprésentés sur Internet, et donc surreprésentés dans les ensembles de données d'entraînement de l'IA. La positivité et l'utilité sont renforcées lors de l'alignement.

Remarque : Pangram ne prédit pas l'utilisation de l'IA simplement parce qu'un texte contient un langage et une mise en forme courants de l'IA.

Les humanisateurs dans le milieu universitaire

Nous avons étudié 19 outils d'humanisation différents et avons créé le nôtre. Nous avons constaté que les outils d'humanisation basés sur l'IA préservent le sens original à des degrés divers (allant de légères modifications à un texte incompréhensible). Certains outils d'humanisation font un bon travail de paraphrase, mais ne parviennent pas à échapper à la détection. Plus le texte humanisé est fluide, moins il a de chances d'échapper à la détection. Les humaniseurs sont capables de supprimer le filigrane SynthID de Google (qui est utilisé pour marquer les textes générés par Gemini).

Détection automatisée et humaine de l'IA

La première génération d'outils de détection de l'IA et leurs défauts ont façonné la perception du grand public à l'égard de la détection de l'IA. Ces outils s'appuyaient sur des corrélations avec l'utilisation de l'IA plutôt que sur des signaux causaux. Ils revendiquaient une précision de 99 %, ce qui est inadapté à un usage académique.

Cette nouvelle génération d'outils de détection offre une précision supérieure à 99,9 % et un taux de faux positifs (FPR) très faible ! Elle est également résistante aux paraphraseurs et aux humaniseurs.

Cependant, les détecteurs d'IA ne sont pas tous identiques ! Leur précision varie en fonction des différentes méthodes utilisées pour les entraîner.

Pangram, TurnItIn et Ghostbusters utilisent la détection basée sur l'apprentissage. Dans la détection basée sur l'apprentissage, le modèle est entraîné en apprenant ce qui est et n'est pas généré par l'IA à partir d'un large échantillon. Alors que le

Les experts humains qui ont l'habitude d'utiliser les LLM pour des tâches de rédaction peuvent détecter l'IA avec une précision de 92 %. Les linguistes n'ont pas été en mesure d'atteindre le même niveau de précision sans expérience dans l'utilisation d'outils tels que ChatGPT. Les détecteurs humains sont capables d'expliquer pourquoi ils ont choisi une prédiction spécifique concernant un texte. Bien que Pangram présente une précision et un taux de faux positifs plus élevés, il n'est pas en mesure de contextualiser le texte.

Mettre en place un processus équitable pour garantir l'intégrité académique dans le domaine de l'IA

Lors de l'élaboration de politiques ou de normes relatives à l'utilisation de l'IA, la communication doit être claire. L'IA peut être utilisée pour rédiger des plans, générer des idées, corriger des erreurs grammaticales, effectuer des recherches, rédiger des brouillons ou accomplir des tâches rédactionnelles importantes. Des lignes directrices précisant les degrés d'utilisation de l'IA autorisés ou non doivent être mises en œuvre.

Les élèves et les enseignants doivent comprendre comment les outils courants évoluent grâce à l'IA. La fonction « Aidez-moi à rédiger » de Google Docs tire ses résultats de Gemini. Grammarly inclut actuellement la génération et la paraphrase par IA. Les outils de traduction peuvent utiliser des LLM pour fonctionner. Le fait de reprendre des sections issues de recherches ou de brainstormings générés par l'IA déclenche également la détection.

Nous recommandons d'utiliser à la fois le raisonnement humain et la détection automatisée. Il est extrêmement injuste pour l'étudiant d'utiliser exclusivement la détection par IA pour évaluer son travail en raison du FPR de 0,01 %. Après avoir reçu une prédiction positive, les étapes suivantes consistent à évaluer le processus d'écriture de l'étudiant et à comparer le texte positif à ses travaux précédents. Veillez à tester le détecteur avec quelques textes et à prendre en compte les résultats que vous pourriez obtenir en utilisant un LLM pour le devoir.

S'il devient de plus en plus évident qu'un étudiant a rendu un devoir rédigé par une IA, cela peut être l'occasion d'apprendre quelque chose. Il est important de traiter les étudiants avec respect et d'éviter d'être trop punitif. Les étudiants peuvent tirer profit du fait de refaire le devoir et d'avoir une conversation sur ce qui a contribué à l'utilisation de l'IA.

Pour plus d'informations sur cet article, veuillez consulter le webinaire complet : https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.