Les articles présentés lors des conférences sur l'IA sont de plus en plus souvent rédigés par l'IA : une hausse de 370 % depuis 2023

Un graphique illustrant le pourcentage de résumés générés par l'IA soumis à l'ICLR par année, qui montre une tendance à la hausse depuis 2023.

En février 2024, un article publié dans *Frontiers in Cell and Developmental Biology* comportait des illustrations manifestement générées par l'IA. Cet article a fait la une des journaux, car l'une des images représentait un rat doté de testicules d'une taille absurde et d'un texte incompréhensible qui n'avait absolument aucun sens.

Si l'évaluation par les pairs (en théorie) devrait suffire à repérer des cas évidents comme celui-ci, qu'en est-il lorsque le contenu même de l'article est généré par l'IA ? Même les experts ont du mal à distinguer les travaux de recherche générés par l'IA de ceux rédigés par des humains.

Un récent article publié dans *Nature* met en lumière les inquiétudes croissantes concernant le contenu généré par l'IA dans les articles universitaires. L'article présente une étude dans laquelle des informaticiens ont utilisé Claude 3.5, l'un des derniers modèles de langage (LLM), pour générer des idées de recherche et rédiger des articles, qui ont ensuite été soumis à des évaluateurs scientifiques. Ces derniers ont alors noté les articles en fonction de leur « originalité, intérêt, faisabilité et efficacité attendue ». En moyenne, il s'est avéré que les évaluateurs attribuaient de meilleures notes aux articles rédigés par l'IA qu'à ceux écrits par des humains ! Cela soulève la question suivante : l'IA propose-t-elle réellement de meilleures idées de recherche que les humains ? Bien qu'il soit tentant de croire que cela pourrait être le cas, sur les 4 000 articles générés par l'IA étudiés par les chercheurs, seuls 200 d'entre eux (5 %) contenaient réellement une idée originale : la plupart des articles ne faisaient que régurgiter des idées déjà existantes issues de l'ensemble de données d'entraînement du LLM.

En fin de compte, la recherche générée par l'IA nuit à la communauté en introduisant du bruit et en affaiblissant le signal dans le processus d'évaluation par les pairs, sans parler du temps et des efforts gaspillés par les évaluateurs qui veillent au respect des normes de la recherche. De plus, ce qui est encore pire, c'est que la recherche générée par l'IA semble souvent convaincante, mais en réalité, le texte produit par un modèle linguistique semble simplement fluide et peut être truffé d'erreurs, d'hallucinations et d'incohérences logiques. Le problème ici est que même les évaluateurs experts ne sont souvent pas en mesure de déterminer si ce qu'ils lisent est une hallucination d'un modèle linguistique de grande envergure (LLM).

Les organisateurs des principales conférences sur l'apprentissage automatique partagent notre avis : les textes générés par des modèles de langage de grande envergure (LLM) n'ont pas leur place dans la rédaction scientifique. La politique officielle de l'ICML (Conférence internationale sur l'apprentissage automatique) est la suivante :

Précisions concernant la politique relative aux grands modèles linguistiques

Nous (les responsables du programme) avons inclus la déclaration suivante dans l'appel à communications pour l'ICML 2023 :

Les articles contenant du texte généré à partir d'un modèle linguistique à grande échelle (LLM), tel que ChatGPT, sont interdits, sauf si ce texte est présenté dans le cadre de l'analyse expérimentale de l'article.

Cette déclaration a suscité de nombreuses questions de la part d'auteurs potentiels et a incité certains d'entre eux à nous contacter de leur propre initiative. Nous vous remercions pour vos retours et vos commentaires, et souhaitons apporter des précisions sur l'intention qui sous-tend cette déclaration ainsi que sur la manière dont nous comptons mettre en œuvre cette politique pour l'ICML 2023.

En bref ;

La politique relative aux grands modèles linguistiques (LLM) pour l'ICML 2023 interdit les textes entièrement produits par des LLM (c'est-à-dire « générés »). Cela n'empêche toutefois pas les auteurs d'utiliser des LLM pour réviser ou peaufiner des textes qu'ils ont eux-mêmes rédigés. Cette politique repose en grande partie sur le principe de la prudence face aux problèmes potentiels liés à l'utilisation des LLM, notamment le plagiat.

Malgré cet avertissement, nous constatons qu'un nombre important et croissant d'auteurs dans le domaine de l'apprentissage automatique enfreignent cette politique et utilisent malgré tout l'IA pour générer du texte dans leurs articles.

Évaluer l'ampleur du problème

Chez Pangram, nous avons voulu évaluer l'ampleur de ce problème dans notre propre domaine : l'intelligence artificielle. Nous avons cherché à répondre à la question suivante : les chercheurs en IA utilisent-ils ChatGPT pour rédiger leurs propres travaux de recherche ?

Pour étudier ce problème, nous avons utilisé l'API OpenReview afin d'extraire les contributions soumises entre 2018 et 2024 à deux des plus grandes conférences sur l'IA : ICLR et NeurIPS.

Nous avons ensuite utilisé le détecteur d'IA de Pangram sur tous les résumés soumis à ces conférences. Voici nos conclusions :

ICLR

Un graphique illustrant le pourcentage de résumés générés par l'IA soumis à l'ICLR par année, qui montre une tendance à la hausse depuis 2023.

NeurIPS

Un graphique illustrant le pourcentage de résumés générés par l'IA soumis à Neurips par année, qui montre une tendance à la hausse depuis 2023.

Les résultats

Nous pouvons considérer toutes les données antérieures à 2022 comme un ensemble de validation pour le taux de faux positifs de notre modèle, car les grands modèles linguistiques n'existaient pas à l'époque. Comme le montrent les figures, notre modèle prédit que chaque résumé de conférence datant de 2022 ou d'avant a été rédigé par un humain. Cela devrait inspirer confiance dans la précision de notre modèle : notre taux de faux positifs est très bon sur les résumés scientifiques, de sorte que nous pouvons être sûrs que chaque prédiction positive faite en 2023 et 2024 est un vrai positif.

Ce que nous observons depuis lors est très préoccupant. Trois cycles de conférences ont eu lieu depuis le lancement de ChatGPT en novembre 2022.

Le premier cycle a eu lieu juste au moment du lancement de ChatGPT (ICLR 2023). La date limite de soumission était en réalité antérieure au lancement de ChatGPT, mais les auteurs ont la possibilité d'apporter des modifications avant la tenue de la conférence, qui a eu lieu quelques mois après le lancement de ChatGPT. Ce que nous constatons est conforme aux attentes : seule une poignée de résumés ont été rédigés par une IA (nous n'en avons trouvé que 2 sur plusieurs milliers dans ce cycle) et ont probablement été modifiés après la date limite.

Le deuxième cycle a eu lieu environ six mois plus tard, avec NeuRIPS 2023, dont la date limite de soumission était fixée à l'été 2023 pour une conférence prévue en décembre. Lors de cette conférence, nous avons indiqué qu'environ 1,3 % des résumés soumis avaient été générés par l'IA : une proportion modeste, mais significative.

Enfin, lors de la dernière édition, l'ICLR 2024, qui s'est tenue il y a quelques mois à peine, nous avons constaté une hausse atteignant 4,9 % : soit une multiplication par près de quatre du nombre d'articles générés par l'IA par rapport à NeuRIPS 2023 !

Ces résultats mettent en lumière une tendance préoccupante : non seulement le nombre d'articles de conférence générés par l'IA soumis aux principales conférences sur l'IA est en hausse, mais cette augmentation s'accélère : en d'autres termes, le rythme auquel ces articles sont soumis s'accélère.

À quoi ressemblent les résumés générés par l'IA ?

Jetez un œil à quelques-uns de ces résumés et voyez par vous-même s'ils vous semblent correspondre au style de rédaction auquel vous êtes habitué dans la littérature scientifique technique :

1. Dans le paysage complexe des données en réseau, la compréhension des effets causaux des interventions constitue un défi majeur ayant des implications dans divers domaines. Les réseaux neuronaux graphiques (GNN) se sont imposés comme un outil puissant pour saisir les dépendances complexes ; pourtant, le potentiel de l'apprentissage profond géométrique pour l'inférence causale sur les réseaux basés sur les GNN reste sous-exploité. Ce travail apporte trois contributions essentielles pour combler cette lacune. Premièrement, nous établissons un lien théorique entre la courbure des graphes et l'inférence causale, révélant que les courbures négatives posent des difficultés pour l'identification des effets causaux. Deuxièmement, sur la base de cette intuition théorique, nous présentons des résultats computationnels utilisant la courbure de Ricci pour prédire la fiabilité des estimations d'effets causaux, démontrant empiriquement que les régions à courbure positive produisent des estimations plus précises. Enfin, nous proposons une méthode utilisant le flux de Ricci pour améliorer l'estimation des effets de traitement sur des données en réseau, qui affiche des performances supérieures en réduisant l'erreur grâce à l'aplatissement des arêtes du réseau. Nos résultats ouvrent de nouvelles voies pour exploiter la géométrie dans l'estimation des effets causaux, en offrant des perspectives et des outils qui améliorent les performances des GNN dans les tâches d'inférence causale.

2. Dans le domaine des modèles linguistiques, le codage des données est essentiel, car il influe sur l'efficacité et la performance de l'entraînement des modèles. Le Byte Pair Encoding (BPE) est une technique de tokenisation de sous-mots bien établie qui concilie efficacité computationnelle et expressivité linguistique en fusionnant des paires d'octets ou de caractères fréquentes. L'entraînement des modèles linguistiques nécessitant d'importantes ressources computationnelles, nous proposons Fusion Token, une méthode qui améliore considérablement l'approche conventionnelle du Byte Pair Encoding (BPE) en matière de codage des données pour les modèles linguistiques. Fusion Token utilise une stratégie de calcul plus ambitieuse que le BPE, en élargissant les groupes de tokens de bi-grammes à 10-grammes. Il est remarquable de constater qu’avec l’ajout de 1 024 tokens au vocabulaire, le taux de compression dépasse largement celui d’un tokeniseur BPE classique disposant d’un vocabulaire d’un million de mots. Dans l'ensemble, la méthode Fusion Token conduit à des améliorations notables des performances grâce à une portée de données accrue par unité de calcul. De plus, une compression plus élevée se traduit par des temps d'inférence plus courts en raison du nombre réduit de tokens par chaîne donnée. En consacrant davantage de ressources de calcul au processus de construction du tokeniseur, Fusion Token maximise le potentiel des modèles linguistiques en tant que moteurs de compression de données efficaces, permettant ainsi la mise en place de systèmes de modélisation linguistique plus performants.

3. Dans le domaine en pleine évolution de la génération de mouvements, l'amélioration de la sémantique textuelle est désormais reconnue comme une stratégie très prometteuse pour produire des mouvements plus précis et plus réalistes. Cependant, les techniques actuelles s'appuient souvent sur des modèles linguistiques complexes pour affiner les descriptions textuelles, sans garantir un alignement précis entre les données textuelles et les données de mouvement. Ce décalage conduit souvent à une génération de mouvements sous-optimale, limitant ainsi le potentiel de ces méthodes. Pour remédier à ce problème, nous présentons un nouveau cadre appelé SemanticBoost, qui vise à combler le fossé entre les données textuelles et les données de mouvement. Notre solution innovante intègre des informations sémantiques supplémentaires dérivées des données de mouvement elles-mêmes, ainsi qu'un réseau de débruitage dédié, afin de garantir la cohérence sémantique et d'améliorer la qualité globale de la génération de mouvements. À travers des expériences et des évaluations approfondies, nous démontrons que SemanticBoost surpasse largement les méthodes existantes en termes de qualité, d'alignement et de réalisme des mouvements. De plus, nos résultats soulignent le potentiel de l'exploitation des indices sémantiques issus des données de mouvement, ouvrant de nouvelles perspectives pour une génération de mouvements plus intuitive et diversifiée.

Remarquez-vous une tendance ? Tout d'abord, on constate qu'ils commencent tous par des expressions très similaires : « Dans le paysage complexe de », « Dans le domaine de », « Dans le domaine en pleine évolution de ». C'est ce que nous appelons un langage artificiellement ampoulé. Nous avons déjà évoqué la fréquence à laquelle les modèles de langage (LLM) utilisent beaucoup de mots pour produire très peu de contenu réel. Si cela peut être souhaitable pour un étudiant cherchant à atteindre un nombre minimum de mots dans un devoir, pour un lecteur technique cherchant à s’informer sur des recherches, ce type de langage excessivement verbeux rend l’article plus difficile et plus long à lire, tout en rendant le message réel de l’article moins clair.

Les articles sur l'IA sont-ils réellement acceptés lors des conférences ?

Nous nous sommes demandé si les articles générés par l'IA étaient réellement filtrés de manière efficace par le processus d'évaluation par les pairs, ou si certains d'entre eux passaient entre les mailles du filet.

Pour répondre à cette question, nous avons analysé la corrélation entre les résumés générés par l'IA et les décisions relatives aux articles lors de l'ICLR 2024. (Les articles présentés en oral, en « spotlight » et sous forme de poster sont tous des articles « acceptés » ; les catégories « oral » et « spotlight » constituent des distinctions spéciales). Voici ce que nous avons constaté :

Même si le pourcentage d'articles générés par l'IA qui ont été acceptés est inférieur à celui des articles soumis, un nombre important d'entre eux a tout de même franchi le cap de l'évaluation par les pairs. Cela signifie que, si les évaluateurs parviennent à repérer certains contenus générés par l'IA, ils ne les détectent pas tous.

Nous constatons que même certains exposés oraux et articles phares comportent des résumés générés par l'IA ! En interprétant la situation avec bienveillance, il se pourrait qu'à l'avenir, nous découvrions que ces travaux de recherche sont en réalité d'excellente qualité et que les auteurs ont simplement recours à ChatGPT pour les aider à mieux présenter ou réviser leurs travaux.

Il convient notamment de noter que, comme une grande partie de la communauté scientifique n'est pas anglophone, les modèles de langage de grande envergure (LLM) seront de plus en plus utilisés pour traduire en anglais des articles rédigés dans d'autres langues.

Conclusion

Bien que la communauté de l'IA ait expressément demandé aux auteurs de ne pas utiliser ChatGPT, nombre d'entre eux ignorent cette consigne et ont tout de même recours aux modèles de langage (LLM) pour les aider à rédiger leurs articles. Plus inquiétant encore, même les experts en IA, qui interviennent en tant que pairs évaluateurs pour protéger les conférences contre les articles générés par des LLM, ne parviennent pas à les repérer !

ChatGPT a des répercussions encore plus importantes sur l'ensemble du processus académique. Une récente étude de cas de l'ICML a révélé qu'entre 6 et 16 % des évaluations par les pairs avaient été générées par l'IA, et qu'il existe une corrélation positive entre les évaluations générées par l'IA et la proximité de la date de soumission par rapport à la date limite !

Nous appelons la communauté de l'IA à mieux faire respecter ces politiques et invitons les auteurs à assumer leurs responsabilités pour s'assurer que leurs articles sont bien rédigés par des humains.

L'incursion de l'IA dans l'écriture littéraire ne se limite pas à la recherche : l'IA remporte également des prix littéraires.