Présentation de l'identification par IA : Pangram est capable de distinguer les différents modèles de langage (LLM) les uns des autres

Pangram est le logiciel de référence pour détecter les textes générés par l'IA à l'aide d'outils tels que ChatGPT, Claude, Gemini et bien d'autres, et pour distinguer les textes rédigés par l'IA de ceux rédigés par des humains.

Nous franchissons aujourd’hui une nouvelle étape en lançant un modèle avancé capable non seulement de détecter les contenus générés par l’IA, mais aussi d’identifier le modèle de langage (LLM) à l’origine d’un texte généré par l’IA. Nous avons baptisé cette nouvelle technologie « AI Identification ».

Identification par IA

Intuitivement, les gens commencent à se rendre compte que les différents modèles de langage (LLM) ont des styles d'écriture distincts. Par exemple, ChatGPT est connu pour être assez direct et sans détours, Claude pour être plus fluide et conversationnel, Grok pour être sans tabou et provocateur, et Deepseek-R1 commence à se faire connaître pour être décousu et prolixe.

Graham Neubig se moque des différentes tendances stylistiques des grands modèles de langage

Ethan Mollick s'interroge sur la personnalité agréable de Claude Sonnet.

Une étude récente menée par Lisa Dunlap et ses collaborateurs à l'université de Berkeley s'est penchée sur les différences qualitatives (ou, pour parler familièrement, sur l'« ambiance ») entre différents modèles de langage de grande envergure (LLM). Ils ont mis en évidence de nombreux éléments intéressants, tels que « Llama est plus humoristique, utilise davantage de mise en forme, fournit plus d'exemples et aborde beaucoup moins les questions d'éthique que GPT et Claude ». Cela implique que les performances des modèles ne correspondent pas toujours aux préférences humaines : même si GPT-4 et Claude-3.5 sont des modèles plus avancés que la série Llama, Llama semble toujours surpasser ses capacités sur Chatbot Arena, un classement participatif des LLM basé sur le système Elo et les préférences des utilisateurs face à des réponses identiques à des invites données. Les modèles qui obtiennent de bons résultats sur Chatbot Arena sont-ils plus intelligents et plus performants, ou essaient-ils simplement de manipuler la psychologie humaine de manière à se rendre plus « sympathiques » ? Et si certains modèles sont plus utiles et plus sympathiques que d’autres, est-ce vraiment important qu’ils soient moins capables de résoudre des problèmes de raisonnement de niveau doctorat ? Ce sont là des questions qui méritent d’être étudiées, et qui sont importantes pour comprendre l’utilité de systèmes comme Chatbot Arena par rapport aux évaluations traditionnelles des modèles.

Chez Pangram, nous nous sommes demandé s'il était possible que notre modèle utilise ces « vibes » pour identifier et distinguer ces grands modèles de langage les uns des autres.

Système d'identification par IA de Pangram

Tout comme nous entraînons notre modèle de base de détection de l'IA à distinguer les textes générés par l'IA de ceux rédigés par des humains, nous entraînons également ce même modèle à identifier l'IA à l'aide d'une technique appelée « apprentissage multitâche ». Concrètement, nous classons les différents modèles linguistiques en 9 familles, que nous avons définies à l'issue d'une série d'expériences approfondies.

Les familles sont les suivantes :

1. GPT-3.5
2. GPT-4 (y compris GPT-4o, GPT-4-turbo et GPT-4o-mini)
3. Modèles de raisonnement d'OpenAI
4. Claude
5. Google (y compris les deux variantes de Gemini et Gemma)
6. Grok
7. DeepSeek
8. Amazon Nova
9. Autres (notamment LLaMA, Mistral, Qwen et d'autres dérivés open source de ces modèles)

Concrètement, nous y parvenons en ajoutant une « couche » supplémentaire à notre réseau neuronal. Lorsque nous supervisons la tâche de détection de l'IA, nous supervisons également la tâche d'identification de l'IA en transmettant l'étiquette du modèle au réseau et en effectuant une rétropropagation de l'erreur tant pour l'identification de l'IA que pour la prédiction de détection.

Source de l'image : GeeksForGeeks

Presque toutes les couches du modèle sont communes aux deux tâches, et seule la couche de prédiction finale est séparée.

On constate, dans le cadre de l'apprentissage multitâche, que certaines tâches se renforcent mutuellement lorsqu'elles sont apprises ensemble, tandis que d'autres s'entravent. En biologie, un concept similaire est celui de la symbiose par opposition au parasitisme. Par exemple, un poisson-clown vivant dans une anémone de mer est un exemple de symbiose : le poisson-clown se nourrit de prédateurs susceptibles de nuire à l'anémone, tandis qu'il est lui-même protégé de ses propres prédateurs en se camouflant et en se cachant à l'intérieur de l'anémone.

Nous constatons que l'ajout de la tâche d'identification des grands modèles de langage (LLM) va de pair avec celle de détection de ces modèles. En d'autres termes, le fait de demander à notre modèle non seulement de détecter les textes générés par l'IA, mais aussi d'identifier le modèle dont ils proviennent, s'avère globalement utile pour la détection de l'IA. D'autres chercheurs ont également confirmé que les différents grands modèles de langage (LLM) se distinguent non seulement des textes humains, mais aussi les uns des autres.

Un encodage est une représentation d'un fragment de texte sous la forme d'un vecteur numérique. Les valeurs concrètes de l'encodage n'ont pas de sens prises isolément, mais lorsque deux encodages sont proches l'un de l'autre, cela signifie qu'ils ont soit une signification similaire, soit un style similaire. À l'aide d'une technique appelée UMAP, nous pouvons visualiser ces encodages, qui sont de très haute dimension, dans un espace bidimensionnel. Ces auteurs constatent que lorsque des documents rédigés par des humains et des modèles de langage (LLM) sont convertis en représentations stylistiques, comme vous pouvez le voir sur l'image ci-dessus, tous les documents correspondant au même LLM sont séparables dans l'espace de représentation ! Cela signifie que, dans l'ensemble, tous les documents rédigés par le même LLM sont plus proches en termes de style que ceux rédigés par des LLM différents, ou par des LLM et des humains.

Ce résultat nous a convaincus qu'il était possible de mettre au point un classificateur capable d'identifier le LLM d'origine.

Précision de l'identification par IA

Notre modèle atteint une précision de 93 % lorsqu'il s'agit d'identifier la famille de LLM à l'origine d'un texte généré par l'IA. Vous trouverez ci-dessous la matrice de confusion, qui montre la fréquence à laquelle notre modèle identifie correctement chaque famille de LLM (cellules diagonales) par rapport à la fréquence à laquelle il confond une famille de LLM avec une autre (cellules hors diagonale). Plus la couleur est foncée, plus le nombre de prédictions dans cette cellule est élevé. Un modèle parfait n'aurait des cases foncées que le long de la diagonale et des cases blanches partout ailleurs.

Quelques remarques intéressantes concernant notre matrice de confusion :

• Les confusions sont plus fréquentes entre les différentes familles de modèles. Par exemple, GPT-4 est souvent confondu avec la série de modèles de raisonnement d'OpenAI. Cela se comprend, car GPT-4 est probablement un composant ou un point de départ pour les modèles de raisonnement d'OpenAI !

• Le modèle classe plus souvent les grands modèles de langage (LLM) dans la catégorie « Autre » que dans celle d'un LLM spécifique. Cela montre que, lorsqu'il n'est pas certain, le modèle a davantage tendance à choisir « Autre » par défaut plutôt que de se prononcer en faveur d'un LLM précis.

Même si le classificateur LLM n'est pas parfait, il est souvent précis ; et surtout, lorsqu'il se trompe, il confond certains systèmes d'IA avec d'autres, mais ne confond pas les résultats de ces systèmes avec de véritables textes rédigés par des humains.

Pourquoi l'identification par IA est-elle importante ?

Nous avons estimé qu'il était important d'aller au-delà de la simple détection de l'IA et de nous attaquer également à son identification, et ce pour plusieurs raisons.

• Tout d'abord, nous pensons qu'apprendre au modèle à distinguer les styles rédactionnels de différents modèles de langage (LLM) – une tâche plus complexe que la simple identification de la présence ou non d'une IA – contribue à améliorer les performances du détecteur d'IA lui-même. En lui demandant d'aller au-delà de ses capacités initiales, le modèle acquiert en quelque sorte des compétences avancées et des connaissances latentes qui l'aident à généraliser ses capacités et à détecter les textes générés par l'IA avec une plus grande précision.

• L'interprétabilité est une autre raison pour laquelle nous souhaitons afficher les résultats du classificateur LLM. Nous voulons nous assurer que le modèle sait réellement ce qu'il fait en coulisses, et qu'il ne se contente pas de deviner au hasard (comme c'est le cas de nombreux autres détecteurs aléatoires). En indiquant non seulement le score d'IA, mais aussi le LLM d'où provient le texte, nous espérons renforcer la confiance dans la capacité du modèle à saisir les nuances du style d'écriture généré par l'IA.

• Enfin, nous souhaitons mettre en évidence des tendances au fil du temps : quels modèles de langage (LLM) sont utilisés dans la pratique et à quelle fréquence ? Quels sont les modèles de langage préférés des étudiants, par rapport à ceux des fraudeurs ou des programmeurs ? C'est le genre de questions auxquelles nous espérons désormais pouvoir répondre dans le cadre de futures études.

Conclusion

Nous espérons que vous apprécierez notre fonctionnalité d'identification par IA et qu'elle vous aidera à mieux comprendre les personnalités et les styles propres aux différentes familles de modèles de langage (LLM). Pour plus d'informations, n'hésitez pas à nous contacter à l'adresse info@pangram.com!