Dans quelle mesure Pangram est-il capable de détecter des modèles de raisonnement ?

L'une des avancées les plus marquantes dans le domaine des grands modèles linguistiques en 2025 a été l'essor des modèles de raisonnement. Il s'agit, pour ainsi dire, de modèles qui ont appris à réfléchir avant de s'exprimer.

Qu'est-ce qu'un modèle de raisonnement ?

Un modèle de raisonnement est similaire à un LLM classique, à cette différence près qu’en plus de générer des tokens de sortie, ces modèles sont également entraînés à produire des tokens de réflexion, ou tokens de raisonnement. Lors de la phase de réflexion, le modèle tente de résoudre des tâches complexes en essayant différentes approches et en s’interrogeant avant de donner une réponse. Dans la pratique, ces modèles excellent dans la résolution de problèmes, notamment dans les domaines des mathématiques et du codage, et obtiennent des scores bien supérieurs à ce que l’on pourrait attendre d’eux lors des tests de performance.

Comment fonctionnent les modèles de raisonnement ?

Les modèles de raisonnement suivent ce qu'on appelle une « chaîne de pensée » avant de s'exprimer. Voici un exemple tiré de Deepseek-R1, le seul modèle de raisonnement à ce jour qui rende publiques ses « pensées ».

Exemple de chaîne de raisonnement Deepseek R1

Dans cet exemple, Deepseek réfléchit à ce que l'utilisateur souhaite avant de commencer à générer des tokens, ce qui lui permet d'organiser plus efficacement et de réfléchir de manière plus logique à la meilleure réponse possible.

Quels sont les modèles de raisonnement les plus courants ?

Plusieurs fournisseurs ont mis au point des modèles de raisonnement qui ont atteint des performances de pointe.

OpenAI

La série de modèles de raisonnement d'OpenAI s'appelle la série O. Les modèles actuellement disponibles sont o1, o1-mini, o3, o3-pro et o4-mini. o3-pro est le plus performant de ces modèles.

Anthropique

Anthropic a ajouté des capacités de raisonnement aux dernières versions de Claude. Claude 4 Opus et Claude 4 Sonnet disposent toutes deux d'un mode « réflexion approfondie » qui leur permet de raisonner avant de répondre.

Gémeaux

La série de modèles Gemini 2.5 de Google utilise désormais un processus de réflexion interne et comprend également des modèles dotés de capacités de raisonnement. Gemini 2.5 Pro, Gemini 2.5 Flash et Gemini 2.5 Flash-Lite possèdent tous des capacités de réflexion.

Deepseek

Deepseek R1 a été le premier modèle de raisonnement open source ; il a été lancé par la société chinoise Deepseek. Contrairement aux autres modèles commerciaux à code source fermé, Deepseek permet de visualiser le raisonnement du modèle en plus du résultat final.

Qwen

Par ailleurs, une autre entreprise chinoise, Qwen, a lancé un modèle de raisonnement baptisé Qwen-QWQ-32B. Il s'agit d'un modèle de raisonnement plus compact, pouvant être déployé dans un éventail de contextes plus large que le Deepseek R1.

Quels sont les résultats de Pangram avec ces modèles de raisonnement ?

Nous avons récemment publié une mise à jour du modèle de détection par IA de Pangram qui améliore les performances des modèles de raisonnement dans tous les domaines.

C'est sur les modèles o3 et o3-pro que l'amélioration des performances est la plus marquée. Nous avons constaté que les modèles o3 et o3-pro différaient considérablement des modèles précédemment publiés par OpenAI, et que notre ancien modèle de détection d'IA n'était pas en mesure de s'adapter aussi bien à ces derniers, n'atteignant qu'un taux de rappel de 93 % lors de nos premiers tests.

Résolution des problèmes o3 et o3-pro

Un autre problème auquel nous avons été confrontés est que les modèles o3 et o3-pro sont nettement plus coûteux que leurs prédécesseurs, ce qui signifie que nous ne pourrions pas générer de données à partir d'eux à la même échelle que les autres modèles. Pour compliquer encore davantage les choses, ces modèles prennent également plus de temps à s'exécuter, car ils passent beaucoup de temps à réfléchir avant de générer des tokens de sortie.

Nous avons régénéré notre ensemble de données d'entraînement en y incluant une petite quantité de données o3 et o3-pro. Dans notre ensemble d'entraînement final pour la version de juillet, le texte o3 ne représente que 0,17 % de l'ensemble des données d'entraînement, et le texte o3-pro seulement 0,35 %. Nous avons équilibré cela et espéré obtenir une généralisation en augmentant également la part du texte o3-mini à 5 % de l'ensemble de données d'entraînement. Étonnamment, cela a très bien fonctionné ! Grâce à un léger ajustement de l'ensemble d'entraînement, nous avons pu aligner le rappel de o3 et o3-pro sur celui des autres LLM que nous évaluons, sans avoir à faire de compromis sur les faux positifs.

Pangram est un modèle d'apprentissage en quelques itérations

Ce comportement de Pangram, qui permet de l'entraîner à partir d'un petit échantillon de données issues de nouveaux modèles de langage (LLM) qualitativement différents de leurs prédécesseurs, fait de Pangram ce que nous appelons un « Few-Shot Learner ». Ce comportement a des implications importantes : lorsque de nouveaux LLM sont lancés, ou même de nouveaux produits basés sur des LLM qui, en coulisses, s'appuient sur des LLM finement ajustés pouvant présenter des styles d'écriture sous-jacents différents, Pangram est capable de s'y adapter rapidement et à moindre coût, sans qu'il soit nécessaire de régénérer massivement les ensembles de données.

Beaucoup de gens nous demandent pourquoi nous pensons pouvoir gagner ce qui n'est, en fin de compte, qu'un jeu du « chat et de la souris ». Comme Pangram est un système d'apprentissage à partir de quelques exemples, rattraper les nouveaux grands modèles linguistiques (LLM) n'est pas aussi difficile qu'il n'y paraît à première vue : il suffit de lui montrer quelques exemples pour qu'il soit capable de généraliser et d'apprendre le schéma de manière très efficace. En termes simples, Pangram est extrêmement efficace pour « apprendre à apprendre » à quoi ressemblent les nouveaux LLM, car il en a vu un grand nombre par le passé.

Ceci, ajouté au fait que chaque LLM possède son propre style, distinct et singulier, a en réalité permis à Pangram de s'adapter plus facilement aux nouveaux LLM à mesure de leur sortie, alors même que ces derniers s'améliorent et gagnent en performances. À notre sens, les capacités d'un LLM sont indépendantes de sa détectabilité.

En conclusion : en quoi o3 et o3-pro diffèrent-ils ?

Plusieurs personnes issues du milieu de l'IA nous ont fait remarquer qu'o3 et o3-pro se distinguent des autres modèles de langage (LLM) que nous avons connus jusqu'à présent. D'après notre expérience, ce sont les premiers modèles depuis longtemps (depuis Claude 2) pour lesquels Pangram ne parvient pas à les reproduire en mode « zero-shot » avec une fiabilité supérieure à 99 % (sans avoir vu aucune donnée du modèle). Bien qu'il soit difficile de mettre le doigt sur ce qui les rend différents, voici une liste d'hypothèses expliquant pourquoi ils pourraient avoir quelque chose de particulier.

• o3 et o3-pro sont trop optimisés pour une utilisation avec des outils. Nous savons que Pangram détecte en grande partie le contenu généré par l'IA en se basant sur les comportements et les particularités introduits lors du post-entraînement. OpenAI indique dans son article de blog consacré à cette sortie que o3 et o3-pro se distinguent de leurs prédécesseurs en ce qu'ils sont entraînés à l'aide de l'apprentissage par renforcement pour utiliser des outils dans le cadre de leur processus de post-entraînement. Cette différence dans l'algorithme de post-entraînement a peut-être également eu une incidence qualitative sur le style des résultats.

• o3 et o3-pro ont davantage tendance à « halluciner ». Selon Nathan Lambert, o3 a inséré un caractère non ASCII invalide dans son code et a « halluciné » des actions qu’il aurait effectuées en tentant de résoudre des tâches, comme par exemple prétendre avoir exécuté du code de chronométrage sur un MacBook Pro qui n’existait pas. De plus, des évaluations indépendantes menées par METR ont révélé que o3 avait tendance à « truquer ses scores » plutôt que de résoudre réellement des tâches de manière autonome.

Pour plus d'informations sur o3 et o3-pro, nous vous recommandons de lire l'article de blog de Nathan, le « Vibe Check » de Dan Shipper et l'article de blog d'OpenAI annonçant cette sortie.

Conclusion

Pangram est aussi performant que n'importe quel autre grand modèle de langage (LLM) en matière de modèles de raisonnement, mais o3 et o3-pro semblent se distinguer de leurs prédécesseurs par leur style et leur ton. En améliorant les performances de Pangram sur o3 et o3-pro, nous avons réalisé que nous n'avions peut-être pas besoin d'autant d'exemples que nous le pensions pour chaque LLM lors de leur sortie, car Pangram est extrêmement performant en matière d'apprentissage à partir d'un petit nombre d'exemples.

Nous envisageons d'apporter des modifications à notre architecture et à notre processus de formation afin de rendre la mise à jour de Pangram beaucoup plus rapide et plus simple, et de nous permettre de déployer des modèles de détection IA capables d'identifier les derniers modèles de langage de grande envergure (LLM) encore plus rapidement qu'auparavant. Restez à l'écoute pour d'autres nouvelles !