Pangram est-il capable de détecter l'argon de Gemini 4 ?

Gemini 4 Argon est le dernier modèle d'IA de Google, lancé le 13 octobre 2026. Google affirme que Gemini 4 Argon a été conçu pour des tâches complexes en plusieurs étapes plutôt que pour le chat, et qu'il s'exprime de manière directe et utilise moins souvent des formules évasives que ses prédécesseurs.

Avec ces changements de style rédactionnel, Pangram parvient-il toujours à les détecter ? Nous avons testé les performances de Pangram 4.1 sur 2 341 exemples de requêtes et avons constaté que Pangram 4.1 avait classé 16 résultats de Gemini 4 Argon comme étant d’origine humaine, 7 comme mixtes et 2 318 comme entièrement générés par l’IA, atteignant ainsi une précision de 99,02 % sur Gemini 4 Argon.

Pour générer l'ensemble de référence, nous avons utilisé 1 200 prompts de premier tour issus de l'ensemble de données LMSYS-Chat-1M (Zheng et al., 2023). Nous les avons ensuite soumis à Gemini 4 Argon avec des niveaux de raisonnement « moyen » et « élevé », puis nous avons traité les résultats à l'aide de Pangram 4.1.

Résultats par catégorie

Dans l'ensemble, Gemini 4 Argon a affiché un taux de faux négatifs de 1,28 % sur 1 174 réponses concernant le raisonnement de haut niveau, et un taux de faux négatifs de 0,69 % sur 1 167 réponses concernant le raisonnement de niveau moyen. Globalement, aucune différence significative n'a été observée entre le taux de détection du raisonnement de niveau moyen et celui du raisonnement de haut niveau (p = 0,21).

Raisonnement de haut niveau

Lorsque Gemini 4 Argon était réglé sur un niveau de raisonnement élevé, Pangram 4.1 a classé 11 réponses comme étant humaines, 4 comme mixtes et 1 159 comme provenant entièrement de l'IA, atteignant ainsi un taux de rappel de 98,72 %.

Raisonnement moyen

Pour le raisonnement de niveau moyen, le Pangram 4.1 a classé 5 réponses comme étant humaines, 3 comme mixtes et 1 159 comme provenant entièrement de l'IA, atteignant ainsi un taux de rappel de 99,31 %.

Comment fonctionne l'Argon de Gemini 4 ?

Google affirme que Gemini 4 Argon utilise moins de formules évasives et s'exprime de manière plus directe. Pour vérifier cette affirmation de manière approximative, nous avons examiné un ensemble de 101 mots évasifs tirés de Hyland (2005) et comparé leur fréquence d'apparition à celle observée dans Haiku (7,0 pour 1 000 mots) et GPT-6.1 Sol (7,5 pour 1 000 mots).

Voici la liste des mots utilisés pour atténuer le sens :

à propos de, presque, apparent, apparemment, sembler, semblait, semble, environ, affirmer, a affirmé, affirme, aux alentours de, supposer, a supposé, globalement, dans une certaine mesure, à un certain niveau, prétendre, a prétendu, prétend, pourrait, ne pouvait pas, douter, douteux, essentiellement, estimer, a estimé, assez, ressentir, ressent, a ressenti, fréquemment, de mon point de vue, de notre point de vue, de ce point de vue, généralement, supposer, indiquer, a indiqué, indique, en général, dans la plupart des cas, dans la plupart des situations, à mon avis, selon moi, de ce point de vue, à notre avis, selon nous, en grande partie, probablement, principalement, peut, peut-être, pourrait, surtout, souvent, dans l’ensemble, devrait, peut-être, plausible, de manière plausible, possible, éventuellement, postuler, a postulé, postule, présumable, vraisemblablement, probable, probablement, tout à fait, plutôt x, relativement, à peu près, semble, devrait, parfois, quelque peu, suggérer, a suggéré, suggère, supposer, a supposé, suppose, soupçonner, soupçonne, tend à, avait tendance à, tend à, à ma connaissance, typique, généralement, incertain, de manière incertaine, peu clair, de manière peu claire, improbable, habituellement, ferait, ne ferait pas

Gemini 4 Argon a utilisé 51 % de mots évasifs en moins que Haiku et 54 % en moins que Sol, sur une base de 1 000 mots. Curieusement, même si les modèles ont généralement tendance à utiliser des mots d'atténuation beaucoup plus fréquemment que les humains, cette liste de mots a été détectée comme étant entièrement humaine par Pangram 4.1. Pour m'amuser, j'ai également demandé à ChatGPT de réorganiser cette liste dans l'ordre de son choix, et cette liste a également été détectée comme étant entièrement humaine.

Gemini 4 Argon a fourni les réponses les plus longues parmi ces trois modèles, avec une médiane de 447 mots (418 mots pour le niveau de raisonnement moyen, 447 mots pour le niveau élevé), contre 371 pour Haiku et 313 pour Sol. Gemini a également refusé de répondre à 31 demandes parmi les 2 400 requêtes totales, auxquelles s'ajoutent 3 requêtes bloquées par le filtre de Google, contre 35 refus pour Haiku et 23 pour Sol.

Tests de performance antérieurs

Pangram fait preuve d’une grande robustesse face à Gemini 4 Argon sur les invites en langage naturel et le détecte avec une précision observée de 98,72 % en mode « raisonnement élevé ». Il détecte Gemini 4 Argon en mode « raisonnement moyen » avec une précision observée de 99,31 %, soit un total combiné de 2 318 sur 2 341 (99,02 %) sur les deux modes. Pangram est capable de s'adapter à de nouveaux modèles, car les nouvelles versions de modèles ont tendance à hériter en grande partie du style et de la voix de leurs prédécesseurs; Pangram n'a donc pas besoin d'être réentraîné à chaque nouvelle version.

Voici comment le Gemini 4 Argon se positionne par rapport à nos tests de performance réalisés sur d'autres modèles de pointe récents :

Si vous souhaitez vérifier un document en particulier, vous pouvez essayer Pangram ici.