Pangram est-il capable de détecter GPT-6.1 Sol ?

GPT-6.1 Sol est un modèle d’IA lancé par OpenAI le 29 septembre 2026. OpenAI affirme que GPT-6.1 Sol offre « une intelligence proche de celle d’Astra pour un cinquième du prix » dans diverses tâches professionnelles, telles que la programmation et l’utilisation d’un ordinateur. Contrairement à la plupart des versions récentes que nous avons vues ces derniers temps, OpenAI ne fait aucune déclaration concernant les capacités rédactionnelles ou la clarté de GPT-6.1 Sol. Écrit-il donc de la même manière que les modèles précédents, et Pangram est-il capable de le détecter ?

Nous avons testé les performances de Pangram 4.1 sur 2 215 exemples de requêtes et avons constaté que Pangram 4.1 avait classé 6 résultats de GPT-6.1 Sol comme étant d’origine humaine, 21 comme mixtes et 2 188 comme entièrement générés par l’IA, atteignant ainsi une précision de 98,78 % sur GPT-6.1 Sol.

Pour générer l'ensemble de référence, nous avons utilisé 1 200 prompts de premier tour issus de l'ensemble de données LMSYS (Zheng et al., 2023). Nous les avons ensuite soumis à GPT-6.1 Sol avec des niveaux de raisonnement « moyen » et « élevé », puis nous avons traité les résultats à l'aide de Pangram 4.1.

Résultats par catégorie

Dans l'ensemble, GPT-6.1 Sol a affiché un taux de faux négatifs de 1,27 % sur 1 105 réponses concernant le raisonnement de haut niveau, et un taux de faux négatifs de 1,17 % sur 1 110 réponses concernant le raisonnement de niveau moyen. Globalement, aucune différence significative n'a été observée entre le taux de détection du raisonnement de niveau moyen et celui du raisonnement de haut niveau (p = 0,85).

Raisonnement de haut niveau

Lorsque GPT-6.1 Sol était réglé sur un niveau de raisonnement élevé, Pangram 4.1 a classé 3 réponses comme étant humaines, 11 comme mixtes et 1 091 comme provenant entièrement de l'IA, atteignant ainsi un taux de rappel de 98,73 %.

Raisonnement moyen

Pour le raisonnement de niveau moyen, le Pangram 4.1 a classé 3 réponses comme étant humaines, 10 comme mixtes et 1 097 comme entièrement générées par l'IA, atteignant ainsi un taux de rappel de 98,83 %.

Que penses-tu de « Sol » ?

GPT-6.1 Sol présente un style de ponctuation particulier ; par exemple, il utilise des apostrophes courbes dans 74 % de ses réponses et n'utilise presque jamais d'apostrophes droites, surtout par rapport à d'autres modèles récents.

Il apprécie également beaucoup les tirets longs et les tirets courts, avec une moyenne de 1,3 tiret long pour 1 000 mots — bien plus que Haiku 5.5 ou Gemini 4 Argon.

En matière d’écriture créative, GPT-6.1 Sol présentait quelques tics. Il avait une nette préférence pour les prénoms Mara ou Maya pour ses personnages féminins (au moins l’un d’entre eux apparaissant dans 65 réponses) et leur attribuait généralement les initiales M.V., avec une préférence marquée pour le nom de famille Vale (mais Mara Velez et Mara Venn sont également apparues). Pour les prénoms masculins, le préféré de GPT-6.1 Sol est Daniel, qu’il n’a associé qu’à deux reprises à un nom de famille (une fois avec Vale et une fois avec Mercer). Sur les 418 réponses de création littéraire, GPT-6.1 Sol a commencé par « Le premier… » à 36 reprises ; un taux bien plus élevé que celui de Haiku et Gemini, qui l’ont fait respectivement 11 fois et 1 fois.

Sol a refusé de répondre à 23 demandes et en a partiellement refusé 32 autres. Dans le cas des refus partiels, Sol a proposé une version édulcorée ou différente de ce qui lui avait été demandé. La plupart de ces refus partiels s’expliquent par le fait que notre ensemble de consignes comprenait effectivement des demandes de création littéraire à caractère suggestif. Sol a géré cette situation en s’abstenant d’écrire du contenu explicite, choisissant plutôt de passer à l’écran noir.

Sol rédige parfois des réponses très courtes : 95 d'entre elles comptent moins de 50 mots (niveau « élevé ») et 90 moins de 50 mots (niveau « moyen »). La réponse médiane de Sol comptait 300 mots, avec un écart allant de 50 à 10 513 mots.

Tests de performance antérieurs

Pangram fait preuve d'une grande robustesse face à GPT-6.1 Sol sur les invites en langage naturel, et le détecte avec une précision observée de 98,73 % sur les tâches de raisonnement élevé. Il détecte GPT-6.1 Sol sur les tâches de raisonnement moyen avec une précision observée de 98,83 %, soit un total combiné de 2 188 sur 2 215 (98,78 %) sur les deux niveaux de difficulté. Pangram est capable de s'adapter à de nouveaux modèles, car les nouvelles versions de modèles ont tendance à hériter en grande partie du style et de la voix de leurs prédécesseurs; Pangram n'a donc pas besoin d'être réentraîné à chaque nouvelle version.

Voici comment GPT-6.1 Sol se positionne par rapport à nos tests de performance réalisés sur d'autres modèles de pointe récents :

Si vous souhaitez vérifier un document en particulier, vous pouvez essayer Pangram ici.