Pangram peut-il détecter GPT-6 Astra ?

Sur 986 requêtes provenant de Chatbot Arena, Pangram 4 a classé trois sorties de GPT-6 Astra comme mixtes, une comme entièrement humaine et 982 comme entièrement générées par l'IA, atteignant une précision de 99,59 % sur GPT-6 Astra.

Nous abordons ci-dessous les faux négatifs par catégorie.

Le banc d'essai a été généré à partir d'un sous-ensemble filtré des premières requêtes de Chatbot Arena issues du jeu de données LMSYS (Zheng et al., 2023). J'ai éliminé les requêtes demandant du code, des mathématiques, des réponses très courtes ou très longues, ou des textes créatifs inappropriés. J'ai ensuite soumis ces requêtes à GPT-6 Astra et analysé leurs résultats avec Pangram 4 .

Résultats par catégorie

Les trois résultats, mitigés, étaient un poème, une brève explication et un courriel.

Astra a tendance à répondre très brièvement aux questions courtes. Au total, j'ai envoyé 1 032 questions pour cet ensemble de tests, mais 46 des réponses d'Astra 6 étaient inférieures au minimum de 50 mots requis par Pangram et n'ont donc pas été prises en compte dans le calcul.

Conclusion

Pangram est robuste face à GPT-6 Astra lors de la saisie de requêtes en langage naturel et le détecte avec une précision de 99,59 %. Pangram est capable de généraliser aux nouveaux modèles car les nouvelles versions de ces derniers ont tendance à hériter d'une grande partie du style et de la voix de leurs prédécesseurs ; il n'est donc pas nécessaire de réentraîner Pangram pour chaque nouvelle version.

Voici comment GPT-6 Astra se compare à nos modèles de référence d'autres modèles de pointe récents :

Si vous souhaitez vérifier un document en particulier, vous pouvez essayer Pangram ici.