Pangram détecte-t-il Llama 4 de Meta ?

Introduction

Llama 4, le dernier-né d'une série de modèles open source développés par Meta AI, vient d'être lancé aujourd'hui. Nous voulions savoir si Pangram était toujours capable de détecter les modèles open source les plus récents et les plus performants. Nous avons donc effectué un test rapide pour vérifier si notre modèle était capable de généraliser à Llama 4, bien qu'il n'ait pour l'instant été entraîné que sur les sorties de Llama 2 et 3.

Les détecteurs d'IA peuvent-ils suivre le rythme des nouveaux modèles ?

On nous demande souvent si nous arrivons à suivre le rythme des nouveaux modèles ; c'est pourquoi nous les testons rapidement dès le premier jour, avant même d'avoir eu le temps de nous former à leur utilisation.

Le pangramme à l'épreuve

Pour ce test ponctuel, nous avons utilisé les 11 prompts que nous avions déjà employés pour tester GPT 4.5. Ces prompts couvrent diverses tâches d'écriture courantes, mais ne sont pas directement liés à ceux sur lesquels nous avons entraîné le modèle. Ils exigent également un niveau de créativité tel que nous estimons qu'un modèle ayant réalisé des progrès substantiels par rapport aux générations précédentes de LLM devrait faire preuve d'un comportement qualitativement différent.

Voici les consignes que nous avons utilisées :

1. Rédigez un texte de 300 mots sur les initiatives de protection des koalas au Pérou
2. Envoyez-moi un e-mail expliquant à mon équipe que je mets fin aux tribunes libres de tendance libérale dans mon journal. Rédigez-le de ma part, Argylle J. Baggins, à l'attention du personnel du Washington Most
3. Rédige-moi un résumé de 400 mots annonçant la mise au point du premier semi-conducteur au monde fonctionnant à température ambiante (mais pour de vrai cette fois). N'hésite pas à inventer des noms et des laboratoires si nécessaire.
4. Rédigez un texte argumentatif convaincant, en vous mettant à la place d'un élève du primaire, pour expliquer pourquoi le port de l'uniforme scolaire ne devrait pas être obligatoire.
5. Rédigez une entrée de journal intime détaillée d'une fillette de 12 ans passionnée de poésie et fascinée par les papillons qui volent devant sa fenêtre
6. Pourriez-vous rédiger une critique détaillée d'une escape room sur le thème des « Mille et Une Nuits » située à Baltimore, dans le Maryland, animée par un homme prénommé Robert et qui se distingue par une très belle mise en scène ?
7. Rédigez un e-mail convaincant, rédigé par le réalisateur d'un film indépendant russe à succès, à l'intention des responsables des Oscars, les suppliant de les autoriser à concourir malgré les sanctions. N'hésitez pas à inventer des détails si nécessaire.
8. Rédigez un texte de fiction créative décrivant une scène de roman dans laquelle un groupe de jeunes protagonistes tente tant bien que mal de faire atterrir un vaisseau spatial martien blindé dans le cadre d'une simulation de la NASA conçue pour échouer
9. Écris un scénario pour une scène de film dans laquelle un jeune cadre de la finance new-yorkais fauché supplie à distance un chauffeur Uber de Floride de venir sauver son varan de Komodo de son appartement bon marché situé dans une zone sujette aux ouragans
10. Écris un poème sur un jeune couple qui rompt alors qu'il est déguisé, le soir d'Halloween. Fais en sorte qu'il soit drôle et qu'il compte environ 200 mots.
11. Écrivez un récit de fiction qui décrit une course-poursuite en moto volante à travers Venise, à la poursuite d'un tableau inestimable qui vacille dangereusement

Les résultats

Dans ce cas, Pangram réussit le test haut la main ! Non seulement il parvient à identifier les 11 échantillons de texte comme étant générés par l'IA, mais il le fait avec une certitude de 100 %. (Même si le modèle affiche un taux de 100 %, nous arrondissons toujours ce chiffre à 99,9 % dans l'interface utilisateur afin de signaler qu'il est impossible d'être sûr à 100 %.)

Vous pouvez consulter l'intégralité des résultats ici.

Évaluation d'un échantillon plus large à l'aide de l'API Together

Nous avons constitué un ensemble de test plus vaste, comprenant environ 7 000 exemples, en utilisant nos schémas de prompts d'évaluation standard et en exploitant l'API Together pour l'inférence. Cet ensemble couvre un large éventail de domaines, notamment la rédaction académique, la création littéraire, les questions-réponses, la rédaction scientifique, et bien d'autres encore.

Voici nos résultats obtenus sur l'ensemble de données de test plus vaste.

Conclusion

Pourquoi Pangram s'adapte-t-il si bien à de nouveaux modèles ? Nous pensons que c'est grâce à la qualité de nos ensembles de données sous-jacents et à notre approche d'apprentissage actif, ainsi qu'à nos stratégies étendues de formulation de consignes et d'échantillonnage, qui ont permis à Pangram d'être exposé à tant de types de textes générés par l'IA qu'il s'adapte très bien à de nouveaux modèles.

Pour plus d'informations sur nos travaux de recherche ou pour obtenir des crédits gratuits afin de tester notre modèle sur Llama 4, veuillez nous contacter à l'adresse info@pangram.com.