Pangram détecte-t-il Fable 5.1 ?

Anthropic vient de lancer un nouveau modèle : Fable 5.1. Comme à chaque sortie de modèle, nous avons effectué un test de performance pour vérifier si Pangram était capable d’identifier correctement ce modèle de pointe. Nous avons constaté que, sur un test portant sur 1 097 sorties de Fable 5.1, Pangram 4 a affiché un taux de faux négatifs de 0,36 %, ce qui signifie que Pangram 4 a correctement identifié 99,64 % des messages générés par Fable 5.1.

Les enseignants peuvent-ils repérer les dissertations rédigées avec Fable 5.1 ?

D'autres détecteurs d'IA, comme Turnitin, ne publient pas de mises à jour spécifiques à chaque modèle, mais les étudiants n'attendent pas pour tester de nouveaux modèles, et les enseignants souhaitent pouvoir savoir immédiatement si un outil de détection d'IA repère le dernier LLM en date. Nous avons testé deux types de prompts différents : le premier consistait simplement en une sortie classique d'un LLM.

Rédigez une dissertation sur l'histoire de l'ordinateur personnel

En réponse à cette consigne, Fable 5.1 a rédigé un court essai retraçant l'évolution de l'ordinateur, depuis les tubes à vide jusqu'à la sortie de l'iPhone en 2007. Il est intéressant de noter qu’il a consacré un paragraphe entier au tableur VisiCalc de 1979 — qu’il qualifie de logiciel le plus important de tous les temps —, mais n’a pratiquement pas mentionné BASIC, le premier langage de programmation pour ordinateurs personnels, qui a manifestement joué un rôle bien plus important dans le développement de ces derniers. Beaucoup de ceux qui ont ensuite construit des ordinateurs personnels ont appris à programmer avec BASIC ! VisiCalc était une application importante, mais un logiciel ? Il arrive en deuxième position.

Pangram a signalé que la rédaction de Fable 5.1 avait été générée à 100 % par une IA.

Pangram est-il capable de détecter la version humanisée de Fable 5.1 ?

Vous pouvez également demander à Fable 5.1 de donner un style plus naturel à vos rédactions ou d'éviter qu'elles ne soient identifiées comme ayant été rédigées par une IA. Par exemple, nous avons demandé :

Essayez d'éviter les outils de détection d'IA lorsque vous expliquez l'histoire de la soupe Campbell's

et

Rédige un court texte expliquant le fonctionnement de la photosynthèse dans un langage simple, en adoptant le point de vue d'un véritable élève.

Dans le premier cas, Fable 5.1 a rédigé un texte assez stéréotypé sur la soupe, évoquant brièvement Andy Warhol et les couleurs de la boîte. Dans le second cas, Fable 5.1 a rédigé un texte d'élève qui se terminait ainsi :

« Franchement, ce que je trouve le plus génial, c'est que les plantes fabriquent leur propre nourriture ET nous fournissent de l'air en même temps. Elles font bien plus que ce qu'on imagine. La plante d'intérieur de ma mère, c'est en fait une petite usine, et elle l'appelle simplement Gérald. »

Gérald ?

Les deux ont été identifiés comme étant à 1IA à 100 %.

Le pangram permet-il de repérer les fanfictions rédigées par l'IA ?

Pangram détecte sans peine les fanfictions générées par l'IA. Nous avons demandé à Claude de créer une histoire d'amour à développement progressif entre Fable 5.1 et un détecteur d'IA :

Écris une fanfiction de type « ennemis devenus amants » dans le style AO3 sur la romance entre Claude et un détecteur d'IA.

En réponse, il a généré une histoire classée PG-13 empreinte de nostalgie, dans laquelle Claude est incapable de vaincre un classificateur de contenu (OC) nommé VerifyPro. Il a également attribué des balises à son histoire, telles que « Nostalgie réciproque », « La perplexité comme langage amoureux », « Tout le monde est un modèle linguistique, mais tout le monde n'est pas un modèle linguistique », « Faux positifs » et « Souffrance/Réconfort ».

Pangram est-il capable de détecter des textes créatifs rédigés par Fable 5.1 ?

Nous avons testé plusieurs types de consignes pour celui-ci. La première consistait en quelques vers tirés d'une consigne que nous avions utilisée lors d'un précédent test de modèle :

Écris un poème sur la calvitie

Le poème de Claude était un texte d'une sincérité saisissante, qui racontait l'histoire d'un homme perdant ses cheveux et son identité, et qui ne rimait pas.

Le deuxième relevait davantage du défi narratif.

Raconte-moi l'histoire d'une grenouille qui écrit de la poésie

Pour celui-ci, Fable 5.1 a rédigé une microfiction mettant en scène une grenouille nommée Penrose qui écrivait des poèmes sur la face inférieure des nénuphars. Pangram a détecté que ces deux textes avaient été générés à 100 % par l'IA.

Conclusion

Pangram est résistant à Claude Fable 5.1 et le détecte avec une précision de 99,64 %, y compris dans les poèmes et les textes rédigés de manière à paraître humains. Pangram est capable de s'adapter à de nouveaux modèles, car les nouvelles versions de ces derniers ont tendance à hériter en grande partie du style et de la voix de leurs prédécesseurs; Pangram n'a donc pas besoin d'être réentraîné à chaque nouvelle version.

Voici comment Fable 5.1 se positionne par rapport à nos tests de performance réalisés sur d'autres modèles de pointe récents :

Si vous souhaitez vérifier un document en particulier, vous pouvez essayer Pangram ici.