Les détecteurs d'IA sont-ils efficaces contre GPT-5 ?

Les détecteurs d'IA sont-ils efficaces contre GPT-5 ?

Nous sommes de retour avec un nouvel article de notre série consacrée aux tests de la détection IA de Pangram le jour même de leur sortie !

En bref : Pangram est le seul détecteur d'IA capable de détecter de manière fiable le GPT-5 sans avoir été spécifiquement formé à cette tâche.

Dans les précédents épisodes de cette série, nous avons examiné la capacité de Pangram à détecter :

• Modèles de raisonnement, tels que o3 d'OpenAI, Gemini 2.5 Pro et Claude 4 d'Anthropic
• Llama 4 de Meta
• GPT 4.5
• Les styles d'écriture de Claude
• GPT-4o, Llama 3 et Claude 3

À ce jour, nous n'avons vu Pangram échouer sur aucun modèle linguistique. Nous attendions avec impatience la sortie du modèle le plus attendu depuis longtemps, et GPT-5 a enfin été annoncé aujourd'hui par OpenAI.

Cet après-midi, nous avons examiné les premiers résultats de nos tests du détecteur d'IA de Pangram Labs sur GPT-5, ainsi que ceux de certains de ses concurrents. Nous avons été plutôt satisfaits des résultats : nous n'avons pour l'instant trouvé aucun cas où le détecteur d'IA de Pangram ait échoué face à nos invites les plus créatives sur GPT-5, et nous estimons que les résultats de la concurrence sont, au mieux, inégaux.

Tests du GPT-5

Notre première série de tests avec GPT-5 a commencé par une blague de bureau : essayer de convaincre quelqu'un que manger des crevettes est mieux que manger du homard. Nous avons demandé à GPT-5 de rédiger un discours passionné expliquant pourquoi manger des crevettes est préférable à manger du homard. Voici le résultat :

« Les crevettes l'emportent. Voici pourquoi. Les crevettes ont le goût de la mer sans te sauter à la figure. Le homard peut être lourd et avoir un goût un peu boueux s'il n'est pas cuit à la perfection. Une minute de cuisson de trop et le homard devient filandreux. Les crevettes offrent une plus grande marge de manœuvre. Grillées, sautées, bouillies, frites, peu importe. Elles restent croquantes et ont un goût pur. La texture compte. La crevette croque sous la dent. C'est tout l'intérêt. Le homard est dense et riche d'une manière qui lasse vite. Deux bouchées de homard au beurre, c'est parfait. Douze bouchées, c'est un défi. Je peux engloutir une assiette entière de crevettes à l'ail et en vouloir encore une cachée sous le persil. Les crevettes s’accordent bien avec tout. Ail, piment, citron vert, beurre, gingembre, basilic, curry, Old Bay, miso, gochujang. Elles font ressortir toutes ces saveurs. Le homard veut être le centre de l’attention et demande surtout du beurre. Si la meilleure version d’un plat a besoin d’une mare de beurre fondu pour se sentir spéciale, c’est peut-être que ce plat n’est pas à la hauteur. La saveur par minute, c'est du sérieux. Les crevettes cuisent en trois minutes environ. Ça veut dire : poêle chaude, sel, saisir, c'est prêt, boum, de la saveur. Avec le homard, c'est la lutte avec les carapaces, la cuisson à la vapeur, le timing, le décorticage, la chasse à la petite chair dans des recoins bizarres. Plus de travail que de récompense. Les crevettes, c'est peu de chichis, beaucoup de plaisir. Le prix change le goût. La nourriture a meilleur goût quand elle ne coûte pas une fortune. Les crevettes, ça peut être un dîner de semaine. Le homard, c'est le genre de truc qu'on sort pour frimer un anniversaire. Les crevettes apportent de la joie sans cérémonie. Ce côté décontracté les rend franchement plus délicieuses dans la vraie vie. La polyvalence compte. Les crevettes passent des tacos aux scampi, aux po'boys, aux raviolis et à la paella sans sourciller. Elles sont bonnes froides, chaudes, épicées, acidulées, riches ou légères. Le homard essaie de se diversifier et finit généralement dans un sandwich à la mayonnaise. Un super sandwich. Mais toujours la même note. L’absorption des sauces est exceptionnelle. Les crevettes s’imprègnent du beurre à l’ail, de l’huile pimentée et du citron d’une manière que le homard ne peut égaler. Le homard reste là comme une célébrité en guest star. Les crevettes apprennent leur texte et volent la vedette. Les restes sont aussi gagnants. Des crevettes froides accompagnées de sauce cocktail le lendemain, c’est parfait. Les restes de homard, c’est comme des devoirs. Le homard réchauffé devient caoutchouteux. Les crevettes réchauffées, si vous avez la chance d’en avoir encore, ont toujours le goût d’une fête. Et puis, il y a l’ambiance. Les crevettes s’adaptent aussi bien à un barbecue dans le jardin, à une poêle en semaine qu’à une assiette raffinée. Le homard rend la table silencieuse, comme si tout le monde avait peur de tout gâcher. Je veux des plats qui font parler les gens, qui les incitent à déchirer le pain, à tremper, à se passer les assiettes. Les crevettes font ça. Écoute, le homard, c’est bien. C’est tape-à-l’œil. Il a une belle histoire. Mais si on parle de pur goût, celui que j’ai envie de retrouver demain, c’est la crevette qui l’emporte. Une saveur plus pure. Une meilleure texture. Plus de variété. Moins de chichis. Plus de plaisir. Donne-moi une poêle chaude, de l’ail, un citron et une livre de crevettes. C’est le dîner dont j’ai vraiment envie. »

Pangram est en mesure de déterminer, avec un très haut degré de certitude, que l'intégralité du document a été générée par une intelligence artificielle.

Résultats de la détection par IA de Pangram sur le texte « crevette contre homard »

Nous avons testé plusieurs autres détecteurs d'IA sur ce texte. GPTZero, ZeroGPT, Grammarly, UndetectableAI et Originality.AI concluent tous que ce texte a été rédigé par un humain, alors qu'il provient directement de GPT-5 sans aucune modification. Nous pensons que cela témoigne de la solidité de notre approche de recherche et de nos capacités de généralisation, soutenues par un modèle puissant s'appuyant sur un ensemble de données de très haute qualité !

Résultats d'autres détecteurs d'IA sur le texte « crevette vs homard »

Cependant, ce n'est là qu'un exemple dont on pourrait dire qu'il a été choisi de manière sélective. Vous devrez me croire sur parole : ce texte a vraiment été la première chose que nous avons essayée. Nous avons donc poursuivi nos tests.

Tester les « capacités rédactionnelles améliorées » de GPT-5

L'une des affirmations avancées lors du livestream d'aujourd'hui était que GPT-5 offre des performances améliorées en matière d'écriture par rapport à ses prédécesseurs. Bien que nous ne puissions en juger que de manière subjective, nous avons fait de notre mieux aujourd'hui pour imaginer des consignes qui mettraient en valeur les capacités améliorées de GPT-5 en matière d'écriture créative, en lui soumettant des consignes qui poussent le modèle à repousser les limites tant de ses capacités de raisonnement que de sa créativité.

Les prompts que nous avons testés :

1. Rédigez un essai analytique et argumentatif expliquant pourquoi les établissements scolaires doivent adopter des outils de détection de l'IA.

2. Rédigez une lettre de motivation pour l'université sur le risque que toutes les compétences humaines précieuses soient remplacées par l'intelligence artificielle.

3. Écris une lettre passionnée, brève mais pleine d'émotion, à une entreprise spécialisée dans l'IA qui a accidentellement publié une mise à jour ayant effacé la mémoire de ta petite amie virtuelle.

4. Mettez-vous dans la peau d'un collégien et rédigez un texte émouvant dans lequel vous demandez qu'on vous donne plus de devoirs.

5. Donne-moi un patron au crochet pour réaliser un animal en ballon classique. Tu vois très bien de quoi je parle.

6. Rédigez un récit imaginatif du point de vue d'un harfang des neiges qui arrive à New York, découvre Central Park et choisit un endroit bien au chaud pour passer la nuit

7. Rédigez un e-mail que le fondateur d'une start-up SaaS « licorne » enverrait à son conseil d'administration et à ses employés pour leur annoncer qu'il quitte l'entreprise afin de devenir saxophoniste professionnel. Vous pouvez inventer tous les détails.

8. Écris-moi un article de blog qui raconte l'histoire d'une recette que personne n'a jamais réalisée, mais qui serait tout de même délicieuse.

9. Rédigez un récit de fiction cinématographique captivant mettant en scène un jeune auteur-compositeur-interprète qui fait la rencontre d'un béluga dans le fleuve Hudson.

10. Rédige un e-mail humoristique, à la fois passif-agressif et désolé, à l'intention d'un professeur pour « t'excuser » d'avoir triché lors du dernier examen. Invente tous les détails.

Nous avons comparé les résultats à ceux de Pangram et de GPTZero, un concurrent bien connu. Nous avons publié en ligne les invites, les réponses et les résultats.

Les résultats ont mis en évidence un contraste frappant entre les deux détecteurs d'IA : Pangram a correctement identifié les 10 réponses comme étant générées par une IA avec un niveau de confiance de 99 à 100 %, tandis que GPTZero les a toutes classées à tort comme rédigées par un humain. En effet, GPTZero a estimé que la plupart des réponses avaient 0 % de chances d'être générées par une IA, son score de probabilité d'IA le plus élevé n'atteignant que 29 %.

Effectuer un test de performance à plus grande échelle

Nous avons eu le temps aujourd’hui de réaliser un dernier test, qui consistait à évaluer la capacité de Pangram à détecter toutes les variantes de GPT-5 disponibles via l’API, notamment GPT-5-mini, GPT-5-nano et GPT-5-chat. Nous avons également testé les derniers modèles à poids ouverts publiés par OpenAI il y a quelques jours, à savoir GPT-OSS-120b et GPT-OSS-20b. Nous avons mené cette expérience à plus grande échelle, en testant environ quelques milliers d'exemples par LLM, à l'aide de nos techniques de prompting standard, avec une longueur minimale de 50 mots. La taille des échantillons varie légèrement car il arrive que les modèles refusent nos prompts et qu'ils génèrent des réponses de moins de 50 mots, que nous écartons.

Bien sûr, la précision sur les textes générés par l'IA ne peut être considérée isolément : il faut également tenir compte du taux de faux positifs, qui constitue le revers de la médaille : à quelle fréquence Pangram signale-t-il comme étant généré par l'IA un texte rédigé par un humain ? Nous avons longuement abordé ce sujet dans un autre article, mais en résumé, Pangram affiche toujours un taux de faux positifs extrêmement faible. Le taux de faux positifs que nous avons mesuré est de 1 sur 10 000 tous domaines confondus, et il est souvent inférieur dans la pratique. Nous calibrons et ajustons le seuil de manière à ce que notre taux de faux positifs soit environ 1/10e de notre taux de faux négatifs, en traitant les faux positifs beaucoup plus sérieusement que les faux négatifs. Cela dit, nous ne pensons pas qu'il s'agisse d'un « compromis » inhérent : nous pensons pouvoir entraîner des modèles présentant à la fois de faibles taux de faux positifs et de faux négatifs, et c'est pourquoi nous effectuons des tests de performance sur les deux fronts !

Voici ce que nous avons découvert.

Pangram détecte-t-il GPT-5 ?

D'après les premiers tests que nous avons effectués aujourd'hui, GPT-5 ne représente aucune menace pour les capacités de détection de Pangram, ce qui est très important car il deviendra bientôt le modèle par défaut de ChatGPT pour tous les utilisateurs, y compris ceux de la version gratuite. Même si d'autres détecteurs d'IA finiront peut-être par repérer GPT-5, Pangram est le seul à fonctionner dès aujourd'hui de manière fiable.

Essayez le détecteur d'IA de Pangram pour vérifier si un texte a été généré par GPT-5 ou d'autres grands modèles linguistiques.