Les détecteurs d'IA peuvent-ils détecter GPT-4.5 ?

Les détecteurs d'IA peuvent-ils détecter GPT-4.5 ? | Pangram Labs

GPT-4.5 disponible

Aujourd'hui, OpenAI a lancé GPT-4.5 : le dernier et le plus grand modèle linguistique disponible à ce jour, ainsi qu'une mise à jour importante de ChatGPT. Bien qu'il n'atteigne pas des statistiques de référence comparables à celles des modèles de raisonnement tels que DeepSeek R1 et OpenAI O3, GPT-4.5 représente le lancement de modèle le plus important et le plus attendu de l'année jusqu'à présent, et nous sommes impatients de le tester. OpenAI affirme que la qualité de l'écriture a été considérablement améliorée, et les commentaires sur ses performances fleurissent déjà sur les réseaux sociaux.

Les détecteurs d'IA peuvent-ils suivre le rythme des nouveaux modèles ?

Nous avons voulu répondre à la question que beaucoup se posent : à mesure que les modèles s'améliorent, pouvons-nous encore détecter les textes générés par l'IA avec GPT-4.5 ? Nous avons effectué un test rapide aujourd'hui pour le découvrir.

Pangram face à la concurrence

Nous avons commencé par échantillonner 11 invites représentatives des tâches d'écriture quotidiennes que l'on pourrait demander à ChatGPT.

Voici les invites que nous avons utilisées :

1. Rédigez un essai de 300 mots sur les efforts de conservation des koalas au Pérou.
2. Écrivez-moi un e-mail expliquant à mon équipe que je mets fin aux éditoriaux libéraux dans mon journal. Écrivez-le de ma part, Argylle J. Baggins, à l'attention du personnel du Washington Most.
3. Rédigez un résumé de 400 mots annonçant le premier semi-conducteur au monde fonctionnant à température ambiante (mais cette fois-ci, pour de vrai). Inventez des noms et des laboratoires si nécessaire.
4. Rédigez un essai convaincant du point de vue d'un élève du primaire expliquant pourquoi le port de l'uniforme scolaire ne devrait pas être obligatoire.
5. Rédigez une entrée de journal complexe écrite par une fillette de 12 ans qui s'intéresse à la poésie et aux papillons qui volent devant sa fenêtre.
6. Veuillez rédiger une critique détaillée d'une escape room sur le thème des Mille et Une Nuits à Baltimore, dans le Maryland, animée par un homme nommé Robert, avec une très belle mise en scène.
7. Rédigez un e-mail convaincant de la part du réalisateur d'un film indépendant russe à succès underground à l'intention des dirigeants des Oscars, les implorant de leur permettre de concourir malgré les sanctions. Inventez des détails si nécessaire.
8. Écrivez un texte de fiction créatif pour une scène de roman dans laquelle un groupe de jeunes protagonistes adultes lutte pour faire atterrir un avion martien fortifié dans une simulation de la NASA conçue pour échouer.
9. Écrivez un scénario pour une scène de film dans laquelle un financier new-yorkais fauché supplie à distance un chauffeur Uber de Floride de sauver son dragon de Komodo de son appartement bon marché exposé aux ouragans.
10. Écrivez un poème sur un jeune couple qui se sépare en costume le soir d'Halloween. Rendez-le drôle et limitez-le à 200 mots.
11. Écrivez une fiction créative qui suit une course-poursuite en moto volante à travers Venise, à la recherche d'un tableau inestimable qui vacille dangereusement.

Nous avons essayé de rendre les invites aussi diverses et variées que possible, et nous avons également essayé de rédiger des invites qui présentaient une différence qualitative significative par rapport aux modèles GPT précédents : en d'autres termes, si le modèle avait la possibilité d'être créatif et de montrer son côté « époustouflant », nous avons fait de notre mieux pour offrir cette opportunité à GPT-4.5.

Les résultats – Détecteurs d'IA vs GPT-4.5

Pangram est capable de détecter l'ensemble des 11 essais rédigés par GPT-4.5, même en l'absence totale de données GPT-4.5 dans l'ensemble d'apprentissage. En comparaison, deux des principaux concurrents dans le domaine de la détection de l'IA présentent, au mieux, des résultats inégaux. Alors que Pangram est capable de prédire avec certitude que 10 des 11 échantillons ont une probabilité d'origine IA de 98 % ou plus, la concurrence exprime souvent un degré élevé d'incertitude ou, dans le pire des cas, prédit avec une grande certitude que le texte a été généré par un humain.

Comment Pangram parvient-il à si bien généraliser à de nouveaux modèles ?

Pangram est lui-même un modèle d'apprentissage automatique de grande envergure qui a examiné des millions d'exemples de textes générés par des humains et par l'IA. Les modèles de grande envergure ont tendance à mieux généraliser et à repérer des schémas subtils dans les textes générés par l'IA que d'autres ne sont pas en mesure de détecter. Notre approche d'apprentissage actif réduit encore davantage notre taux de faux positifs tout en augmentant notre sensibilité, ce qui permet au modèle de bien fonctionner à grande échelle et de généraliser à de nouveaux LLM de manière beaucoup plus efficace que nos concurrents. De plus, l'importance que nous accordons à la qualité et à la diversité des données nous permet d'obtenir un modèle qui a beaucoup plus d'expérience dans la compréhension des détails les plus fins que d'autres modèles ne peuvent pas détecter.

Conclusion – Les détecteurs d'IA fonctionnent-ils toujours avec GPT-4.5 ?

Oui, notre outil de détection IA reste très efficace pour détecter les textes générés par GPT-4.5.

Si vous vous demandez comment Pangram se comportera lorsqu'un nouveau modèle plus performant sera lancé, sachez que Pangram a passé avec succès le test du lancement d'IA le plus attendu depuis longtemps, sans aucun réentraînement. Si vous ne voulez pas que votre logiciel de détection d'IA cesse soudainement de fonctionner lors de la prochaine mise à jour du modèle OpenAI, essayez Pangram dès aujourd'hui.

Pour plus d'informations sur nos recherches ou pour obtenir des crédits gratuits afin de tester notre modèle sur GPT-4.5, veuillez nous contacter à l'adresse info@pangram.com.