Dans quelle mesure Pangram fonctionne-t-il avec le code d'IA ?

Chaque jour, de plus en plus de code est écrit à l'aide de l'IA. Selon Sundar Pichai, PDG de Google, plus de 25 % du code de Google avait été écrit par l'IA fin 2024. Le PDG de Robinhood affirme que la plupart du code déployé chez Robinhood est désormais écrit par l'IA. Le terme « vibe coding » (popularisé dans un tweet d'Andrej Karpathy) est entré dans le vocabulaire courant : il désigne le fait de se laisser complètement porter par les « vibrations » du codage et de laisser l'IA prendre les commandes pour écrire le code à votre place.

Des start-ups telles que Cursor, Lovable et Replit s'efforcent de lever les obstacles à l'accès au codage : en d'autres termes, se lancer dans la programmation est si simple que n'importe quel employé de l'entreprise peut écrire du code, voire créer un site web ou une application à part entière sans aucune connaissance de Python ou de React.

L'enquête StackOverflow 2025 auprès des développeurs montre à quel point cette tendance s'est généralisée. 84 % des développeurs utilisent ou prévoient d'utiliser des outils d'IA dans leur processus de développement, et 51 % des développeurs professionnels y ont recours quotidiennement. Cela marque un changement majeur dans la manière dont le code est écrit dans l'ensemble du secteur.

Toutefois, l'enquête met également en évidence les difficultés inhérentes à cette ère du développement assisté par l'IA. Si 52 % des développeurs indiquent que les outils d'IA ont eu un impact positif sur leur productivité, le sentiment positif à l'égard de ces outils est passé de plus de 70 % à 60 % en 2025. Après une période initiale d'enthousiasme et d'exploration de ces outils générés par l'IA, il semble que les développeurs adoptent désormais une attitude plus neutre à leur égard.

La source de cette frustration est révélatrice : 66 % des développeurs sont frustrés par « des solutions d'IA qui sont presque bonnes, mais pas tout à fait », et 45 % trouvent que le débogage du code généré par l'IA prend plus de temps que prévu. Seuls 3 % des développeurs ont « pleinement confiance » dans les résultats fournis par les outils d'IA, tandis que 46 % doutent ouvertement de leur précision.

Cela crée un paradoxe intéressant : les développeurs s'appuient de plus en plus sur l'IA pour écrire du code, mais ils ne font pas entièrement confiance à ce qu'elle produit. Comme le souligne l'enquête, 75 % des développeurs demanderaient tout de même de l'aide à un humain lorsqu'ils « ne font pas confiance aux réponses de l'IA », se positionnant ainsi comme les « arbitres ultimes de la qualité et de l'exactitude ». Selon Simon Willison, il « n'utiliserait pas de code généré par l'IA pour des projets qu'il prévoit de livrer à moins d'avoir vérifié chaque ligne. Non seulement il y a un risque d'hallucination, mais le désir du chatbot d'être agréable signifie qu'il peut affirmer qu'une idée inutilisable fonctionne. C'est un problème particulier pour ceux d'entre nous qui ne savent pas comment modifier le code. Nous risquons de créer des logiciels comportant des problèmes intrinsèques. »

L'importance de détecter le code généré par l'IA

Même si le code généré par l'IA est là pour rester, il existe sans aucun doute des cas où il reste judicieux de vérifier que le code a bien été écrit par un humain.

1. Lors du processus de recrutement d'un développeur logiciel, il est important de s'assurer que ce dernier est parfaitement capable d'écrire du code de haute qualité sans l'aide de l'IA. De plus, il est également essentiel d'évaluer sa compréhension du code afin qu'il soit en mesure, dans le cadre de ses fonctions, de déboguer et de diagnostiquer efficacement les erreurs présentes dans le code généré ou assisté par l'IA.

2. Dans le domaine de l'éducation, il est important d'apprendre aux étudiants à programmer sans recourir à l'aide de l'IA. Avec une aide trop importante de l'IA, les étudiants risquent de passer à côté de concepts fondamentaux et de ne pas acquérir les compétences dont ils ont besoin pour devenir de bons ingénieurs en informatique. Même s'il est probable que ces étudiants aient accès à l'aide de l'IA dans le cadre de leur travail, comme le suggère l'enquête menée auprès des développeurs par StackOverflow, sans bases solides, ils ne seront pas en mesure de corriger un code incorrect généré par l'IA, ni même de comprendre ce qui ne va pas au départ.

3. Conformité et sécurité. De nombreux cadres de conformité considèrent que le code généré par l'IA présente un risque plus élevé en raison des « hallucinations » et des bogues potentiels. Il existe également d'importantes considérations en matière de licences et de droits d'auteur : les modèles d'IA peuvent reproduire par inadvertance du code soumis à des licences incompatibles, ce qui peut entraîner des violations de conformité. De plus, la question de savoir si le code généré par l'IA peut être considéré comme exclusif ou protégé par le droit d'auteur reste ouverte.

4. Traçabilité de la provenance et du code. Avant l'IA, des outils tels que « git blame » permettaient de savoir facilement qui avait écrit chaque ligne de code et pourquoi des modifications avaient été apportées. L'IA générant désormais de grandes quantités de code, il devient plus difficile pour les développeurs de se souvenir du contexte et du raisonnement qui sous-tendent chaque ligne. La capacité à détecter et à suivre le code généré par l'IA facilite la maintenance du code, le débogage et la gestion des ressources. Les directeurs techniques et les responsables d'ingénierie peuvent utiliser ces informations pour évaluer l'efficacité des différents modèles d'IA et s'assurer que leurs équipes utilisent les meilleurs outils disponibles.

La capacité de Pangram à détecter le code généré par l'IA

Dans l'ensemble, Pangram parvient à détecter de manière prudente la plupart des codes générés par l'IA, en particulier lorsque ceux-ci comptent plus de 40 lignes. Pangram fait preuve de prudence, car il signale rarement un code écrit par un humain comme étant généré par l'IA, mais il passe à côté d'environ 8 % des codes générés par l'IA, les identifiant à tort comme étant d'origine humaine.

Lorsqu'il analyse l'ensemble des extraits de code, Pangram passe à côté d'environ 20 % du code généré par l'IA, car la plupart des courts extraits de code générés par l'IA sont des éléments standardisés impossibles à distinguer du code humain ou ne présentent tout simplement pas suffisamment de caractéristiques distinctives pour être détectés.

Exactitude du code de plus de 40 lignes

Exactitude de tous les extraits de code

Ensemble de données

Nous utilisons l'ensemble de données GitHub pour réaliser cette analyse. Pour le code d'IA, nous utilisons une étape simple de mise en miroir synthétique en deux phases :

1. Demandez au LLM de vous fournir un bref résumé du contenu du code.
2. Demandez au LLM de rédiger un exemple de code en fonction du résumé fourni.

Nous utilisons GPT-4o, Claude Sonnet, Llama 405b, Mistral 7B, Gemini 1.5 Flash et Gemini 1.5 Pro pour créer l'ensemble de données.

Recommandations pour la détection du code généré par l'IA

Le code généré par l'IA est plus difficile à détecter que les textes générés par l'IA, car il offre nettement moins de liberté : un programmeur dispose de moins de choix stylistiques arbitraires qu'un écrivain. Nous constatons, parmi les faux négatifs que nous observons, que de nombreux fichiers n'offrent tout simplement pas beaucoup de place à la créativité ou à la flexibilité, comme le code standard généré automatiquement ou les fichiers de configuration. Les langages de bas niveau, tels que le C, l'Assembleur et le code de compilateur, sont également beaucoup plus stricts dans leur syntaxe, ce qui réduit les indices permettant de déterminer si un code est généré par l'IA.

Si vous cherchez à repérer des indices de code généré par l'IA, nous vous recommandons de procéder comme suit :

• Remarques : le code généré par l'IA présente souvent une manière très particulière de rédiger les commentaires. On constate également que le code généré par l'IA contient beaucoup plus de commentaires qu'un code rédigé par un humain.
• Similitude interne : le code généré par l'IA présente souvent des similitudes avec d'autres codes générés par l'IA, en particulier lorsqu'il s'agit d'un devoir individuel dans un cours de programmation. MOSS(Measure of Software Similarity), un outil développé à Stanford, est disponible à des fins non commerciales ; il permet de détecter efficacement les similitudes entre codes et parvient souvent à identifier de nombreux devoirs de programmation générés par l'IA qui se ressemblent.
• Pangram est capable de détecter une grande partie du code généré par l'IA sans faux positifs, mais les faux négatifs sont fréquents. On peut se fier à Pangram en tant qu'outil de dépistage pour détecter dans un premier temps une partie, mais pas la totalité, des cas de plagiat de code généré par l'IA.