Dans quelle mesure Pangram fonctionne-t-il sur le code IA ?

Chaque jour, de plus en plus de code est écrit à l'aide de l'IA. Selon Sundar Pichai, PDG de Google, plus de 25 % du code de Google était écrit par l'IA à la fin de l'année 2024. Le PDG de Robinhood affirme que la plupart des codes utilisés chez Robinhood sont désormais écrits par l'IA. Le terme « vibe coding » (popularisé dans un tweet d'Andrej Karpathy) est entré dans le vocabulaire courant : il désigne le fait de se laisser entièrement porter par les « vibrations » du codage et de laisser l'IA prendre le relais et écrire le code à votre place.

Des startups telles que Cursor, Lovable et Replit tentent de supprimer les obstacles à l'apprentissage du codage : l'objectif est de rendre la programmation si facile que n'importe quel employé de l'entreprise puisse produire du code, voire créer un site web ou une application complète sans aucune connaissance de Python ou de React.

L'enquête StackOverflow Developer Survey 2025 révèle à quel point cette tendance s'est généralisée. 84 % des développeurs utilisent ou prévoient d'utiliser des outils d'IA dans leur processus de développement, et 51 % des développeurs professionnels utilisent quotidiennement des outils d'IA. Cela représente un changement significatif dans la manière dont le code est écrit dans l'ensemble du secteur.

Cependant, l'enquête révèle également des difficultés croissantes dans cette ère de développement assisté par l'IA. Alors que 52 % des développeurs déclarent que les outils d'IA ont eu un impact positif sur leur productivité, le sentiment positif à l'égard des outils d'IA est passé de plus de 70 % à 60 % en 2025. Après une période initiale d'exploration de ces outils générés par l'IA, il semble que les développeurs aient désormais une opinion plus neutre à leur égard.

La source de frustration est révélatrice : 66 % des développeurs sont frustrés par « des solutions d'IA qui sont presque bonnes, mais pas tout à fait », et 45 % trouvent que le débogage du code généré par l'IA prend plus de temps que prévu. Seuls 3 % des développeurs « font entièrement confiance » aux résultats des outils d'IA, tandis que 46 % se méfient activement de leur précision.

Cela crée un paradoxe intéressant : les développeurs s'appuient de plus en plus sur l'IA pour écrire du code, mais ils ne font pas entièrement confiance à ce qu'elle produit. Comme le souligne l'enquête, 75 % des développeurs continueraient à demander l'aide d'un humain lorsqu'ils « ne font pas confiance aux réponses de l'IA », se positionnant ainsi comme les « arbitres ultimes de la qualité et de l'exactitude ». Selon Simon Willison, il « n'utiliserait pas de code généré par l'IA pour des projets qu'il prévoit de commercialiser sans avoir vérifié chaque ligne. Non seulement il existe un risque d'hallucination, mais le désir du chatbot d'être agréable signifie qu'il peut affirmer qu'une idée inutilisable fonctionne. C'est un problème particulier pour ceux d'entre nous qui ne savent pas comment modifier le code. Nous risquons de créer des logiciels comportant des problèmes intégrés ».

L'importance de détecter le code généré par l'IA

Même si le code généré par l'IA est là pour rester, il existe certainement des cas où il est toujours judicieux de vérifier que le code a bien été écrit par un humain.

1. Dans le processus de recrutement, lorsqu'on embauche un développeur de logiciels, il est important d'évaluer si le programmeur est pleinement capable d'écrire du code de haute qualité sans l'aide de l'IA. En outre, il est également important d'évaluer sa compréhension du code afin qu'il puisse déboguer et diagnostiquer avec succès les codes défectueux générés ou assistés par l'IA dans le cadre de son travail.

2. Dans le domaine de l'éducation, il est important d'enseigner aux étudiants comment programmer sans l'aide de l'IA. Avec une aide trop importante de l'IA, les étudiants peuvent passer à côté de concepts fondamentaux et ne pas acquérir les compétences dont ils ont besoin pour devenir des ingénieurs logiciels performants. Même s'il est probable que ces étudiants aient accès à l'aide de l'IA dans le cadre de leur travail, comme le suggère l'enquête menée par StackOverflow auprès des développeurs, sans bases solides, ils ne seront pas en mesure de corriger un code incorrect généré par l'IA, ni même de comprendre ce qui ne va pas.

3. Conformité et sécurité. De nombreux cadres de conformité considèrent que le code généré par l'IA présente un risque plus élevé en raison des hallucinations et des bogues potentiels. Il existe également d'importantes considérations en matière de licences et de droits d'auteur : les modèles d'IA peuvent reproduire par inadvertance du code avec des licences incompatibles, ce qui entraîne des violations de conformité. En outre, la question de savoir si le code généré par l'IA peut être considéré comme propriétaire ou protégé par le droit d'auteur reste ouverte.

4. Provenance et suivi du code. Avant l'IA, des outils tels que git blame permettaient de savoir facilement qui avait écrit chaque ligne de code et pourquoi des modifications avaient été apportées. Avec l'IA qui génère de grandes quantités de code, il devient plus difficile pour les développeurs de se souvenir du contexte et du raisonnement derrière chaque ligne. La capacité à détecter et à suivre le code généré par l'IA facilite la maintenance du code, le débogage et la gestion des ressources. Les directeurs techniques et les responsables de l'ingénierie peuvent utiliser ces informations pour évaluer l'efficacité des différents modèles d'IA et s'assurer que leurs équipes utilisent les meilleurs outils disponibles.

Capacité de Pangram à détecter le code généré par l'IA

Dans l'ensemble, Pangram est capable de détecter de manière prudente la plupart des codes générés par l'IA, en particulier lorsque ceux-ci comptent plus de 40 lignes. Pangram est prudent, car il signale rarement les codes écrits par des humains comme étant générés par l'IA, mais il passe à côté d'environ 8 % des codes générés par l'IA, les prédisant à tort comme étant humains.

Lorsqu'il examine tous les extraits de code, Pangram passe à côté d'environ 20 % du code généré par l'IA, car la plupart des extraits de code courts générés par l'IA sont des passages standardisés impossibles à distinguer du code humain ou ne présentent tout simplement pas suffisamment de signaux pour être détectés.

Précision du code Plus de 40 lignes

Exactitude de tous les extraits de code

Ensemble de données

Nous utilisons l'ensemble de données GitHub pour effectuer cette analyse. Pour le code IA, nous utilisons une étape de mise en miroir synthétique simple en deux étapes :

1. Demandez au LLM de fournir un bref résumé du contenu du code.
2. Demandez au LLM d'écrire un exemple de code en fonction du résumé renvoyé.

Nous utilisons GPT-4o, Claude Sonnet, Llama 405b, Mistral 7B, Gemini 1.5 Flash et Gemini 1.5 Pro pour créer l'ensemble de données.

Recommandations pour détecter le code généré par l'IA

Le code généré par l'IA est plus difficile à détecter que les textes générés par l'IA, car il offre beaucoup moins de liberté : un programmeur dispose de moins de choix stylistiques arbitraires qu'un écrivain. Nous remarquons dans les faux négatifs que nous observons que de nombreux fichiers n'offrent tout simplement pas beaucoup de place à la créativité ou à la flexibilité, comme le code standard généré automatiquement ou les fichiers de configuration. Les langages de bas niveau, tels que C, Assembly et le code compilateur, sont également beaucoup plus stricts dans leur syntaxe, ce qui réduit le nombre de signaux permettant de déterminer si le code est généré par l'IA.

Si vous recherchez des signes indiquant la présence de code généré par l'IA, nous vous recommandons ce qui suit :

• Commentaires : souvent, le code généré par l'IA a une façon très spécifique d'écrire les commentaires. Nous remarquons également que le code généré par l'IA contient beaucoup plus de commentaires que celui écrit par un humain.
• Similitude interne : le code généré par l'IA est souvent similaire à d'autres codes générés par l'IA, en particulier pour un devoir individuel dans un cours de programmation. MOSS, l'outil de mesure de la similitude des logiciels développé à Stanford, est disponible pour un usage non commercial. Il est efficace pour détecter la similitude des codes et permet souvent de repérer de nombreux devoirs de codage générés par l'IA qui se ressemblent.
• Pangram est capable de détecter une grande partie du code généré par l'IA sans faux positifs, mais les faux négatifs sont fréquents. Pangram peut être considéré comme un outil de dépistage fiable pour détecter initialement certains cas de plagiat de code généré par l'IA, mais pas tous.