O Pangram funciona bem em código de IA?

Cada vez mais código está a ser escrito com IA. Segundo Sundar Pichai, CEO da Google, mais de 25% do código da Google foi escrito por IA no final de 2024. O CEO da Robinhood afirma que a maior parte do código lançado na Robinhood é agora escrito por IA. O termo «vibe coding» (popularizado num tweet de Andrej Karpathy) entrou no léxico público: significa quando nos entregamos totalmente às «vibes» da programação e deixamos a IA assumir o controlo e escrever o código por nós.

Startups como a Cursor, a Lovable e a Replit estão a tentar eliminar as barreiras à entrada na programação: isto significa que é tão fácil começar a programar que qualquer pessoa na empresa pode escrever código, ou mesmo criar um site ou uma aplicação completa, sem qualquer conhecimento de Python ou React.

O Inquérito aos Desenvolvedores do StackOverflow de 2025 revela o quão generalizada esta tendência se tornou. 84% dos desenvolvedores utilizam ou planeiam utilizar ferramentas de IA no seu fluxo de trabalho de desenvolvimento, sendo que 51% dos desenvolvedores profissionais utilizam essas ferramentas diariamente. Isto representa uma mudança significativa na forma como o código está a ser escrito em todo o setor.

No entanto, o inquérito revela também algumas dificuldades inerentes a esta era de desenvolvimento assistido pela IA. Embora 52 % dos programadores afirmem que as ferramentas de IA tiveram um impacto positivo na sua produtividade, a perceção positiva em relação a estas ferramentas diminuiu de mais de 70 % para 60 % em 2025. Após um período inicial de entusiasmo e exploração destas ferramentas geradas por IA, parece que os programadores têm agora uma atitude mais neutra em relação às mesmas.

A origem da frustração é reveladora: 66% dos programadores sentem-se frustrados com «soluções de IA que estão quase certas, mas não totalmente», e 45% consideram que a depuração de código gerado por IA é mais demorada do que o esperado. Apenas 3% dos programadores «confiam plenamente» nos resultados das ferramentas de IA, enquanto 46% duvidam ativamente da precisão dessas ferramentas.

Isto cria um paradoxo interessante: os programadores recorrem cada vez mais à IA para escrever código, mas não confiam totalmente no que ela produz. Como a pesquisa observa, 75% dos programadores continuariam a pedir ajuda a um ser humano quando «não confiam nas respostas da IA», posicionando-se como os «árbitros finais da qualidade e da correção». Segundo Simon Willison, ele «não usaria código gerado por IA para projetos que planeasse lançar, a menos que tivesse revisto cada linha. Não só existe o risco de alucinações, como o desejo do chatbot de ser agradável significa que pode dizer que uma ideia inutilizável funciona. Isso é um problema específico para aqueles de nós que não sabem como editar o código. Corremos o risco de criar software com problemas incorporados.»

A importância de detetar código gerado por IA

Embora o código gerado por IA tenha vindo para ficar, há certamente algumas situações em que ainda faz sentido verificar se o código foi escrito por um ser humano.

1. No processo de recrutamento, ao contratar um programador de software, é importante avaliar se o programador é plenamente capaz de escrever código de alta qualidade sem a ajuda da IA. Além disso, é igualmente importante avaliar a sua compreensão do código, para que consiga depurar e diagnosticar com sucesso código defeituoso gerado ou assistido pela IA no âmbito das suas funções.

2. Na educação, é importante ensinar os alunos a programar sem a ajuda da IA. Com demasiada assistência da IA, os alunos podem perder conceitos fundamentais e deixar de adquirir as competências de que necessitam para se tornarem engenheiros de software de sucesso. Embora seja provável que estes alunos tenham acesso à assistência da IA durante o seu trabalho, tal como sugerido pelo inquérito aos programadores da StackOverflow, sem uma base sólida, os alunos não serão capazes de corrigir código incorreto gerado pela IA, nem sequer de compreender o que está errado.

3. Conformidade e segurança. Muitos quadros de conformidade consideram que o código gerado por IA apresenta um risco mais elevado devido a potenciais «alucinações» e erros. Existem também considerações importantes em matéria de licenciamento e direitos de autor — os modelos de IA podem, inadvertidamente, reproduzir código com licenças incompatíveis, o que conduz a violações de conformidade. Além disso, há questões em aberto sobre se o código gerado por IA pode ser considerado propriedade exclusiva ou passível de proteção por direitos de autor.

4. Proveniência e rastreamento de código. Antes da IA, ferramentas como o `git blame` facilitavam o rastreamento de quem escreveu cada linha de código e por que as alterações foram feitas. Com a IA a gerar grandes quantidades de código, torna-se mais difícil para os programadores lembrarem-se do contexto e do raciocínio por trás de cada linha. A capacidade de detetar e rastrear código gerado por IA ajuda na manutenção do código, na depuração e na gestão de recursos. Os diretores técnicos e os líderes de engenharia podem utilizar esta informação para avaliar a eficácia de diferentes modelos de IA e garantir que as suas equipas estão a utilizar as melhores ferramentas disponíveis.

A capacidade do Pangram de detetar código gerado por IA

De um modo geral, o Pangram consegue detetar, de forma conservadora, a maior parte do código gerado por IA, especialmente quando o código tem mais de 40 linhas. O Pangram é conservador porque raramente identifica código escrito por humanos como sendo gerado por IA, mas deixa escapar cerca de 8% do código gerado por IA, classificando-o erroneamente como sendo de autoria humana.

Ao analisar todos os trechos de código, o Pangram não detecta cerca de 20 % do código gerado por IA, porque a maioria dos trechos curtos de código de IA consiste em código padrão que é indistinguível do código humano ou simplesmente não apresenta sinais suficientes para ser detetado.

Precisão no código com mais de 40 linhas

Precisão em todos os trechos de código

Conjunto de dados

Utilizamos o conjunto de dados do GitHub para realizar esta análise. No que diz respeito ao código de IA, recorremos a uma fase simples de espelhamento sintético em duas etapas:

1. Peça ao LLM para apresentar um breve resumo do conteúdo do código.
2. Peça ao LLM para escrever um exemplo de código de acordo com o resumo apresentado.

Utilizamos o GPT-4o, o Claude Sonnet, o Llama 405b, o Mistral 7B, o Gemini 1.5 Flash e o Gemini 1.5 Pro para criar o conjunto de dados.

Recomendações para a deteção de código gerado por IA

O código gerado por IA é mais difícil de detetar do que os textos gerados por IA, uma vez que existe uma liberdade significativamente menor: um programador tem menos opções estilísticas arbitrárias do que um escritor. Notamos, nos falsos negativos que observamos, que muitos ficheiros simplesmente não têm muito espaço para criatividade ou flexibilidade, como é o caso do código padrão gerado automaticamente ou dos ficheiros de configuração. As linguagens de baixo nível, como C, Assembly e código de compilador, também são muito mais rigorosas na sua sintaxe e, por isso, há menos sinais que permitam distinguir quando o código é gerado por IA.

Se estiver à procura de indícios de código gerado por IA, recomendamos o seguinte:

• Comentários: muitas vezes, o código gerado por IA apresenta uma forma muito específica de escrever comentários. Também notamos que o código gerado por IA inclui muito mais comentários do que o que um ser humano normalmente escreveria.
• Semelhança interna: o código gerado por IA é frequentemente semelhante a outro código gerado por IA, especialmente no caso de trabalhos individuais numa aula de programação. O MOSS(Measure of Software Similarity), desenvolvido em Stanford, está disponível para uso não comercial, é eficaz na deteção de semelhanças de código e consegue, muitas vezes, identificar vários trabalhos de programação gerados por IA que se parecem entre si.
• O Pangram consegue detetar uma grande parte do código gerado por IA sem falsos positivos, mas os falsos negativos são comuns. O Pangram é uma ferramenta de triagem fiável para detetar inicialmente alguns casos de plágio de código gerado por IA, mas não todos.