O Pangram funciona bem em código de IA?

Cada vez mais código está a ser escrito com IA todos os dias. De acordo com Sundar Pichai, CEO do Google, mais de 25% do código do Google foi escrito por IA no final de 2024. O CEO da Robinhood afirma que a maior parte do código enviado na Robinhood agora é escrito por IA. O termo "vibe coding" (popularizado num tweet de Andrej Karpathy) entrou no léxico público: significa quando você se entrega totalmente às "vibrações" da codificação e deixa a IA assumir o controle e escrever o código para você.

Startups como Cursor, Lovable e Replit estão a tentar eliminar as barreiras à entrada na programação: isto significa que entrar na programação é tão fácil que qualquer pessoa na empresa pode produzir código ou até mesmo criar um site ou aplicativo completo sem qualquer conhecimento de Python ou React.

A Pesquisa com Desenvolvedores StackOverflow 2025 revela o quão difundida essa tendência se tornou. 84% dos desenvolvedores estão a usar ou planeiam usar ferramentas de IA no seu fluxo de trabalho de desenvolvimento, com 51% dos desenvolvedores profissionais a usar ferramentas de IA diariamente. Isso representa uma mudança significativa na forma como o código está a ser escrito em todo o setor.

No entanto, a pesquisa também revela dificuldades crescentes nesta era de desenvolvimento assistido por IA. Embora 52% dos programadores relatem que as ferramentas de IA tiveram um impacto positivo na sua produtividade, a opinião positiva em relação às ferramentas de IA caiu de mais de 70% para 60% em 2025. Após um período inicial de lua de mel de exploração com essas ferramentas geradas por IA, parece que os programadores agora têm uma opinião mais neutra em relação a elas.

A fonte da frustração é reveladora: 66% dos programadores estão frustrados com «soluções de IA que estão quase certas, mas não totalmente» e 45% consideram que a depuração de código gerado por IA é mais demorada do que o esperado. Apenas 3% dos programadores «confiam muito» nos resultados das ferramentas de IA, com 46% a desconfiar ativamente da precisão dessas ferramentas.

Isso cria um paradoxo interessante: os programadores estão cada vez mais a confiar na IA para escrever código, mas não confiam totalmente no que ela produz. Como observa a pesquisa, 75% dos programadores ainda pediriam ajuda a um humano quando «não confiam nas respostas da IA», posicionando-se como os «árbitros finais da qualidade e correção». De acordo com Simon Willison, ele «não usaria código gerado por IA para projetos que planeava lançar, a menos que tivesse revisto cada linha. Não só existe o risco de alucinação, como o desejo do chatbot de ser agradável significa que pode dizer que uma ideia inutilizável funciona. Isso é um problema específico para aqueles de nós que não sabem como editar o código. Corremos o risco de criar software com problemas incorporados».

A importância de detectar código gerado por IA

Embora o código gerado por IA tenha vindo para ficar, há definitivamente alguns casos em que ainda faz sentido verificar se o código foi escrito por humanos.

1. No processo de contratação, ao contratar um programador de software, é importante avaliar se o programador é totalmente capaz de escrever código de alta qualidade sem a ajuda da IA. Além disso, também é importante avaliar a sua compreensão do código para que possam depurar e diagnosticar com sucesso código defeituoso gerado por IA ou assistido por IA no seu trabalho.

2. Na educação, é importante ensinar os alunos a programar sem a ajuda da IA. Com demasiada assistência da IA, os alunos podem perder conceitos fundamentais e ignorar a aprendizagem das competências de que necessitam para serem engenheiros de software de sucesso. Embora seja provável que estes alunos tenham acesso à assistência da IA durante o seu trabalho, tal como referido no inquérito aos programadores da StackOverflow, sem uma base sólida, os alunos não serão capazes de corrigir código incorreto gerado pela IA ou mesmo compreender o que está errado.

3. Conformidade e segurança. Muitas estruturas de conformidade consideram o código gerado por IA como de maior risco devido a potenciais alucinações e bugs. Há também considerações importantes sobre licenciamento e direitos autorais — os modelos de IA podem reproduzir inadvertidamente código com licenças incompatíveis, levando a violações de conformidade. Além disso, há questões em aberto sobre se o código gerado por IA pode ser considerado proprietário ou protegido por direitos autorais.

4. Proveniência e rastreamento de código. Antes da IA, ferramentas como o git blame facilitavam o rastreamento de quem escreveu cada linha de código e por que as alterações foram feitas. Com a IA a gerar grandes quantidades de código, torna-se mais difícil para os programadores lembrarem-se do contexto e do raciocínio por trás de cada linha. Ser capaz de detetar e rastrear o código gerado pela IA ajuda na manutenção do código, na depuração e na gestão de recursos. Os diretores de tecnologia e os líderes de engenharia podem usar essas informações para avaliar a eficácia de diferentes modelos de IA e garantir que as suas equipas estejam a usar as melhores ferramentas disponíveis.

A capacidade do Pangram para detetar código gerado por IA

No geral, o Pangram é capaz de detectar de forma conservadora a maior parte do código gerado por IA, especialmente quando o código tem mais de 40 linhas. O Pangram é conservador porque raramente sinaliza código escrito por humanos como gerado por IA, mas perde cerca de 8% do código gerado por IA, prevendo-o falsamente como humano.

Ao analisar todos os trechos de código, o Pangram perde cerca de 20% do código gerado por IA, porque a maioria dos trechos curtos de código de IA são padrões que não podem ser distinguidos do código humano ou simplesmente não têm sinal suficiente para serem detectados.

Precisão no código com mais de 40 linhas

Precisão em todos os trechos de código

Conjunto de dados

Utilizamos o conjunto de dados do GitHub para realizar esta análise. Para o código de IA, utilizamos uma etapa de espelhamento sintético simples em duas fases:

1. Peça ao LLM para fornecer um breve resumo sobre o que trata o código.
2. Peça ao LLM para escrever um exemplo de código de acordo com o resumo retornado.

Utilizamos GPT-4o, Claude Sonnet, Llama 405b, Mistral 7B, Gemini 1.5 Flash e Gemini 1.5 Pro para criar o conjunto de dados.

Recomendações para detetar código gerado por IA

O código gerado por IA é mais difícil de detectar do que a escrita gerada por IA, pois há significativamente menos graus de liberdade: há menos escolhas estilísticas arbitrárias feitas por um programador em comparação com um escritor. Percebemos que, nos falsos negativos que observamos, muitos ficheiros simplesmente não têm muito espaço para criatividade ou flexibilidade, como código padrão gerado automaticamente ou ficheiros de configuração. Linguagens de baixo nível, como C, Assembly e código compilador, também são muito mais rígidas em sua sintaxe e, portanto, há menos sinais para identificar quando o código é gerado por IA.

Se estiver à procura de sinais de código gerado por IA, recomendamos o seguinte:

• Comentários: muitas vezes, o código gerado por IA tem uma forma muito específica de escrever comentários. Também notamos que o código gerado por IA escreve muito mais comentários no código do que um humano normalmente escreveria.
• Similaridade interna: o código gerado por IA é frequentemente semelhante a outro código gerado por IA, especialmente para uma tarefa individual numa aula de programação. O MOSS, o Medidor de Similaridade de Software, desenvolvido em Stanford, está disponível para uso não comercial e é eficaz na deteção de similaridade de código, podendo frequentemente identificar muitas tarefas de codificação geradas por IA com aparência semelhante.
• O Pangram é capaz de detectar uma grande parte do código gerado por IA sem falsos positivos, mas os falsos negativos são comuns. O Pangram pode ser considerado uma ferramenta de triagem confiável para detectar inicialmente alguns, mas não todos, os casos de plágio de código gerado por IA.