Detetor de Código de IA: Como verificar se o código foi escrito pelo ChatGPT, Copilot ou Claude

O GitHub, o Copilot, o ChatGPT e o Claude são assistentes de programação baseados em IA. Permitem aos programadores criar código a um ritmo mais acelerado. Isto revolucionou a produtividade dos programadores. No entanto, este aumento de velocidade acarreta riscos ocultos. A segurança da cadeia de abastecimento de software, as questões de direitos de autor e a integridade no processo de contratação são todas afetadas.

O MOSS da Stanford consegue, em geral, determinar se um script foi gerado por IA, mas um programador experiente pode ajustar a ordem dos métodos e alterar variáveis para passar despercebido. Além disso, está disponível apenas para uso não comercial. Determinar com precisão se um código foi gerado por IA requer uma infraestrutura especializada. Plataformas empresariais como a Pangram estão agora a entrar em cena para fornecer detecção dedicada de código gerado por IA.

Se está a perguntar:«É possível detetar código gerado por IA?», a resposta é «Sim». Detetar código gerado por IA é fundamentalmente diferente — e mais difícil — do que detetar texto gerado por IA. Este guia aborda os seguintes pontos:

• Os padrões do código gerado por computador.
• Os casos de utilização da detecção no contexto empresarial.
• Como implementar uma estratégia de governação do tipo «Human-in-the-Loop» para a deteção de código gerado por IA.

Detecção de Pangrams por IA para programadores

Por que é tão difícil detetar código de IA? (O problema dos «graus de liberdade»)

O código gerado por IA é mais difícil de detectar do que o código escrito por humanos, porque as linguagens de programação têm menos «graus de liberdade». Um programador dispõe de menos opções estilísticas e estruturais. Isto é especialmente verdadeiro quando comparado com as inúmeras opções estilísticas e estruturais de que um autor dispõe.

Linguagens como o C e a linguagem de montagem têm requisitos sintáticos muito rigorosos. Se um ser humano estiver a tentar resolver um problema, poderá desenvolver a função mais eficiente para esse problema. Uma IA também poderá desenvolver esse mesmo código, porque é a função mais eficiente. Tanto um ser humano como uma IA podem produzir código matematicamente idêntico.

O código padrão não contém muitos sinais estatísticos. Um detetor de IA não conseguirá classificar com segurança este tipo de código como sendo gerado por IA ou escrito por humanos. O mesmo se aplica a ficheiros de configuração simples.

Caso de utilização 1: Segurança de software e gestão da propriedade intelectual

Os diretores de tecnologia (CTOs) e as equipas de operações jurídicas utilizam detetores de código de IA para verificar a origem do seu código-fonte. Fazem-no para garantir que os seus programadores não publicam propriedade intelectual de IA que não pode ser protegida por direitos de autor. Ou lógica alucinada e vulnerável.

Nos EUA, os conteúdos gerados inteiramente por IA não podem ser protegidos por direitos de autor. Se o produto principal de uma startup fosse gerado inteiramente pelo Copilot sem supervisão humana, essa startup poderá não conseguir proteger esse produto por direitos de autor.

Um detetor de código gerado por IA é um primeiro passo essencial nos fluxos de trabalho de segurança. Se um trecho de código for sinalizado como 100% gerado por IA, é necessário realizar uma revisão de segurança manual rigorosa. Esta revisão deve ser efetuada antes da integração do código.

Caso de utilização 2: Recrutamento técnico e avaliações de programadores

Os responsáveis pelo recrutamento utilizam um detetor de código baseado em IA nas tarefas técnicas para realizar em casa. Recorrem a este detetor para garantir que os candidatos compreendem a lógica por trás do código que apresentam. Os responsáveis pelo recrutamento não querem candidatos que se limitem a copiar e colar resultados do ChatGPT. Querem candidatos que compreendam a lógica subjacente a esses resultados.

Um programador que confie inteiramente num LLM para passar num teste de programação provavelmente irá falhar quando lhe for pedido que depure sistemas legados complexos e sem documentação. O código é complexo. Um programador incapaz de lidar com essas complexidades sem o ChatGPT poderá não ser capaz de desempenhar as suas funções.

Em vez de proibir totalmente a IA, os recrutadores utilizam ferramentas de deteção para orientar as perguntas da entrevista. Eis um exemplo: «Vejo que esta função depende fortemente da assistência da IA. Pode explicar-me por que razão o modelo escolheu esta estrutura de loop específica?»

Padrões a ter em conta: como identificar manualmente código de IA

É necessário software para garantir a precisão da deteção de IA em grandes volumes. No entanto, em volumes mais reduzidos, os revisores manuais podem detetar código de IA procurando:

• Estilos de comentário extremamente específicos.
• Excesso de documentação.
• Semelhança interna extrema.

Os modelos de IA, como o Claude/ChatGPT, são treinados para serem úteis. Isso faz com que insiram comentários exaustivos e pouco naturais em cada linha de código. Os programadores humanos raramente fazem isso, o que torna este tipo de comentário um indício de que se trata de IA.

Em contextos académicos ou de recrutamento, o código gerado por IA apresenta-se frequentemente idêntico em vários envios. O MOSS consegue destacar essa semelhança. Isto permite que o MOSS funcione como um indicador secundário da geração por IA. Outras ferramentas também o conseguem fazer.

Como funciona o Detetor de Código de IA da Pangram

Para verificar se o código foi gerado por IA, o Pangram recorre à aprendizagem profunda. A aprendizagem profunda é utilizada para identificar a «impressão digital» estatística dos modelos de IA.

O Pangram apresenta uma taxa de precisão de 96,2%. Além disso, a sua taxa de falsos positivos é praticamente nula, situando-se nos 0,3%. Isto deve-se, em grande parte, à aprendizagem profunda.

Precisão do Pangram em códigos com mais de 40 linhas

Ao contrário de outros detetores de código gerado por IA, o Pangram é intencionalmente conservador. Foi concebido para não detetar alguns padrões de código de IA — o Pangram apresenta uma taxa de falsos negativos de 8,5 % em trechos longos de código. Isto tem como objetivo garantir que nunca acuse falsamente um programador humano.

As equipas de engenharia e de recrutamento podem integrar o Pangram de forma harmoniosa no fluxo de trabalho da sua empresa. Podem fazê-lo através do SDK Python de deteção de código por IA do Pangram. Em alternativa, podem utilizar a API do Pangram. Ambas as opções permitem a verificação automatizada de código por IA no âmbito dos fluxos de trabalho existentes do Git ou do ATS.

Verificação da integridade do código

Os assistentes de programação baseados em IA são ferramentas poderosas que aceleram o desenvolvimento de todo o tipo de software. No entanto, não se pode confiar cegamente neles para criar infraestruturas seguras e proprietárias.

Ao integrar um detetor de código de IA preciso no seu fluxo de trabalho, as equipas de engenharia e de recrutamento podem:

• Garantir a segurança da sua cadeia de abastecimento de software.
• Proteger a sua propriedade intelectual.
• Certificar-se de que estão a contratar os melhores profissionais.

Verifique a proveniência e a originalidade do seu código-fonte com a plataforma de deteção por IA mais precisa do setor.

Explore o Pangram para programadores