O estado da integridade académica e a deteção de IA em 2025

Bradley Emi, diretor técnico da Pangram Labs, apresentou uma sessão sobre o estado da detecção de IA na conferência ICAI.

Os estudantes estão a usar e a abusar do ChatGPT. A maioria dos estudantes usa ferramentas de IA regularmente e acredita que o seu desempenho irá melhorar com essas ferramentas. Mesmo com políticas claras contra o uso de IA, é provável que os estudantes continuem a usá-la.

Ao contrário do que se pensa: a IA pode ser detetada. A linguagem, o estilo e as escolhas semânticas podem ser discernidos tanto por humanos como por software automatizado (com formação suficiente).

Por que a IA soa assim?

Os LLMs são distribuições de probabilidade que aprendem através de grandes quantidades de dados. Eles NÃO são a média de todos os textos escritos por humanos. Isso se deve à forma como os modelos são treinados.

Os modelos são treinados em três etapas: pré-treinamento, ajuste de instruções e alinhamento.

Na fase de pré-treinamento, o modelo analisa padrões estatísticos a partir de um grande conjunto de dados. O conjunto de dados de treinamento contém vieses que aparecem nos padrões estatísticos. Por exemplo, dados que aparecem com frequência na internet estão super-representados. Num artigo do Guardian, Alex Hern explica como trabalhadores no Quénia e na Nigéria foram explorados para fornecer dados de pré-treinamento para a OpenAI. As palavras que esses trabalhadores usavam com frequência, como “delve” e “tapestry”, são as mesmas palavras que aparecem com frequência em textos gerados por IA.

No ajuste de instruções, o modelo é treinado para responder a comandos. O modelo aprende que é melhor seguir instruções do que apresentar informações precisas e corretas. Mesmo quando filtros de segurança são implementados, a desinformação ainda assola a escrita da IA, pois ela tenta agradar o utilizador.

Durante o alinhamento, o modelo aprende a diferença entre respostas boas e ruins às solicitações. Os dados de preferência podem ser extremamente tendenciosos, pois se baseiam nos pontos de vista do treinador, e não necessariamente em fatos.

Fornecemos uma amostra das palavras e frases mais comuns utilizadas na escrita de IA. Estas provêm de preconceitos introduzidos na fase de pré-treinamento.

A IA é conhecida pela sua linguagem e formatação altamente estruturadas. Frases de transição, listas com marcadores e escrita organizada são comuns na escrita da IA devido à fase de alinhamento.

A escrita da IA é frequentemente formal porque os textos formais estão sobrerrepresentados na Internet e, consequentemente, nos conjuntos de dados de treino da IA. A positividade e a utilidade são reforçadas durante o alinhamento.

Nota: O Pangram não prevê o uso de IA apenas porque um texto contém linguagem e formatação comuns à IA.

Humanizadores na academia

Estudámos 19 ferramentas humanizadoras diferentes e criámos a nossa própria. Descobrimos que as ferramentas humanizadoras de IA preservam o significado original em diferentes graus (variando de pequenas edições a texto ininteligível). Algumas ferramentas humanizadoras fazem um bom trabalho de paráfrase, mas não evitam a deteção. Quanto mais fluente for o texto humanizado, menos provável será que ele evite a deteção. Os humanizadores são capazes de remover a marca d'água SynthID do Google (usada para marcar textos gerados pelo Gemini).

Detecção automatizada e humana de IA

A primeira geração de ferramentas de detecção de IA e as suas falhas moldaram a forma como o público em geral encara a detecção de IA. Essas ferramentas baseavam-se em correlações com o uso de IA, em vez de sinais causais. Elas alegavam ter 99% de precisão, o que é inadequado para uso académico.

Esta nova geração de ferramentas de detecção apresenta uma precisão superior a 99,9% e taxas de falsos positivos (FPRs) muito baixas! Elas também são robustas contra parafraseadores e humanizadores.

No entanto, os detetores de IA não são todos iguais! Existem vários graus de precisão devido às diferentes formas como os detetores são treinados.

Pangram, TurnItIn e Ghostbusters utilizam detecção baseada em aprendizagem. Na detecção baseada em aprendizagem, o modelo é treinado para aprender o que é e o que não é gerado por IA a partir de uma grande amostra. Enquanto o

Especialistas humanos com experiência no uso de LLMs para tarefas de escrita conseguem detectar IA com 92% de precisão. Os linguistas não conseguiram atingir o mesmo nível de precisão sem experiência no uso de ferramentas como o ChatGPT. Os detetores humanos são capazes de explicar por que escolheram uma previsão específica em relação ao texto. Embora o Pangram tenha maior precisão e taxas de falsos positivos, ele é incapaz de contextualizar o texto.

Construindo um processo justo de integridade académica em IA

Ao criar políticas ou normas relativas ao uso da IA, a comunicação deve ser clara. A IA pode ser usada para escrever esboços, gerar ideias, editar erros gramaticais, pesquisar, redigir ou realizar tarefas de escrita substanciais. Devem ser implementadas diretrizes sobre os graus de uso da IA que são permitidos ou não.

Alunos e professores devem compreender como as ferramentas comuns estão a evoluir com a IA. A função «Ajude-me a escrever» do Google Docs obtém os seus resultados do Gemini. O Grammarly atualmente inclui geração e parafraseamento por IA. As ferramentas de tradução podem estar a usar LLMs para funcionar. Retirar trechos de pesquisas geradas por IA ou brainstorming também aciona a deteção.

Recomendamos o uso tanto do raciocínio humano quanto da detecção automatizada. É extremamente injusto para o aluno usar exclusivamente a detecção por IA para avaliar o seu trabalho devido ao FPR de 0,01%. Após receber uma previsão positiva, os próximos passos seriam avaliar o processo de escrita do aluno e comparar o texto positivo com os seus trabalhos anteriores. Certifique-se de testar o detector com alguns textos e considerar os resultados que poderá obter ao usar um LLM para a tarefa.

Se ficar cada vez mais claro que um aluno entregou um trabalho escrito por IA, esse pode ser um momento de aprendizagem. É importante tratar os alunos com respeito e evitar ser excessivamente punitivo. Os alunos podem se beneficiar ao refazer o trabalho e conversar sobre o que contribuiu para o uso da IA.

Para mais informações sobre este artigo, confira o webinar completo: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.