O estado da integridade académica e da deteção por IA em 2025

Bradley Emi, diretor técnico da Pangram Labs, proferiu uma palestra sobre o estado da deteção por IA na conferência da ICAI.

Os alunos estão tanto a utilizar como a abusar do ChatGPT. A maioria dos alunos utiliza ferramentas de IA regularmente e acredita que o seu desempenho irá melhorar com essas ferramentas. Mesmo com políticas claras contra a utilização da IA, é provável que os alunos continuem a utilizá-las.

Ao contrário do que se pensa: é possível detectar a IA. A linguagem, o estilo e as escolhas semânticas podem ser identificados tanto por seres humanos como por software automatizado (com formação adequada).

Por que é que a IA soa assim?

Os LLMs são distribuições de probabilidade que aprendem através de grandes quantidades de dados. NÃO correspondem à média de toda a escrita humana. Isto deve-se à forma como os modelos são treinados.

Os modelos são treinados em três fases: pré-treino, ajuste de instruções e alinhamento.

Na fase de pré-treino, o modelo analisa padrões estatísticos a partir de um vasto conjunto de dados. O conjunto de dados de treino contém preconceitos que se refletem nos padrões estatísticos. Por exemplo, os dados que aparecem com frequência na Internet estão sobrerrepresentados. Num artigo do Guardian, Alex Hern explica como trabalhadores no Quénia e na Nigéria foram explorados para fornecer dados de treino à OpenAI. As palavras que estes trabalhadores usavam frequentemente, como «delve» e «tapestry», são as mesmas que aparecem frequentemente em textos gerados por IA.

No «Instruction Tuning», o modelo é treinado para responder a prompts. O modelo aprende que é melhor seguir instruções do que apresentar informações precisas e corretas. Mesmo quando são implementados filtros de segurança, a desinformação continua a afetar a escrita gerada por IA, uma vez que esta procura agradar ao utilizador.

Durante o alinhamento, o modelo aprende a distinguir entre respostas adequadas e inadequadas às instruções. Os dados de preferência podem ser extremamente tendenciosos, uma vez que se baseiam nos pontos de vista do formador e não necessariamente em factos.

Apresentamos uma amostra das palavras e expressões mais comuns utilizadas na escrita gerada por IA. Estas resultam de preconceitos introduzidos na fase de pré-treino.

A IA é conhecida pela sua linguagem e formatação altamente estruturadas. As frases de transição, as listas com marcadores e a escrita organizada são comuns na escrita gerada por IA, devido à fase de alinhamento.

A escrita gerada por IA é frequentemente formal porque os textos formais estão sobrerrepresentados na Internet e, consequentemente, também nos conjuntos de dados utilizados para treinar a IA. A positividade e a utilidade são reforçadas durante o alinhamento.

Nota: O Pangram não prevê a utilização de IA apenas pelo facto de um texto conter linguagem e formatação típicas da IA.

Humanizadores no meio académico

Analisámos 19 ferramentas de humanização diferentes e criámos uma própria. E descobrimos que as ferramentas de humanização baseadas em IA preservam o significado original em diferentes graus (variando entre pequenas edições e texto ininteligível). Algumas ferramentas de humanização fazem um bom trabalho na reformulação, mas não conseguem escapar à deteção. Quanto mais fluente for o texto humanizado, menos provável é que este consiga escapar à deteção. Os humanizadores são capazes de remover a marca d'água SynthID do Google (que é utilizada para marcar o texto gerado pelo Gemini).

Detecção de IA automatizada e humana

A primeira geração de ferramentas de deteção de IA e as suas falhas moldaram a opinião do público em geral sobre a deteção de IA. Estas ferramentas baseavam-se em correlações com a utilização de IA, em vez de sinais causais. Afirmavam ter uma precisão de 99 %, o que é inadequado para uso académico.

Esta nova geração de ferramentas de deteção apresenta uma precisão superior a 99,9% e taxas de falsos positivos (FPR) muito baixas! Além disso, são resistentes a programas de parafraseamento e humanização.

No entanto, os detectores de IA não são todos iguais! Existem diferentes graus de precisão devido às diferentes formas como os detectores são treinados.

O Pangram, o TurnItIn e o Ghostbusters utilizam a deteção baseada na aprendizagem. Nesta deteção, o modelo é treinado para distinguir o que é e o que não é gerado por IA a partir de uma amostra de grande dimensão. Enquanto o

Os especialistas humanos com experiência na utilização de modelos de linguagem de grande escala (LLMs) para tarefas de redação conseguem identificar a IA com uma precisão de 92%. Os linguistas não conseguiram atingir o mesmo nível de precisão sem experiência na utilização de ferramentas como o ChatGPT. Os detetores humanos são capazes de explicar por que razão escolheram uma previsão específica relativamente ao texto. Embora o Pangram apresente taxas de precisão e de falsos positivos mais elevadas, não consegue contextualizar o texto.

Criar um processo justo de integridade académica em matéria de IA

Ao elaborar políticas ou normas relativas à utilização da IA, a comunicação deve ser clara. A IA pode ser utilizada para elaborar esboços, gerar ideias, corrigir erros gramaticais, realizar pesquisas, redigir rascunhos ou realizar tarefas de escrita de maior envergadura. É necessário implementar diretrizes sobre os níveis de utilização da IA que são permitidos ou não. Para se inspirar, pode consultar políticas reais de universidades sobre IA no diretório da Gradpilot, que inclui mais de 170 instituições.

Os alunos e professores devem compreender como as ferramentas comuns estão a evoluir com a IA. A função «Ajuda-me a escrever» do Google Docs obtém os seus resultados a partir do Gemini. O Grammarly inclui atualmente geração e parafraseamento por IA. As ferramentas de tradução podem estar a utilizar modelos de linguagem de grande escala (LLMs) para funcionar. A utilização de trechos de trabalhos de investigação ou de brainstorming gerados por IA também é detetada.

Recomendamos o uso tanto do raciocínio humano como da deteção automatizada. É extremamente injusto para o aluno recorrer exclusivamente à deteção por IA para avaliar o seu trabalho, devido à taxa de falsos positivos (FPR) de 0,01%. Após receber uma previsão positiva, os passos seguintes consistiriam em avaliar o processo de escrita do aluno e comparar o texto em questão com trabalhos anteriores. Certifique-se de testar o detector com alguns textos e de ter em conta os resultados que poderá obter ao utilizar um LLM para a tarefa.

Se ficar cada vez mais claro que um aluno entregou um trabalho escrito por IA, isso pode constituir uma oportunidade de aprendizagem. É importante tratar os alunos com respeito e evitar ser excessivamente punitivo. Os alunos podem beneficiar-se de refazer o trabalho e de ter uma conversa sobre o que levou ao uso da IA.

Para mais informações sobre este artigo, confira o webinar completo: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.