Verificador de ensaios com IA: O que funciona realmente na verificação dos textos dos alunos

De acordo com a investigação mais recente do College Board, 74% dos docentes de faculdades e universidades referem que os estudantes estão a utilizar IA para escrever as suas redações.

E isto nem sequer reflete o número de estudantes que utilizam IA e não são apanhados. Representa apenas os docentes que se aperceberam disso.

Com tanta utilização de IA no meio académico, aprender a reconhecer as características distintivas dos grandes modelos de linguagem (LLMs) e a verificar a integridade dos textos dos estudantes já não é opcional. Isto deu origem ao verificador de ensaios com IA, que é (para o bem ou para o mal) mais um LLM que promete ajudar a identificar o uso de IA, muitas vezes com resultados mistos.

Hoje, vamos ver o que é um verificador de ensaios com IA, como funciona e se pode utilizá-lo para verificar com sucesso os textos dos alunos.

O que é um verificador de ensaios com IA?

Um verificador de ensaios com IA é uma ferramenta de software que analisa um texto — neste caso, um ensaio de um aluno — à procura de indícios de utilização de IA. O objetivo é confirmar que o aluno escreveu o ensaio sem a ajuda de um LLM e, em alguns casos, verificar se existem erros ortográficos e gramaticais comuns.

O termo «verificador de ensaios» abrange duas funções diferentes, pelo que é útil distingui-las antes de avaliar qualquer ferramenta.

Ferramentas de verificação de ensaios para gramática e clareza

O primeiro tipo de verificador de ensaios ajuda o autor a melhorar um rascunho, verificando a gramática, a clareza, a estrutura e as citações. Estas ferramentas são, em grande parte, bem aceites nas salas de aula.

Entre os verificadores mais comuns para melhorar a escrita, destacam-se:

• ProWritingAid
• Quillbot
• Paperpal
• Editor Hemingway
• Grammarly (embora agora inclua a deteção por IA no seu pacote)

Ferramentas de verificação de ensaios para confirmar a origem do texto

O segundo tipo de verificador de ensaios verifica a origem de um texto. Isto inclui a deteção de texto gerado por IA (ou seja, se alguém criou o texto com uma máquina) e, por vezes, também a deteção de plágio.

Exemplos comuns deste tipo de ferramenta incluem:

• Pangram
• Originality.ai
• GPTZero
• Turnitin

A maioria dos docentes não tem qualquer problema com a assistência automatizada à gramática e à ortografia, pelo que esses verificadores de ensaios não constituem o problema no que diz respeito a questões de integridade académica.

No entanto, quando se trata de alunos que utilizam IA para gerar o seu ensaio na íntegra, a situação é completamente diferente. E é aí que muitos docentes começam a procurar o segundo tipo de verificador de ensaios para os ajudar a verificar a autenticidade dos trabalhos dos alunos.

Dica: Alguns supostos verificadores de ensaios baseados em IA também incluem «humanizadores» de IA, o que facilita a quem utiliza a IA a aleatorizar o texto para que pareça mais humano (embora continue a ser, na essência, o trabalho de um LLM). Esta função é o oposto do que procura enquanto educador, por isso evite ferramentas que ofereçam esta funcionalidade.

Qual é a diferença entre um verificador de ensaios e um verificador de plágio?

Vemos frequentemente esta questão em particular, e é fácil confundir as duas coisas. No entanto, a diferença entre um verificador de ensaios com IA e um verificador de plágio é bastante simples: resolvem dois problemas diferentes.

Um verificador de ensaios com IA pergunta «Isto foi escrito por uma IA?» e atribui ao analista uma pontuação que indica a probabilidade de a resposta a essa pergunta ser «Sim». Não indica de onde veio qualquer texto gerado por IA, apenas que foi gerado por um LLM.

Por outro lado, um verificador de plágio pergunta «Isto foi copiado de uma fonte existente?» e procura correspondências quase palavra por palavra em milhões de artigos, sites, fóruns e bases de dados, fornecendo ao analista destaques que mostram o seu trabalho.

Se é professor, provavelmente já consegue identificar a necessidade de ambos. Embora haja alguma sobreposição entre os dois (a IA pode plagiar com base nos seus dados de treino), cada um atende a uma necessidade distinta. Existem aqui duas formas pelas quais um aluno pode tentar contornar um trabalho em vez de o concluir, e duas soluções diferentes.

Qual é o nível de precisão dos verificadores de ensaios baseados em IA?

No mundo da deteção por IA, a precisão não se resume a um único número, e nenhuma ferramenta está correta 100% das vezes. O facto de uma ferramenta de deteção por IA «funcionar» ou não é determinado por dois fatores:

• A taxa de deteção refere-se à capacidade da ferramenta de deteção de identificar, em primeiro lugar, a utilização de IA.
• A taxa de falsos positivos (FPR) refere-se à frequência com que a ferramenta identifica incorretamente textos criados por humanos como tendo sido gerados por IA.

Um infográfico que compara a taxa de deteção e a taxa de falsos positivos em verificadores de ensaios baseados em IA.

Os falsos positivos constituem uma grande preocupação para os educadores, uma vez que apresentar qualquer alegação de desonestidade académica pode ser arriscado, e fazê-lo com base num falso positivo pode resultar numa nota negativa injusta ou mesmo na expulsão.

A maioria dos detetores tem um ponto fraco. Textos curtos e textos fortemente editados são os mais difíceis de analisar para todas as soluções de deteção por IA, mas especialmente com uma ferramenta de análise baseada na perplexidade.

É por isso que a taxa de falsos positivos (FPR) de 0,01%, verificada por terceiros, do Pangram o torna um detetor fiável para utilização no ensino superior. A tecnologia de deteção por rede neural que utilizamos resiste a parafrasadores e humanizadores, pelo que pode ter a certeza de que a probabilidade de um falso positivo é a mais baixa possível.

Utilizar a IA para escrever um ensaio constitui uma forma de desonestidade académica?

Escrever um ensaio com recurso à IA não é exatamente o mesmo que plágio, mas a maioria das universidades trata-o como uma violação de integridade relacionada. A razão resume-se à forma como as políticas de integridade académica definem as infrações.

«O plágio é o ato de apresentar ideias, investigação ou textos que não são da sua autoria como se fossem seus. Exemplos de plágio incluem: copiar palavras ou imagens reais de outra pessoa ou de uma ferramenta de IA sem utilizar aspas nem citações que atribuam as palavras à sua fonte.»

- City University of New York


De acordo com muitas definições de plágio, incluindo as da Universidade de Michigan e da Universidade de Oxford, o que importa é que envolve a apresentação de um trabalho que não foi feito por si.

Utilizar um LLM para gerar texto significa que está a usar a capacidade da IA de prever sequências prováveis de palavras para concluir um trabalho, o que é notavelmente diferente de concluir o trabalho por si próprio. Quando um aluno entrega este trabalho, está a apresentar o trabalho de outra pessoa como se fosse seu, o que se enquadra na definição comum de plágio.

Como verificar se um ensaio foi escrito por IA (passo a passo)

Agora que já esclarecemos o que é um verificador de ensaios baseado em IA e como funciona, vamos falar sobre como rever um ensaio através de um processo que resista a uma auditoria.

Uma imagem que mostra quatro passos para verificar se um ensaio foi escrito por IA.

1. Executar o texto

O primeiro passo é, naturalmente, submeter o ensaio a um detetor de IA. Pode fazê-lo com um simples copiar e colar ou submetê-lo diretamente no seu LMS, onde o trabalho já se encontra.

O Pangram disponibiliza uma extensão para o Chrome e integrações com o Canvas e o Blackboard, pelo que não precisa de exportar os textos dos alunos para os avaliar. No entanto, se preferir esse fluxo de trabalho, vá em frente!

2. Analisar a pontuação de probabilidade da IA

Depois de submeter o texto à análise, receberá uma pontuação. A pontuação não será um «sim» ou um «não», mas sim uma escala ou percentagem que indica a probabilidade de o texto ter sido gerado por um LLM. Trata-se mais de um indicador de triagem para si do que de um veredicto de qualquer tipo.

Se o texto obtiver uma pontuação clara de 100% escrito por humanos, pode avançar. Mas uma pontuação mais baixa é um sinal para que o analises mais a fundo.

3. Ler os indicadores ao nível do segmento

No caso de ensaios em que foi detetada uma determinada percentagem de IA, é nesta fase que se procede a uma análise mais aprofundada. É também nesta fase que um detetor rigoroso se distingue dos restantes.

Nesta fase do processo, o Pangram (por exemplo) consegue destacar as passagens específicas dentro de um ensaio que contêm padrões de IA. É possível ver onde ocorre a sinalização, o que a provocou e se foram três frases que causaram o problema ou se é toda a redação que está sob suspeita.

Esta granularidade será útil caso tenha de explicar o seu raciocínio a um aluno ou a uma comissão de integridade académica.

4. Analisar o contexto antes de tomar qualquer decisão

Por fim, deve sempre comparar quaisquer passagens assinaladas, ou mesmo trabalhos na íntegra, com os trabalhos anteriores e o estilo do aluno.

O trabalho que está a analisar corresponde a trabalhos anteriores? Soa diferente da forma como o aluno escreve nos testes ou nos trabalhos escritos? As respostas a estas perguntas irão ajudá-lo a formar o seu julgamento.

Ao longo desta conversa, lembre-se de que a pontuação de um detetor de IA é apenas uma peça de um quebra-cabeças mais vasto.

O que procurar num verificador de ensaios com IA

A prioridade número um na procura de um verificador de ensaios baseado em IA, para qualquer pessoa, deve ser a precisão. Não adianta nada a ninguém sinalizar incorretamente trabalhos criados por humanos, e isso pode causar muitos danos.

Como podemos evitar isto?

Tenha em conta estes seis aspetos ao avaliar possíveis verificadores de ensaios baseados em IA:

1. Uma baixa taxa de falsos positivos: a FPR de 0,01% da Pangram, verificada por uma entidade independente, significa que, quando a ferramenta sinaliza um ensaio, pode agir em conformidade sem ter de se questionar se está prestes a acusar um aluno honesto.
2. Análise ao nível do segmento: Uma pontuação única para um documento inteiro não é muito útil. Os indicadores ao nível da frase mostram-lhe exatamente quais as passagens que parecem ter sido geradas por IA, para que possa ver as diferenças.
3. Detecção simultânea de IA e plágio: uma ferramenta que verifica se o texto foi gerado por IA ou copiado numa única verificação resolve ambos os problemas de uma só vez, em vez de o obrigar a realizar duas verificações separadas em cada envio.
4. Suporte para mais de 20 idiomas: Infelizmente, alguns dos detetores menos eficazes podem identificar incorretamente os textos de alunos cuja língua materna não é a que estão a estudar como tendo sido gerados por IA. É importante procurar um suporte linguístico abrangente, para que os seus alunos multilingues sejam avaliados de forma justa.
5. Integração com o LMS: Um detetor que obriga a sair do livro de notas acaba por criar mais trabalho e mais passos. O ideal é procurar um detetor de IA que facilite a sua vida, e não que a torne mais difícil.
6. Validação independente por terceiros: Acima de tudo, é essencial que a sua ferramenta resista a um escrutínio rigoroso; por isso, procure uma ferramenta que tenha sido testada e verificada por fontes independentes.

Se conseguir encontrar um verificador que cumpra estes seis critérios, saberá que está a avaliar uma ferramenta de qualidade capaz de comprovar as suas afirmações.

Perguntas frequentes sobre os verificadores de ensaios baseados em IA

Ainda tem dúvidas sobre a utilização da IA em ensaios e sobre como a pode identificar? Temos as respostas.

Existe algum verificador de ensaios com IA gratuito?

Tecnicamente, sim, várias ferramentas oferecem um verificador de ensaios com IA gratuito, mas isso normalmente implica limites no número de palavras, no número de verificações por mês ou na profundidade da análise que se obtém.

Em teoria, isso parece bom, mas esses limites vêm frequentemente acompanhados de uma taxa mais elevada de falsos positivos, o que torna as pontuações menos úteis para o trabalho de integridade académica.

Os verificadores de ensaios funcionam mesmo?

Um verificador de ensaios funciona normalmente bem quando apresenta uma elevada taxa de deteção, aliada a uma taxa de falsos positivos quase nula. Se o verificador que está a avaliar não divulgar a sua metodologia de deteção, desconfie. As ferramentas que assinalam uma parte significativa da escrita humana como sendo da IA (ou vice-versa) não funcionam de forma a ajudá-lo.

Existe algum verificador de ensaios com IA gratuito em que possa confiar para a avaliação?

É claro que pode encontrar um verificador de ensaios com IA gratuito (há dezenas disponíveis numa única pesquisa no Google), mas isso não significa que vá funcionar da forma que deseja. Antes de confiar em qualquer ferramenta, seja ela gratuita ou não, certifique-se sempre de que foi testada e verificada de forma independente por uma entidade externa de renome.

Encontre o verificador de ensaios certo para garantir a integridade académica

No final de contas, se precisar de verificar os trabalhos escritos dos alunos, tem de ter a certeza de que qualquer ferramenta que utilize para esse fim produzirá resultados em que possa confiar. É por isso que nos orgulhamos tanto da nossa taxa de falsos positivos de 0,01% na Pangram: dá aos educadores e aos responsáveis académicos a confiança necessária para tomarem medidas justificáveis.

Quer experimentá-la nos trabalhos enviados pelos seus alunos? Comece já a utilizar a extensão Pangram para o Chrome e verifique as redações diretamente no seu LMS ainda hoje.