Como recolher provas para um caso de integridade académica relacionado com a IA

Gostaríamos de agradecer a Marilyn Derby, diretora adjunta do Departamento de Apoio ao Aluno e Assuntos Judiciais da UC Davis, pela sua contribuição para as ideias apresentadas neste artigo e por alguns dos recursos visuais utilizados nesta publicação. Gostaríamos também de agradecer a Amanda Clarke, diretora do Departamento de Inglês da Viewpoint School, na Califórnia, pela sua excelente referência sobre como distinguir as características da escrita dos alunos da escrita gerada por IA.

Talvez tenha recebido um trabalho e tenha a sensação de que o texto não foi escrito pelo aluno da sua turma. Ao submetê-lo ao Pangram, o resultado indica uma probabilidade de 99,9% de que o texto tenha sido gerado por IA.

Ou talvez seja responsável pela integridade académica e um professor denuncie o trabalho de um aluno por plágio gerado por IA, mas o aluno e os pais insistam veementemente que foi o próprio aluno que o escreveu.

Ao ler o texto, percebe-se que tem todos os sinais reveladores de uma redação gerada por IA. «Na era tecnológica atual», começa o texto. O aluno explica que um autor «entrelaça os detalhes de forma intricada através de uma rica tapeçaria de perspetivas». O ensaio, gramaticalmente perfeito e com uma estrutura equilibrada, termina com a clássica frase «Em conclusão, ...» ou talvez «Em suma, ...»

No fundo, sabe que o seu aluno não escreveu o trabalho, mas simplesmente não consegue prová-lo. Quando as pessoas que está a tentar convencer dizem: «Os detetores de IA não funcionam e não são de confiança» ou «É impossível ter a certeza», o que faz?

Como já referimos anteriormente, uma detecção positiva por IA é apenas o ponto de partida do processo e nunca pode ser considerada isoladamente quando se ponderam medidas disciplinares contra um aluno. Embora confiemos na precisão do nosso produto, acreditamos também que se deve adotar uma abordagem holística quando o que está em jogo é importante, sendo necessário recolher mais provas após a pontuação da detecção por IA, a fim de provar, para além de qualquer dúvida razoável, que o trabalho de um aluno não é autêntico ou original.

Hoje, vamos abordar 7 estratégias para recolher provas adicionais para esses casos.

1. Recolher provas textuais mais detalhadas

A escrita gerada por IA nunca é «desmascarada» por uma frase ou escolha de palavra em particular: o Pangram toma a sua decisão com base na acumulação de muitos sinais fracos no texto. Da mesma forma, pode procurar muitos dos sinais presentes no texto gerado por IA e utilizá-los na sua totalidade para demonstrar que esses sinais não poderiam ter surgido por mero acaso. Deve primeiro procurar frases comuns da IA e verificar se estas aparecem com frequência. Em casos evidentes, a escrita gerada por IA contém tantas destas frases que é muito difícil argumentar que se trata de uma coincidência, como nas amostras abaixo.

Expressões e palavras comuns relacionadas com a IA

Pode consultar uma lista completa de termos e padrões de expressão frequentemente utilizados no domínio da IA no guia de Jenna Russell.

O Pangram também consegue identificar estas frases automaticamente, juntamente com a sua frequência. É importante compreender que nenhuma destas frases, por si só, constitui uma prova de que o texto foi gerado por IA, mas a presença de muitas delas em conjunto constitui uma evidência muito forte, uma vez que se torna extremamente improvável que todas estas frases tenham surgido por mero acaso.

Exemplo de análise da frequência de frases com IA

Para além do nível das palavras e frases individuais, também é possível procurar características de alto nível da escrita gerada por IA.

Guia para distinguir textos escritos por estudantes de textos gerados por IA

Este excelente guia de Amanda Clarke mostra algumas das diferenças de estilo e tom que se observam entre os textos escritos por estudantes e os textos gerados por IA. Para resumir o guia, alguns dos pontos mais importantes são:

• A escrita gerada por IA não costuma entrar em pormenores concretos, preferindo expressar-se em generalidades vagas. Se o fizer, pode inventar esses detalhes. As reflexões diretas dos alunos sobre o trabalho e as citações textuais específicas são características da escrita dos alunos que os chatbots de IA ainda não conseguem imitar.
• A escrita gerada por IA não irá refletir genuinamente sobre um tema na perspetiva de um aluno.
• A escrita gerada por IA utiliza uma gramática sempre perfeita e um tom fluido e neutro.

Vale também a pena referir que, quando a escrita autêntica de um aluno é misturada com texto gerado por IA, podem ocorrer frequentemente mudanças abruptas no tom e no estilo.

2. Recolher provas do processo

Quando um trabalho é escrito por um aluno, isso resulta de um processo de elaboração do documento: brainstorming, esboço, redação, revisão e correção. Quando um trabalho é plagiado a partir de IA generativa, muitas vezes é simplesmente copiado e colado.

Uma forma simples de verificar o processo de escrita de um aluno é pedir-lhe que apresente os seus materiais: peça-lhe as suas notas, os seus brainstorms e os seus esboços. Se se tratar de uma versão final, peça para ver o rascunho. Muitas vezes, isso é suficiente para comprovar o processo de escrita: os alunos honestos não têm receio de o demonstrar, enquanto os que fazem batota, muitas vezes, simplesmente não conseguem apresentar esses materiais.

Existem também ferramentas disponíveis para acompanhar o processo de escrita do aluno. Por exemplo, o Draftback é uma extensão do Chrome que permite rever o histórico de escrita do aluno no Google Docs. Conhecemos também o Brisk Teaching, a Cursive Technologies e a Visible AI. Quando utilizadas em conjunto com o Pangram, estas ferramentas podem revelar-se muito eficazes.

Exemplo de dados de repetição do Draftback

No registo do Draftback acima, é possível ver onde o aluno estava a editar o seu texto ou se houve uma grande operação de copiar e colar.

As ferramentas de processamento de texto, por si só, não devem ser consideradas provas irrefutáveis. Sabendo que os professores agora consultam o histórico de revisões para verificar a integridade académica, os alunos estão cientes de que a prática de copiar e colar os deixa vulneráveis. Alguns alunos limitam-se a transcrever os resultados do ChatGPT para o seu documento, fazendo parecer que foram eles próprios que o escreveram.

Pior ainda, existem agora ferramentas de software que falsificam o histórico de revisões, como esta extensão do Chrome chamada «Human Auto Typer».

Exemplo de uma extensão do Chrome chamada «Human Auto Typer»

É importante ter em conta que, embora possa ser útil analisar o processo de escrita e o histórico de revisões de um aluno, existem atualmente formas de os alunos contornarem estas verificações simples.

3. Verifique a validade da referência

A IA generativa costuma inventar referências, citar fontes de forma incorreta e cometer outros erros na atribuição de trabalhos que são fáceis de detectar. Quando os chatbots de IA não sabem quais as fontes que sustentam uma afirmação que fazem, na maioria das vezes, limitam-se a inventar uma referência fictícia. Veja o exemplo do Claude abaixo.

Exemplo de como o Claude inventa citações

Os erros de citação são frequentemente algumas das provas mais convincentes em casos de plágio, uma vez que a falsificação intencional de uma fonte de investigação constitui, por si só, uma violação da integridade académica. Muitas vezes, basta consultar a bibliografia ou a lista de obras citadas e verificar se as entradas correspondem a artigos reais. Se pesquisar no Google o primeiro artigo e este não for real, isso constitui uma prova extremamente forte de violação.

Mais uma vez, é preciso ter cuidado: as citações reais não garantem, com certeza, que o aluno não tenha recorrido à IA. Novas ferramentas, como o Deep Research e o Perplexity, citam, de facto, fontes corretas, e os chatbots estão a melhorar rapidamente no sentido de não inventarem fontes falsas.

4. Verificar se o aluno compreende o que escreveu

Uma das formas mais fáceis de verificar se o trabalho de um aluno é original ou falsificado é simplesmente fazer-lhe perguntas sobre o trabalho. Se o nível de redação do trabalho apresentado não corresponder ao nível de redação do aluno, pergunte-lhe sobre as partes mais complexas do texto. Por vezes, no caso de alunos mais jovens, basta perguntar-lhes sobre o significado de uma palavra complicada que o ChatGPT usa frequentemente, mas que os alunos desse nível nunca usam (como «axiomático»), para que o aluno admita que utilizou IA.

No âmbito universitário, onde se espera que os alunos apresentem ideias inovadoras e originais, poderá ser interessante fazer-lhes perguntas sobre como chegaram a essa ideia. Muitas vezes, isso pode dar origem a uma discussão sobre o processo de escrita, na qual poderá recolher informações sobre como o texto foi elaborado, tal como descrevemos no ponto 2.

É importante demonstrar empatia e criar um espaço seguro para a discussão. Uma conversa sobre integridade académica com os alunos pode ser bastante stressante, e o aluno pode assumir uma postura defensiva quando confrontado com as provas. A melhor forma de conduzir a conversa com o aluno é simplesmente chegar a um entendimento claro do que aconteceu, para que possa fazer o seu melhor para ajudar o aluno a ter sucesso no futuro. Dê ao aluno a oportunidade de corrigir os seus erros e explicar por que precisou de recorrer à IA em vez de fazer o trabalho por conta própria. Também encorajamos a abertura para o facto de que o uso da IA pode ter sido resultado de um mal-entendido, em vez de um ato intencional de má conduta. Escrevemos mais sobre como ter este tipo de conversas numa das nossas publicações anteriores no blogue.

5. Compare o trabalho com amostras anteriores do aluno

Especialmente no caso de alunos mais jovens ou em fase de desenvolvimento, a escrita gerada por IA está frequentemente muito acima do nível que seria de esperar da escrita de um aluno.

Recomendamos que consulte trabalhos escritos anteriormente pelo aluno. As universidades dispõem frequentemente de bases de dados centrais onde é possível aceder a trabalhos de outras disciplinas. Se o aluno for novo para si, não hesite em pedir ao professor anterior algumas amostras dos trabalhos escritos por esse aluno.

Uma melhoria repentina no nível de escrita, passando de um aluno que escreve mal para um aluno que escreve com ortografia e gramática perfeitas, é motivo de preocupação.

6. Compare o trabalho com a resposta do ChatGPT

O ChatGPT não costuma apresentar grande variação nos resultados. Quando se cola o mesmo prompt no ChatGPT duas vezes, ele não devolve exatamente o mesmo texto, mas, muitas vezes, apresenta semelhanças tão evidentes que dificilmente podem ser fruto do acaso.

Exemplo de comparação lado a lado com o ChatGPT

Com a funcionalidade «Side By Side» do Pangram, pode ver automaticamente a resposta do ChatGPT ao lado da sua resposta. Embora as frases não sejam exatamente iguais, destacamos e associamos as frases cujo significado é muito semelhante.

Outra tática consiste em gerar várias respostas com o ChatGPT e analisar a semelhança entre elas. Se a resposta em questão não for facilmente distinguível das demais, é provável que também tenha sido gerada por IA.

É útil conhecer o tema do trabalho: assim, pode usar o próprio tema diretamente como prompt para o ChatGPT. Mas, se o tema for desconhecido, ainda assim é possível criar um prompt razoável. Tente definir um prompt que seja suficientemente específico para produzir um ensaio semelhante ao que está a analisar, mas não tão específico a ponto de torná-lo exatamente igual apenas por meio de cópia. O próprio ChatGPT pode ser um recurso útil para isso: cole o ensaio no ChatGPT e pergunte quais são as ideias principais, os tópicos e as questões abordadas no texto; experimente várias sugestões para ver o que produz ensaios semanticamente semelhantes, para que possa verificar se correspondem em termos de estilo.

7. Recolher mais opiniões

De acordo com Russell et al., numa investigação da Universidade de Maryland que já abordámos anteriormente, os especialistas conseguem atingir uma precisão de 92,7% ao determinar se um texto foi ou não gerado por IA. No entanto, um painel de 5 especialistas, quando se considera o voto da maioria, pode atingir uma precisão quase perfeita (nos 300 textos que os investigadores analisaram, a maioria apresentou uma precisão de 100%).

Recomendamos que forme os seus colegas do departamento ou da escola sobre como identificar, à primeira vista, textos gerados por IA, para que possa contar com várias opiniões em casos mais complexos. Debater alguns dos diferentes indícios que cada avaliador identifica é uma excelente forma de ganhar mais confiança na avaliação da autenticidade de um texto.

Além disso, tal como em todos os casos de natureza jurídica, as pessoas podem ter preconceitos, conscientes ou inconscientes, na tomada de decisões, por motivos que escapam ao controlo do aluno. Recorrer a um painel composto por várias pessoas para determinar se um aluno violou ou não a integridade académica pode não só ajudar a garantir uma maior precisão, como, em última análise, também deve contribuir para que o processo seja mais justo.

A importância de provas adicionais nos processos relativos à IA

Nesta publicação do blogue, analisámos várias formas de ir além da pontuação e utilizar o Pangram e outras ferramentas para o ajudar a reunir provas para o seu caso, quer se trate de uma utilização indevida da IA, quer da defesa de um aluno acusado de fazer batota com IA e que, na realidade, é inocente.

Nenhuma prova isolada é absolutamente infalível para determinar o desfecho do caso, mas quanto mais provas conseguir recolher e reunir, mais justo e defensável poderá ser o seu processo de integridade académica.