Como recolher provas para um caso de integridade académica relacionado com IA

Gostaríamos de agradecer a Marilyn Derby, diretora associada de Apoio ao Aluno e Assuntos Judiciais da UC Davis, pela sua contribuição para as ideias apresentadas neste artigo e por alguns dos recursos visuais utilizados nesta publicação. Também gostaríamos de agradecer a Amanda Clarke, diretora do departamento de Inglês da Viewpoint School, na Califórnia, pela sua excelente referência sobre como distinguir as características da escrita dos alunos da escrita da IA.

Talvez tenha recebido um ensaio e tenha a sensação de que o texto não pertence a um aluno da sua turma. Você o submete ao Pangram, e ele responde com 99,9% de confiança que o texto foi gerado por IA.

Ou talvez seja um responsável pela integridade académica e um professor denuncie o trabalho de um aluno por plágio gerado por IA, mas o aluno e os pais insistem veementemente que o aluno escreveu o trabalho sozinho.

Você lê o texto e ele tem todos os sinais reveladores de uma redação escrita por IA. «Na era tecnológica atual», começa o texto. O aluno explica que um autor «tece os detalhes de forma intricada através de uma rica tapeçaria de perspetivas». A redação, gramaticalmente perfeita e com estrutura uniforme, termina com a frase clássica «Em conclusão...» ou talvez «No geral...».

No fundo, sabe que o seu aluno não escreveu o trabalho, mas não consegue prová-lo. Quando as pessoas que está a tentar convencer dizem: «Os detetores de IA não funcionam e não são fiáveis» ou «É impossível ter a certeza», o que faz?

Como já discutimos anteriormente, uma detecção positiva de IA é apenas o início da conversa e nunca pode ser considerada isoladamente quando se está a ponderar uma ação punitiva contra um aluno. Embora confiemos na precisão do nosso produto, também acreditamos que uma abordagem holística deve ser utilizada quando os riscos são elevados e mais evidências precisam ser recolhidas após a pontuação de detecção de IA, a fim de provar, além de qualquer dúvida razoável, que o trabalho de um aluno não é autêntico ou original.

Hoje, discutiremos 7 estratégias para recolher provas adicionais para esses casos.

1. Acumule evidências textuais mais detalhadas

A escrita gerada por IA nunca é «revelada» por uma frase ou escolha de palavras em particular: o Pangram toma a sua decisão com base na acumulação de muitos sinais fracos no texto. Da mesma forma, pode procurar muitos dos sinais presentes no texto gerado por IA e usá-los em sua totalidade para demonstrar que os sinais de IA não poderiam ter surgido por acaso. Deve primeiro procurar frases comuns da IA e ver se elas aparecem com frequência. Em casos claros, a escrita gerada por IA contém tantas dessas frases que é muito difícil argumentar que são uma coincidência, como nos exemplos abaixo.

Frases e palavras comuns em IA

Pode ver uma lista abrangente de palavras e padrões de expressões comuns em IA no guia de Jenna Russell.

O Pangram também pode extrair essas frases automaticamente, juntamente com as suas frequências. É importante compreender que nenhuma dessas frases é prova de que o texto foi gerado por IA, mas muitas dessas frases em combinação são uma evidência muito forte, pois torna-se extremamente improvável que todas essas frases tenham aparecido por coincidência.

Exemplo de análise de frequência de frases por IA

Além do nível de palavras e frases individuais, também é possível procurar características de alto nível da escrita de IA.

Guia para distinguir textos escritos por estudantes de textos escritos por IA

Este excelente guia de Amanda Clarke mostra algumas das diferenças de estilo e tom presentes na escrita dos alunos em comparação com a escrita gerada por IA. Para resumir o guia, alguns dos pontos mais importantes são:

• A escrita da IA não gosta de entrar em evidências específicas, preferindo falar em generalidades vagas. Se o fizer, pode alucinar esses detalhes. Reflexões diretas dos alunos sobre o trabalho e citações textuais específicas são características da escrita dos alunos que os chatbots de IA ainda não conseguem imitar.
• A escrita por IA não refletirá genuinamente sobre um tema da perspetiva de um aluno.
• A escrita com IA utiliza uma gramática sempre perfeita e um tom neutro e suave.

Também vale a pena notar que, quando a escrita autêntica de um aluno é misturada com a escrita gerada por IA, muitas vezes podem ocorrer mudanças abruptas no tom e no estilo.

2. Recolher provas do processo

Quando um trabalho é escrito por um aluno, isso acontece como resultado de um processo de redação do documento: brainstorming, esboço, rascunho, revisão e correção. Quando um trabalho é plagiado de uma IA generativa, muitas vezes é apenas copiado e colado.

Uma maneira simples de verificar o processo de escrita de um aluno é simplesmente pedir-lhe os artefactos: peça-lhe as suas notas, os seus brainstorms e os seus esboços. Se for um rascunho final, peça para ver o rascunho preliminar. Muitas vezes, isso é suficiente para ver a prova do processo de escrita: alunos inocentes não têm medo de provar isso, e alunos que trapaceiam muitas vezes simplesmente não conseguem produzir esses artefactos.

Existem também ferramentas disponíveis para verificar o processo de escrita do aluno. Por exemplo, o Draftback é uma extensão do Chrome que pode ser usada para reproduzir o histórico de escrita do aluno no Google Docs. Também conhecemos o Brisk Teaching, o Cursive Technologies e o Visible AI. Quando usados em combinação com o Pangram, esses podem ser ferramentas poderosas.

Exemplo de dados de repetição do Draftback

No rastreamento do Draftback acima, é possível ver onde o aluno estava a editar o seu texto ou se houve uma grande cópia e colagem.

As ferramentas de processo de escrita, por si só, não devem ser vistas como provas irrefutáveis. Sabendo que os professores agora verificam o histórico de revisões para verificar a integridade académica, os alunos estão cientes do facto de que copiar e colar os torna vulneráveis. Alguns alunos simplesmente transcrevem os resultados do ChatGPT para os seus documentos, fazendo parecer que foram eles próprios que os escreveram.

Pior ainda, agora existem ferramentas de software que falsificam o histórico de revisões, como esta extensão do Chrome chamada «Human Auto Typer».

Exemplo de uma extensão do Chrome chamada «Human Auto Typer»

Esteja ciente de que, embora possa ser útil examinar o processo de escrita e o histórico de revisões de um aluno, atualmente existem maneiras de os alunos contornarem essas verificações simples.

3. Verifique a validade da citação

A IA generativa frequentemente inventa citações, cita fontes incorretamente e comete outros erros na atribuição de trabalhos que são fáceis de detectar. Quando os chatbots de IA não sabem quais fontes comprovam uma afirmação que fazem, na maioria das vezes, eles simplesmente inventam uma citação fictícia. Veja o exemplo de Claude abaixo.

Exemplo de Claude inventando citações

Erros de citação são frequentemente algumas das evidências mais convincentes em casos de IA, porque a falsificação intencional de uma fonte de pesquisa é, por si só, uma violação da integridade académica. Muitas vezes, basta olhar para a bibliografia ou as obras citadas e verificar se as entradas representam artigos reais. Se pesquisar o primeiro artigo no Google e ele não for um artigo real, isso é uma evidência incrivelmente forte de uma violação.

Mais uma vez, é preciso ter cuidado: citações reais não indicam com certeza que o aluno não utilizou IA. Novas ferramentas, como Deep Research e Perplexity, realmente citam fontes corretas, e os chatbots estão a melhorar rapidamente para não criar fontes falsas.

4. Confirme se o aluno compreende a sua própria escrita.

Uma das maneiras mais fáceis de verificar se o trabalho de um aluno é original ou falsificado é simplesmente fazer perguntas sobre o trabalho. Se o nível de escrita do trabalho apresentado não corresponder ao nível de escrita do aluno, pergunte-lhe sobre as partes mais complexas do texto. Às vezes, para alunos mais jovens, basta perguntar sobre o significado de uma palavra complicada que o ChatGPT usa com frequência, mas que alunos desse nível nunca usam (como «axiomático»), para que o aluno admita que usou IA.

No nível universitário, onde se espera que os alunos apresentem ideias novas e originais, pode ser interessante fazer perguntas sobre como eles chegaram a essa ideia. Muitas vezes, isso pode levar a uma discussão sobre o processo de escrita, onde pode recolher informações sobre como o texto foi elaborado, conforme descrito no ponto 2.

É importante ter empatia e criar um espaço seguro para discussão. Uma discussão sobre integridade académica com os alunos pode ser muito estressante, e o aluno pode ficar na defensiva quando confrontado com as evidências. A melhor maneira de conduzir a conversa com o aluno é simplesmente chegar a um entendimento significativo do que aconteceu, para que você possa fazer o seu melhor para ajudar o aluno a ter sucesso no futuro. Dê ao aluno a oportunidade de corrigir os seus erros e explicar por que precisou recorrer ao uso da IA em vez de fazer a tarefa por conta própria. Também incentivamos a abertura ao facto de que o uso da IA pode ter sido o resultado de um mal-entendido, e não um ato intencional de má conduta. Escrevemos mais sobre como ter esse tipo de conversa em uma das nossas publicações anteriores no blog.

5. Compare o trabalho com amostras anteriores do aluno.

Particularmente aplicável a alunos mais jovens ou em desenvolvimento, a escrita com IA está frequentemente significativamente à frente do nível de escrita que se poderia esperar da escrita de um aluno.

Recomendamos consultar exemplos de trabalhos anteriores do aluno. As universidades costumam ter bases de dados centrais onde é possível consultar trabalhos de outras turmas. Se o aluno for novo para si, sinta-se à vontade para pedir ao professor anterior alguns exemplos de trabalhos escritos por ele.

Um salto repentino no nível de escrita de um aluno que escreve mal para um aluno que escreve com ortografia e gramática perfeitas é motivo de preocupação.

6. Compare o trabalho com a resposta do ChatGPT

O ChatGPT não costuma apresentar muita variação nos seus resultados. Quando se cola o mesmo prompt duas vezes no ChatGPT, ele não retorna exatamente o mesmo texto, mas muitas vezes apresenta semelhanças muito próximas que são difíceis de serem coincidência.

Exemplo de comparação lado a lado com o ChatGPT

Usando o recurso Side By Side do Pangram, pode ver automaticamente a submissão ao lado da submissão do ChatGPT. Embora as frases não sejam exatamente iguais, destacamos e associamos frases que são muito semelhantes em significado.

Outra tática é gerar várias respostas do ChatGPT e observar a semelhança. Se a resposta enviada não puder ser facilmente identificada entre as outras, então é provável que também seja AI.

É útil conhecer a tarefa: assim, pode usar a tarefa diretamente como prompt para o ChatGPT. Mas, se a tarefa for desconhecida, ainda é possível criar um prompt razoável. Tente descobrir um prompt que seja específico o suficiente para produzir um ensaio semelhante ao que está a procurar, mas não tão específico a ponto de torná-lo exatamente igual apenas copiando. Usar o próprio ChatGPT pode ser um recurso útil para isso: cole o ensaio no ChatGPT e pergunte quais são as ideias principais, os tópicos e as questões abordadas no trabalho, e tente várias sugestões para ver o que produz ensaios semanticamente semelhantes, para que possa verificar se eles correspondem em termos de estilo.

7. Recolha mais opiniões

De acordo com Russell et. al., pesquisa da Universidade de Maryland que discutimos anteriormente, os especialistas podem ter 92,7% de precisão ao determinar se um texto foi ou não gerado por IA. No entanto, um conselho de 5 especialistas, ao analisar a votação da maioria, pode ser quase perfeito (nos 300 textos que os investigadores estudaram, a maioria foi perfeitamente 100% precisa).

Recomendamos que treine outras pessoas do seu departamento ou escola sobre como detectar textos gerados por IA a olho nu, para que possa obter várias opiniões quando houver casos difíceis. Discutir alguns dos diferentes sinais que cada avaliador individual percebe é uma ótima maneira de ganhar mais confiança na avaliação da autenticidade de um texto.

Além disso, como em todos os casos relacionados com questões jurídicas, os indivíduos podem ter preconceitos subconscientes ou conscientes nas suas decisões por motivos que estão fora do controlo do aluno. Recorrer a um painel composto por várias pessoas para determinar se um aluno violou ou não a integridade académica pode não só ajudá-lo a ser mais preciso, mas, no final das contas, também deve ajudar a tornar o seu processo mais justo.

A importância de provas adicionais em casos de IA

Nesta publicação do blogue, analisámos várias maneiras de ir além da pontuação e usar o Pangram e outras ferramentas para ajudar a reunir provas para o seu caso, seja contra o uso indevido da IA, seja para proteger um aluno acusado de trapaça com IA e que, na verdade, é inocente.

Nenhuma prova isolada é absolutamente infalível para determinar o resultado do caso, mas quanto mais provas você conseguir recolher e acumular, mais justo e defensável será o seu processo de integridade académica.