O que fazer quando um trabalho enviado por um aluno é sinalizado como AI

Está a corrigir trabalhos, lendo-os um por um, até que um deles chama a sua atenção. Não consegue identificar exatamente o que é, mas não parece ter sido escrito pelo seu aluno. Parece ter sido escrito por IA. Então, coloca-o no Pangram e obtém um resultado. 99% IA. O que faz com isso?

Compreender o que isso significa

Um detetor de IA como o Pangram é treinado para identificar sinais de que o texto foi escrito por IA. Se um segmento de texto obtiver uma pontuação de 99% de IA, isso não significa necessariamente que achamos que todo o texto foi gerado por IA. Em vez disso, temos 99% de certeza de que a IA foi usada para gerar parte do texto.

Em documentos mais longos, dividimos o texto em segmentos. Assim, pode navegar pelos segmentos para ver se todos eles têm uma alta confiança de IA ou se é apenas uma secção do texto.

Converse com o seu aluno

Eu sempre recomendo a simples ação de conversar com o seu aluno.

Pode perguntar sobre o processo de escrita deles para tentar perceber o quanto conhecem o próprio trabalho. Ou pode simplesmente perguntar se usaram IA. Eles podem admitir que estavam sobrecarregados e tiveram de escolher um trabalho para facilitar as coisas. Ou escreveram um primeiro rascunho e não ficaram satisfeitos com o resultado, então pediram ao ChatGPT para melhorá-lo.

Esta é uma ótima oportunidade para discutir o que é e o que não é uma violação da integridade académica. Pode lembrar ao seu aluno como ele deve lidar com uma questão como esta no futuro. Ele deve pedir uma prorrogação? Ou simplesmente entregar aquele rascunho ruim feito antes da IA?

Você também pode indicar ao aluno ferramentas de IA adequadas para escolas e que ajudam a promover a aprendizagem, em vez de usar atalhos.

Verifique se há mal-entendidos

Às vezes, há uma discrepância entre o que um professor considera trapaça, o que um aluno considera trapaça e o que aciona um detector de IA. Aqui estão algumas maneiras comuns de usar a IA que podem acionar a deteção de IA.

• Corretores gramaticais como o Grammarly, que incorporam assistência de IA no processo de escrita
• Ferramentas de tradução: geralmente são desenvolvidas com base em LLMs
• Detetar funcionalidades de IA do Google Docs, como «Ajude-me a escrever»
• Conversar com o ChatGPT para brainstorming e pesquisa, e reutilizar frases escritas pela IA
• Usando o ChatGPT para obter conselhos sobre redação

Recomendamos usar uma política de IA como este sistema de níveis para garantir que alunos e professores estejam em sintonia quanto às ferramentas auxiliares permitidas. Isso evita mal-entendidos em que um professor permite o uso do Grammarly, sem perceber que o Grammarly agora é um assistente de escrita totalmente baseado em IA, mas também usa um detector de IA que sinalizaria qualquer aluno que usasse os recursos de IA do Grammarly.

Veja os artefactos do processo de escrita

Digamos que o seu aluno admitiu ter usado algumas frases do ChatGPT. Ou talvez ele alegue que o seu caso é um falso positivo raro. O melhor passo seguinte para limpar o seu nome e confirmar que ele fez o trabalho é examinar os artefactos do processo de escrita. Que pesquisa ele fez para esta tarefa e tomou notas? Ele tem rascunhos iniciais guardados?

Se eles trabalharam no Google Docs, selecione Ficheiro -> Histórico de versões -> Ver histórico de versões para ver um histórico completo do processo de escrita. Ficará claro se eles apenas copiaram do ChatGPT e colaram no ficheiro ou se digitaram tudo de uma vez, do início ao fim (um sinal de que tiveram ajuda da IA, mas queriam fingir o processo de escrita). Se tiverem um histórico de escrita robusto de várias horas, isso é uma prova muito convincente de que escreveram o trabalho sozinhos.

Considere o que está em jogo

Derek Newton, autor do boletim informativo sobre integridade académica The Cheat Sheet, costuma comparar os detetores de IA a detetores de metais. Quando você passa por um detetor de metais e ele dispara, você não é imediatamente preso e enviado para a prisão. Em vez disso, eles investigam mais a fundo. Você realmente tentou passar uma arma pela segurança ou a fivela do seu cinto é feita de metal? Da mesma forma, acreditamos que a detecção por IA é uma ótima maneira de sinalizar tarefas, mas a detecção justifica uma investigação mais aprofundada antes de qualquer medida punitiva. Uma taxa de falsos positivos diferente de zero significa que qualquer detecção positiva pode ser real ou pode ser uma situação estatisticamente anómala de uma em dez mil em que o Pangram se engana.

Se o aluno tiver provas do seu processo de escrita, eu estaria inclinado a acreditar nele. Na pior das hipóteses, ele aprenderá a lição de não usar a assistência da IA, nem mesmo de forma superficial.

Se o aluno tiver um histórico de trabalhos detectados pela IA, isso também deve ser considerado. Ele pode receber o benefício da dúvida uma vez, mas quanto mais vezes isso acontecer, mais claro ficará que há um problema.

Esperamos que este guia seja útil para quem está a lidar com as nuances do plágio por IA. É uma situação difícil, e é por isso que é importante que os professores tenham as ferramentas de IA e as informações necessárias para lidar com um caso como este quando ele surgir.