O que fazer quando um trabalho de um aluno é sinalizado como sendo de IA

Está a corrigir trabalhos, lendo-os um a um, até que um deles lhe chama a atenção. Não consegue identificar exatamente o que é, mas não parece ter sido escrito pelo seu aluno. Parece ter sido escrito por IA. Então, introduz o texto no Pangram e obtém um resultado: 99 % de IA. O que faz com essa informação?

Compreender o que isso significa

Um detetor de IA como o Pangram é treinado para identificar sinais de que um texto foi escrito por IA. Se um trecho de texto obtiver uma pontuação de 99% de IA, isso não significa necessariamente que consideremos que todo o texto tenha sido gerado por IA. Em vez disso, estamos 99% confiantes de que a IA foi utilizada para gerar uma parte do texto.

Em documentos mais longos, dividimos o texto em segmentos. Assim, pode percorrer os segmentos para verificar se todos apresentam um elevado nível de confiança da IA ou se isso se verifica apenas numa secção do texto.

Fale com o seu aluno

Recomendo sempre o simples gesto de conversar com o seu aluno.

Pode perguntar-lhes sobre o processo de escrita para tentar perceber até que ponto conhecem o seu próprio trabalho. Ou pode simplesmente perguntar se utilizaram IA. É possível que o admitam – talvez estivessem sobrecarregados e tivessem de escolher um trabalho para o qual pudessem tomar um atalho. Ou talvez tenham escrito um primeiro rascunho e não tenham ficado satisfeitos com o resultado, pelo que pediram ao ChatGPT para o melhorar.

Esta é uma excelente oportunidade para discutir o que constitui e o que não constitui uma violação da integridade académica. Pode lembrar ao seu aluno como deve lidar com uma situação como esta no futuro. Deverá pedir um adiamento? Ou simplesmente entregar esse primeiro rascunho mal feito antes da IA?

Também pode indicar ao aluno ferramentas de IA adequadas para o contexto escolar e que ajudem a promover a aprendizagem, em vez de recorrer a atalhos.

Verifique se há mal-entendidos

Por vezes, há uma discrepância entre o que um professor considera batota, o que um aluno considera batota e o que faz com que um detetor de IA seja acionado. Aqui estão algumas formas comuns de utilizar a IA que podem acionar a deteção por IA.

• Verificadores gramaticais como o Grammarly, que incorporam assistência por IA no processo de escrita
• Ferramentas de tradução: estas são frequentemente desenvolvidas com base em modelos de linguagem de grande escala (LLMs)
• Detetar funcionalidades de IA do Google Docs, como «Ajuda-me a escrever»
• Conversar com o ChatGPT para trocar ideias e fazer pesquisa, e reutilizar frases escritas pela IA
• Utilizar o ChatGPT para obter conselhos sobre a redação

Recomendamos a utilização de uma política de IA, como este sistema de níveis, para garantir que alunos e professores estejam em sintonia quanto às ferramentas de apoio permitidas. Isto evita mal-entendidos em que um professor autoriza o uso do Grammarly, sem se aperceber de que este é agora um assistente de escrita totalmente baseado em IA, mas também utiliza um detetor de IA que assinalaria qualquer aluno que utilizasse as funcionalidades de IA do Grammarly.

Analise os resultados do processo de escrita

Suponha que o seu aluno admita ter utilizado algumas formulações do ChatGPT. Ou talvez alegue que o seu caso é um falso positivo raro. O melhor passo a seguir para o ilibar e confirmar que foi ele quem fez o trabalho é analisar os registos do processo de escrita. Que pesquisa fez para este trabalho e tomou notas? Tem rascunhos iniciais guardados?

Se tiverem trabalhado no Google Docs, selecione Ficheiro -> Histórico de versões -> Ver histórico de versões para ver o histórico completo do processo de escrita. Ficará claro se simplesmente copiaram do ChatGPT e colaram no ficheiro ou se escreveram de uma só vez, do início ao fim (um indício de que tiveram ajuda da IA, mas quiseram simular o processo de escrita). Se tiverem um histórico de escrita robusto com várias horas, então isso é uma prova muito convincente de que escreveram o trabalho eles próprios.

Considere o que está em jogo

Derek Newton, autor do boletim informativo sobre integridade académica «The Cheat Sheet», costuma comparar os detectores de IA aos detectores de metais. Quando se passa por um detector de metais e este dispara, não se é imediatamente detido e enviado para a prisão. Em vez disso, investiga-se mais a fundo. Tentaste realmente passar uma arma pela segurança ou a fivela do teu cinto é apenas de metal? Da mesma forma, acreditamos que a deteção por IA é uma excelente forma de sinalizar trabalhos, mas a deteção justifica uma investigação mais aprofundada antes de quaisquer medidas punitivas. Uma taxa de falsos positivos diferente de zero significa que qualquer deteção positiva pode ser real, ou pode ser aquela situação estatisticamente anómala de uma em dez mil em que o Pangram se engana.

Se o aluno tiver provas do seu processo de redação, eu estaria inclinado a acreditar nele. Na pior das hipóteses, ele aprende a lição de não recorrer à ajuda da IA, nem mesmo de forma superficial.

Se o aluno tiver um historial de trabalhos detetados pela IA, isso também deve ser tido em conta. Pode ser-lhe concedido o benefício da dúvida uma vez, mas quanto mais vezes isso acontecer, mais evidente se torna que existe um problema.

Esperamos que este guia seja útil para quem se depara com as complexidades do plágio gerado por IA. Trata-se de uma situação difícil, e é por isso que é importante que os professores disponham das ferramentas de IA e da informação necessárias para lidar com um caso como este, caso venha a ocorrer.