Verificadores de ensaios, IA e plágio

O que é um verificador de ensaios?

No passado, o termo «verificador de ensaios» era utilizado para designar ferramentas que analisavam um texto à procura de erros ortográficos, gramaticais e de vocabulário. Estas ferramentas também podiam ser utilizadas para verificar problemas com as citações, como se pode ver no Recite. O Turnitin, uma ferramenta educativa popular, tem sido uma grande ajuda na deteção de plágio.

Atualmente, o boom da IA levou os educadores a considerarem a utilização de ferramentas que detetam conteúdos gerados por IA.

Os verificadores de trabalhos académicos baseados em IA são precisos?

As elevadas taxas de falsos positivos (FPR) constituem uma grande preocupação para os educadores. Apresentar uma acusação de desonestidade académica pode ser arriscado, uma vez que fazer essa acusação com base num falso positivo pode prejudicar a relação entre professor e aluno.

No entanto, o FPR de 0,01% do Pangram torna-o um detetor fiável para utilização no ensino superior. Esta conclusão foi também corroborada por entidades independentes, que consideram que o Pangram é o detetor de IA mais preciso disponível no mercado.

Verificador de ensaios com IA vs. Verificador de plágio

Um verificador de ensaios com IA identifica a utilização de IA num determinado texto. Os verificadores de plágio determinam a utilização de material externo num texto.

O Pangram é uma ferramenta comercial capaz de detetar tanto conteúdos gerados por IA como plagiados. O Pangram considera ambos como casos distintos ao analisar o texto.

A IA pode plagiar o trabalho humano?

Um verificador de plágio compara um texto com textos já existentes para identificar semelhanças. Um verificador de textos baseado em IA analisa um texto à procura de padrões linguísticos semelhantes aos dos modelos de IA atuais.

Os modelos de linguagem de grande escala (LLMs), como o ChatGPT, geram texto utilizando grandes conjuntos de dados e são conhecidos por plagiar a partir desses dados. Num artigo da autoria de Amy B. Cyphert, professora associada da Faculdade de Direito da Universidade de West Virginia, observa-se que:

«Os estudos sugerem que, quanto mais frequentemente um conjunto de dados incluir material protegido por direitos de autor, maior será a probabilidade de um LLM produzir um resultado que inclua texto inalterado dessa obra.»

A memorização ocorre quando um LLM reproduz frases do texto do conjunto de treino. Quer seja intencionalmente ou não, os LLMs podem ser levados a reproduzir, em grande parte, o trabalho de terceiros. Isto significa que o resultado final da solicitação pode ser plagiado, parcial ou totalmente.

Embora os investigadores continuem a debater uma definição mais matizada de plágio, as políticas de integridade académica das universidades estabelecem que o plágio consiste na utilização do trabalho de outra pessoa sem lhe atribuir o devido crédito. A Universidade de Michigan refere que o plágio pode ser intencional ou não intencional. A Universidade de Oxford enumera várias formas de plágio, incluindo citações textuais não referenciadas, cópia e colagem da Internet, parafraseamento, conluio, omissão de referência à ajuda recebida, etc.

Assim, numa instituição académica:

Quando um aluno entrega um trabalho gerado por IA, pode estar a entregar também um trabalho plagiado escrito por humanos!

Os seres humanos podem plagiar trabalhos gerados por IA?

Segundo alguns critérios, talvez!

Quando um aluno entrega um trabalho gerado por IA sem citar a fonte, está a cometer uma falta de honestidade académica. A política da Universidade do Sul da Flórida estabelece:

«Uma vez que os chatbots de IA e outras ferramentas de IA generativa criam novos textos e imagens em resposta a prompts, a utilização de material proveniente da IA generativa poderia ser considerada mais como uma forma de escrita fantasma do que como plágio.»

O Comité de Ética em Publicações salienta que a IA não pode ser considerada autora de um artigo de investigação, uma vez que «as ferramentas de IA não cumprem os requisitos de autoria, dado que não podem assumir a responsabilidade pelo trabalho submetido. Por não serem entidades jurídicas, não podem declarar a existência ou a ausência de conflitos de interesses, nem gerir acordos de direitos de autor e de licença.»

Algumas instituições académicas consideram que a utilização de conteúdos gerados por IA constitui, sem dúvida, plágio:

«O plágio é o ato de apresentar como próprias ideias, investigações ou textos que não são da sua autoria. Exemplos de plágio incluem: copiar palavras ou imagens de outra pessoa ou de uma ferramenta de IA sem utilizar aspas nem citações que atribuam as palavras à sua fonte. - City University of New York»

«O plágio ocorre quando se pegam nas ideias de outra pessoa e se apresentam como se fossem próprias, mesmo que sem intenção. Se estiver a usar IA para resumir uma ideia ou escrever o seu trabalho, este não é 100 % da sua autoria.» - Universidade de Ohio

E, noutros casos, recai sobre os educadores a responsabilidade de elaborar políticas em matéria de IA, tais como:

«Orientações claras para cada disciplina ou trabalho permitem que os alunos se concentrem nos objetivos de aprendizagem que pretende que alcancem. Como os alunos muitas vezes não têm a certeza de quando ou se podem utilizar IA generativa, as diretrizes podem ser mais úteis quando são adaptadas à sua disciplina e aos seus trabalhos específicos, uma vez que algumas utilizações da IA podem apoiar a aprendizagem dos alunos, mas outras podem interromper processos importantes que os alunos precisam de realizar por conta própria.» - UPenn

«A criação de políticas claras sobre a utilização da IA é essencial para manter a integridade académica e definir as expectativas dos estudantes. Estas políticas devem definir quando e como podem ser utilizadas ferramentas de IA como o ChatGPT, o Perplexity.ai ou o Grammarly, e garantir que os estudantes compreendem as implicações éticas da IA no trabalho académico.» - NYU

A partir desta pequena amostra de políticas universitárias, podemos compreender as diferentes formas como as instituições encaram a utilização da IA e o plágio. Embora a IA seja uma ferramenta e não um autor, apresentar trabalhos gerados por IA sem indicar a fonte é desonesto. Os docentes devem definir expectativas claras para os seus alunos. Para saber mais sobre políticas de curso aplicáveis, o professor Christopher Ostro apresentou uma abordagem matizada para lidar com a fraude através da IA.

A Pangram adota uma abordagem favorável à transparência no que diz respeito à utilização da IA e de conteúdos externos, especialmente no meio académico. Se estiver interessado no nosso modelo, experimente gratuitamente os nossos verificadores de IA e de detecção de plágio da Pangram!