Como funciona a deteção por IA?

Pontos principais:

1. Os LLMs apresentam determinados padrões que permitem que várias ferramentas de deteção de IA identifiquem se o texto foi gerado por um ser humano ou por IA.
2. Os detectores antigos baseavam-se na irregularidade e na perplexidade, mas estes parâmetros não são fiáveis. Os novos detectores funcionam muito melhor e baseiam-se em conjuntos de dados mais vastos e na aprendizagem ativa.
3. Ao escolher um detector, os utilizadores devem definir quais as taxas de falsos positivos e falsos negativos com as quais se sentem confortáveis. Devem também determinar se necessitam de um verificador de plágio ou de outras funcionalidades antes de selecionar uma ferramenta.
4. As pessoas que não receberam formação em deteção de IA não têm grande jeito para isso. No entanto, aquelas que receberam formação ou que estão habitualmente expostas a textos gerados por IA conseguem identificar conteúdos de IA melhor do que alguém sem formação. Esta deteção, combinada com software, pode funcionar muito bem.

O que são detectores de IA?

É possível detectar a IA. Não se trata de magia negra, mas sim de algo que tem muita investigação por trás. Numa era em que o conteúdo gerado por IA é cada vez mais prevalente no meio académico, nos meios de comunicação social e no mundo dos negócios, a capacidade de distinguir entre texto escrito por humanos e por máquinas é uma competência essencial. A IA faz escolhas linguísticas, estilísticas e semânticas que podem ser detetadas por um olho treinado ou por software de deteção automatizada suficientemente bom. Isto porque conseguimos compreender por que razão a IA se expressa da forma como o faz e quais são os padrões que podemos utilizar para a identificar.

Como funcionam os grandes modelos de linguagem?

Antes de falarmos sobre como funciona o software de deteção de IA, é importante compreender que os modelos de inteligência artificial são distribuições de probabilidade. Um Modelo de Linguagem de Grande Dimensão (LLM), como o ChatGPT, é uma versão extremamente complexa disso, prevendo constantemente a próxima palavra ou «token» mais provável numa sequência. Estas distribuições de probabilidade são aprendidas a partir de uma quantidade enorme de dados, abrangendo frequentemente uma parte significativa da Internet pública.

Uma pergunta que se ouve frequentemente é: «Os modelos linguísticos de IA correspondem à média de tudo o que os humanos escrevem?» A resposta é claramente não. Os modelos linguísticos não se limitam a calcular a média do que todos os humanos dizem. Para começar, os modelos linguísticos fazem escolhas altamente idiossincráticas. Além disso, apresentam um forte viés devido aos conjuntos de dados de treino e aos preconceitos dos seus criadores. Por fim, os LLMs modernos são otimizados para seguir instruções e dizer o que os utilizadores querem ouvir, em vez de se preocuparem com a correção ou a precisão, uma característica que os torna assistentes úteis, mas fontes de verdade pouco fiáveis.

Isto deve-se ao moderno processo de treino de modelos de linguagem de grande escala (LLM), que se divide em três fases:

1. Pré-treino: Durante esta fase do treino, o modelo aprende os padrões estatísticos da linguagem. Os preconceitos presentes nos dados de treino refletem-se nestes padrões. Por exemplo, dados que aparecem frequentemente na Internet, como a Wikipédia, estão sobrerrepresentados, razão pela qual o texto gerado por IA tem frequentemente um tom formal e enciclopédico. Além disso, recorre-se a mão de obra barata e subcontratada para criar dados de treino, o que explica por que palavras como «delve», «tapestry» e «intricate» se tornam extremamente comuns no texto gerado por IA, refletindo as normas linguísticas dos criadores dos dados em vez das do utilizador final.
2. Ajuste de instruções: Durante esta fase, o modelo aprende a seguir instruções e a obedecer a ordens. A consequência é que o modelo aprende que é melhor seguir instruções do que apresentar informações precisas e corretas. Isto resulta num comportamento bajulador ou de «agradar às pessoas», em que a IA dá prioridade à geração de uma resposta útil e que soe agradável, mesmo que tenha de inventar factos ou «alucinar» para o fazer. Para eles, é mais importante agradar às pessoas do que apresentar a informação correta.
3. Alinhamento: Durante esta fase, o modelo aprende a dizer o que as pessoas gostam e preferem. Aprende o que são coisas «boas» e «más» para dizer. No entanto, estes dados de preferência podem ser extremamente tendenciosos, favorecendo frequentemente respostas neutras, seguras e inofensivas. Este processo pode privar o modelo de uma voz distinta, levando-o a evitar controvérsias ou opiniões fortes. O LLM não tem qualquer base subjacente na verdade ou na correção.

Os modelos de IA generativa são produtos, lançados por empresas de tecnologia, que incorporam intencionalmente preconceitos e comportamentos que se refletem nos seus resultados.

Quais são os padrões na linguagem da IA?

Depois de compreender como os LLMs são treinados, é possível identificar os «sinais reveladores» das ferramentas de escrita baseadas em IA. Muitas vezes, não é um único indício decisivo, mas sim uma combinação de todas estas palavras que faz disparar os detetores.

Língua e estilo

• Escolha de palavras: Os redatores de conteúdo baseados em IA têm palavras preferidas, tais como: aspeto, desafios, aprofundar, melhorar, tapeçaria, testamento, autêntico, abrangente, crucial, significativo, transformador, e advérbios como «além disso» e «mais ainda». Isto acontece devido a preconceitos nos conjuntos de dados utilizados no pré-treino. O uso frequente destas palavras pode criar um tom excessivamente formal ou pomposo, que muitas vezes parece deslocado no contexto de uma redação típica de um aluno ou de uma comunicação informal.
• Padrões de expressão: A escrita gerada por IA utiliza padrões de expressão como «à medida que [verbo] o tema», «é importante notar», «não só, mas também», «abrindo caminho» e «quando se trata de». Estas expressões, embora gramaticalmente corretas, são frequentemente utilizadas como preenchimento na conversação e podem fazer com que o texto pareça genérico e estereotipado.
• Ortografia e gramática: A escrita gerada por IA apresenta, em geral, ortografia e gramática impecáveis e tende a recorrer a frases complexas. A escrita humana combina frases simples e complexas, e mesmo os escritores mais experientes recorrem, por vezes, a padrões gramaticais que não são «perfeitos segundo as regras», por razões estilísticas, como o uso de fragmentos de frases para dar ênfase.

Estrutura e Organização

• Parágrafos e estrutura das frases: A escrita gerada por IA tende, geralmente, a utilizar parágrafos muito organizados, todos com aproximadamente o mesmo comprimento, e estruturas semelhantes a listas. Isto pode resultar num ritmo monótono, sem a variação natural da escrita humana. O mesmo se aplica ao comprimento das frases.
• Introduções e conclusões: Os ensaios gerados por IA costumam ter uma introdução e uma conclusão muito bem estruturadas, sendo que a conclusão é frequentemente muito longa, começa com «Em suma» ou «Em conclusão» e repete a maior parte do que já foi escrito, essencialmente reformulando a tese e os pontos principais sem acrescentar novas perspetivas ou sínteses.

Objetivo e Personalidade

• Objetivo e intenção: O texto é geralmente muito vago e repleto de generalidades. Isto acontece porque o ajuste das instruções dá demasiada prioridade ao cumprimento estrito das instruções e, para se manter dentro do tema, o modelo aprende que é melhor ser muito vago e genérico, a fim de minimizar o risco de cometer erros.
• Reflexão e metacognição: a IA tem muita dificuldade em refletir e relacionar o que escreve com experiências pessoais... porque não tem experiências pessoais com as quais se possa identificar! A escrita humana consegue revelar a voz única e a experiência pessoal do seu autor, estabelecendo ligações e gerando ideias inovadoras que não são simplesmente uma recombinação de informação já existente.
• Mudanças bruscas de estilo e tom: Por vezes, verifica-se uma mudança muito chocante e abrupta no tom e no estilo. Isto acontece quando um aluno recorre à IA para parte da sua redação, mas não para toda ela, o que resulta num produto final inconsistente e desconexo.

Como funciona a deteção por IA: três passos

1. Treinar o modelo de deteção por IA: Em primeiro lugar, o modelo é treinado. Os primeiros detetores de IA não funcionavam muito bem porque tentavam detetar trechos de texto com elevada perplexidade ou elevada variabilidade. A perplexidade é o grau de inesperado ou surpreendente que cada palavra de um trecho de texto representa para um modelo de linguagem de grande dimensão. A variabilidade é a variação na perplexidade ao longo de um documento. No entanto, esta abordagem tem várias falhas e, muitas vezes, não consegue detetar resultados gerados por IA. Além disso, utilizam apenas um conjunto de dados de texto limitado para o treino. Modelos modernos e bem-sucedidos, como o Pangram, utilizam um conjunto de dados mais vasto e empregam técnicas como a aprendizagem ativa para obter resultados mais precisos.
2. Introduza o texto que precisa de ser classificado e tokenize-o: o utilizador fornece a entrada. Quando um classificador recebe o texto de entrada, este é tokenizado. Isso significa que todo o texto é dividido numa série de números que o modelo consegue interpretar. O modelo transforma então cada token numa incorporação, que é um vetor de números que representa o significado de cada token.
3. Classificar o token como humano ou IA: a entrada é processada pela rede neural, produzindo uma representação de saída. Uma camada classificadora transforma essa representação de saída numa previsão de 0 ou 1, em que 0 corresponde à classificação «humano» e 1 à classificação «IA».

E quanto aos falsos positivos e aos falsos negativos?

O valor de uma ferramenta de deteção de IA é medido pelo número de falsos positivos (FPR) e falsos negativos (NPR) resultantes da sua utilização. Um falso positivo ocorre quando um detetor prevê, por engano, que uma amostra de conteúdo escrita por um ser humano foi, na verdade, escrita por IA. Em contrapartida, um falso negativo ocorre quando uma amostra gerada por IA é erroneamente identificada como sendo um texto escrito por um ser humano.

Detecção humana vs. detecção automatizada

Se optar por identificar a IA apenas com base na observação visual, terá de receber formação específica. Quem não for especialista não conseguirá obter melhores resultados do que adivinhar ao acaso. Mesmo os linguistas mais experientes não conseguem identificar a IA sem formação específica. A nossa recomendação é utilizar ambos os métodos para obter os melhores resultados, criando assim um processo de avaliação mais robusto e justo.

Embora os detectores de conteúdo gerado por IA possam indicar se algo foi ou não criado por ferramentas de IA, os seres humanos podem não só determinar se algo foi ou não produzido por IA, como também acrescentar contexto e nuances adicionais a essa decisão. Um ser humano conhece o contexto: amostras de trabalhos anteriores do aluno, como é a escrita típica do seu nível escolar e como se apresenta uma resposta típica de um aluno a um trabalho. Este contexto é fundamental, uma vez que a adequação do uso da IA pode variar drasticamente consoante as instruções do trabalho.

As ferramentas de deteção por IA são apenas o começo. Não constituem prova conclusiva de que um aluno tenha violado a integridade académica, mas sim um indício inicial que justifica uma investigação mais aprofundada e contextualizada. O uso da IA pode ser inadvertido, acidental ou até mesmo permitido no âmbito do seu trabalho específico: depende do caso!

Bónus: E os Humanizers?!

Os humanizadores são ferramentas utilizadas para «humanizar» conteúdos gerados por IA, com o objetivo de evitar a deteção por parte da IA. Os redatores de conteúdo recorrem frequentemente a elas para alterar a aparência dos textos gerados por IA. Os humanizadores parafraseiam o texto, removem palavras específicas e adicionam «erros» semelhantes aos humanos a um conteúdo. Por vezes, isso torna o texto praticamente ilegível ou diminui significativamente a qualidade. Muitos detetores de IA treinam o seu software para detetar texto humanizado. Muitas vezes, é um risco utilizar um humanizador, pois pode diminuir drasticamente a qualidade do texto, o que é particularmente preocupante no caso de trabalhos de estudantes.

Agora que já sabe como funcionam, experimente com o seu próprio conteúdo. É IA ou é humano?