Por que razão a perplexidade e a irregularidade não conseguem detetar a IA

Quando se pesquisa online sobre como funcionam os detetores de IA, é comum encontrar muitas fontes que citam os termos «perplexidade» e «burstiness». O que significam estes termos e por que razão, em última análise, não funcionam na deteção de conteúdos gerados por IA? Hoje, pretendo explicar o que são a perplexidade e a burstiness, e esclarecer por que razão não são adequadas para detetar textos gerados por IA. Iremos também compreender por que razão não funcionam, e por que razão os detetores baseados na perplexidade e na burstiness citam erroneamente a Declaração de Independência como sendo gerada por IA, e por que razão estes detetores também são tendenciosos contra falantes de inglês não nativos. Vamos lá!

O que são a perplexidade e a irregularidade?

Vamos começar com uma definição não técnica e um pouco vaga do conceito de «perplexidade», apenas para termos uma ideia geral do que é e como funciona. Para mais informações sobre a «perplexidade», achei este artigo explicativo de dois minutos muito útil.

A perplexidade é o grau de inesperado ou surpreendente de cada palavra num texto, quando analisada na perspetiva de um determinado modelo de linguagem ou LLM.

Por exemplo, eis duas frases. Vamos concentrar-nos na última palavra de cada frase, para efeitos de demonstração. No primeiro exemplo, a última palavra apresenta uma baixa perplexidade, enquanto no segundo exemplo, a última palavra apresenta uma elevada perplexidade.

Baixa perplexidade:

Hoje, ao almoço, comi uma taça de *sopa*.

Alta perplexidade:

Hoje, ao almoço, comi uma taça de *aranhas*.

A razão pela qual a segunda frase apresenta um elevado índice de perplexidade é que é muito raro um modelo de linguagem encontrar exemplos de pessoas a comerem taças de aranhas no seu conjunto de dados de treino; por isso, é muito surpreendente para o modelo de linguagem que a frase termine com «aranhas», em vez de algo como «sopa», «uma sanduíche» ou «uma salada».

A palavra «perplexidade» tem a mesma raiz que a palavra «perplexo», que significa «confuso» ou «desorientado». É útil pensar na perplexidade como a confusão do modelo de linguagem: quando este se depara com algo que lhe é desconhecido ou inesperado, em comparação com o que leu e assimilou durante o seu processo de treino, podemos considerar que o modelo de linguagem fica confuso ou desorientado perante o que tem de completar.

Muito bem, ótimo, e quanto à variabilidade? A variabilidade é a variação da perplexidade ao longo de um documento. Se houver palavras e frases surpreendentes espalhadas pelo documento, diríamos que este apresenta um elevado nível de variabilidade.

Como funcionam os detetores baseados na perplexidade e na variabilidade?

Infelizmente, a maioria dos detetores comerciais (com exceção do Pangram) não é transparente quanto à sua metodologia, mas, pelo que se depreende das suas descrições, o texto escrito por humanos é considerado como tendo maior complexidade e maior variabilidade do que o texto gerado por IA, enquanto o texto gerado por IA apresenta menor complexidade e menor variabilidade.

Podemos ver uma visualização disso abaixo! Fiz o download do modelo GPT-2 do Huggingface e calculei a perplexidade de todo o texto em dois documentos: um conjunto de críticas a restaurantes escritas por pessoas e outro conjunto de críticas geradas por IA. Em seguida, destaquei o texto com baixa perplexidade a azul e o texto com alta perplexidade a vermelho.

Visualização da complexidade comparando texto gerado por IA e texto humano

Como se pode ver, o texto gerado pela IA apresenta um azul intenso em toda a sua extensão, o que sugere valores de perplexidade uniformemente baixos. Já o texto gerado por humanos é predominantemente azul, mas apresenta picos de vermelho. É a isso que chamamos de elevada variabilidade.

É esta ideia que está na origem dos detetores de perplexidade e de picos de atividade. Não só alguns dos primeiros detetores comerciais de IA se baseiam nesta ideia, como ela também inspirou alguns trabalhos académicos, tais como o DetectGPT e o Binoculars.

Para sermos totalmente justos, estes detetores de perplexidade e de picos de atividade funcionam, de facto, em algumas ocasiões! Simplesmente não acreditamos que possam funcionar de forma fiável em contextos de alto risco, onde as imprecisões devem ser evitadas, como por exemplo na sala de aula, onde uma detecção falsa positiva por IA pode potencialmente minar a confiança entre o professor e o aluno ou, pior ainda, gerar provas imprecisas num processo judicial.

Deficiência n.º 1: O texto do conjunto de treino é classificado erroneamente como IA

Para quem não está familiarizado com o processo de criação dos LLMs, antes de estes estarem disponíveis para serem implementados e utilizados como chatbots, têm de passar por um procedimento denominado «treino». Durante o treino, o modelo de linguagem analisa milhares de milhões de textos e aprende os padrões linguísticos subjacentes ao que se denomina o seu «conjunto de treino».

Os detalhes mecânicos precisos do procedimento de treino estão fora do âmbito desta publicação no blogue, mas o detalhe fundamental é que, no processo de otimização, o LLM é diretamente incentivado a minimizar a perplexidade nos documentos do seu conjunto de treino! Por outras palavras, o modelo aprende, ao longo do tempo, que os trechos de texto que vê repetidamente no seu procedimento de treino devem ter a menor perplexidade possível.

Por que é que isso é um problema?

Como o modelo é programado para reduzir a perplexidade dos documentos do conjunto de treino, os detetores de perplexidade e de variabilidade classificam documentos comuns do conjunto de treino como sendo de IA, mesmo quando esses documentos foram, na verdade, escritos por humanos!

É por isso que os detetores de IA baseados na perplexidade classificam a Declaração de Independência como gerada por IA: como a Declaração de Independência é um documento histórico famoso que foi reproduzido em inúmeros manuais escolares e artigos na Internet, ela aparece nos conjuntos de treino da IA... com muita frequência. E como o texto é exatamente o mesmo sempre que é visto durante o treino, o modelo consegue memorizar o que é a Declaração de Independência quando a vê e, em seguida, atribuir automaticamente a todos os tokens uma perplexidade muito baixa, o que também torna a variabilidade muito baixa.

Executei a mesma visualização acima na Declaração de Independência — e observamos a mesma assinatura da IA: uma cor azul profunda e consistente em todo o texto, indicando que todas as palavras apresentam baixa perplexidade. Do ponto de vista de um detetor baseado na perplexidade e na variabilidade, a Declaração de Independência é completamente indistinguível de conteúdo gerado por IA.

Curiosamente, notamos que a primeira frase da Declaração da Independência apresenta um azul ainda mais intenso e um índice de perplexidade mais baixo do que o resto do texto. Isto acontece porque a primeira frase é, de longe, a parte mais reproduzida da passagem e a que aparece com maior frequência no conjunto de dados de treino do GPT-2.

Visualização da Declaração de Independência no Perplexity

Da mesma forma, constatamos que outras fontes comuns de dados de treino para modelos de linguagem de grande escala (LLM) também apresentam taxas elevadas de falsos positivos quando se utilizam detetores de perplexidade e de variabilidade. A Wikipédia é um conjunto de dados de treino muito comum devido à sua elevada qualidade e à sua licença sem restrições; por isso, é extremamente frequente que os artigos da Wikipédia sejam erroneamente identificados como tendo sido gerados por IA, uma vez que os modelos de linguagem são otimizados diretamente para reduzir a perplexidade nesses artigos.

Este é um problema que se agrava à medida que a IA continua a desenvolver-se e a tornar-se mais avançada, uma vez que os modelos de linguagem mais recentes consomem enormes quantidades de dados: os rastreadores da OpenAI, da Google e da Anthropic estão todos a vasculhar freneticamente a Internet neste preciso momento, enquanto lê este artigo, continuando a recolher dados para o treino dos modelos de linguagem. Os editores e proprietários de sites devem preocupar-se com o facto de que permitir que esses rastreadores vasculhem os seus sites para o treino de LLMs possa significar que o seu conteúdo venha a ser classificado erroneamente como gerado por IA no futuro? As empresas que estão a considerar licenciar os seus dados à OpenAI devem ponderar o risco de que esses dados também venham a ser erroneamente identificados como IA, uma vez que os LLMs os tenham absorvido? Consideramos que este é um caso de falha totalmente inaceitável, e que se agrava com o tempo.

Deficiência n.º 2: a perplexidade e a variabilidade são diferentes consoante os modelos de linguagem

Outro problema associado à utilização da perplexidade e da variabilidade como métricas de deteção é o facto de estas serem relativas a um modelo de linguagem específico. O que se pode esperar do GPT, por exemplo, pode não ser o caso do Claude. Além disso, quando surgem novos modelos, a sua perplexidade também é diferente.

Os chamados detetores baseados na perplexidade do tipo «caixa preta» têm de selecionar um modelo de linguagem para medir a perplexidade real. No entanto, quando a perplexidade desse modelo de linguagem difere da perplexidade do gerador, obtêm-se resultados extremamente imprecisos, e este problema agrava-se com o lançamento de novos modelos.

Deficiência n.º 3: Os modelos comerciais nem sempre revelam a complexidade

Os fornecedores de software de código fechado nem sempre disponibilizam as probabilidades de cada token, pelo que nem sequer é possível calcular a perplexidade em modelos comerciais de código fechado, como o ChatGPT, o Gemini e o Claude. Na melhor das hipóteses, pode-se utilizar um modelo de código aberto para medir a perplexidade, mas isso depara-se com os mesmos problemas que a Limitação 2.

Deficiência n.º 4: Textos em inglês de falantes não nativos (ESL) são erroneamente classificados como IA

Tem-se vindo a surgir a ideia de que a deteção por IA é tendenciosa em relação a falantes não nativos de inglês, apoiada por um estudo da Universidade de Stanford de 2023 sobre 91 ensaios do TOEFL. Embora o Pangram analise exaustivamente textos em inglês não nativo e os incorpore no nosso conjunto de treino para que o modelo seja capaz de os reconhecer e detetar, os detetores baseados na perplexidade apresentam, de facto, uma taxa elevada de falsos positivos em textos em inglês não nativo.

A razão para isso é que os textos escritos por alunos que estão a aprender inglês apresentam, em geral, uma menor complexidade e uma menor irregularidade. Acreditamos que isto não é por acaso: tal deve-se ao facto de, durante o processo de aprendizagem da língua, o vocabulário do aluno ser significativamente mais limitado, e de o aluno também não ser capaz de formar estruturas frásicas complexas que seriam fora do comum, ou de elevada surpresa, para um modelo linguístico. Defendemos que aprender a escrever de uma forma com elevada perplexidade e irregularidade, mas que continue a ser linguisticamente correta, é uma competência linguística avançada que advém da experiência com a língua.

Os falantes de inglês não nativos — e, por extensão, acreditamos que também os alunos com neurodiversidade ou com deficiência — são mais vulneráveis a serem detetados por sistemas de IA baseados na perplexidade.

Deficiência n.º 5: Os detetores baseados na perplexidade não conseguem melhorar-se iterativamente

O que consideramos ser a maior limitação dos detetores baseados na perplexidade — e a razão pela qual nós, na Pangram, optámos por uma abordagem baseada na aprendizagem profunda — é o facto de esses detetores não se poderem aperfeiçoar automaticamente com o aumento da quantidade de dados e da capacidade computacional.

O que é que isto significa? À medida que o Pangram ganha mais experiência com texto humano através do nosso algoritmo de aprendizagem ativa, vai melhorando gradualmente. Foi assim que conseguimos reduzir a nossa taxa de falsos positivos de 2 % para 1 %, depois para 0,1 % e, agora, para 0,01 %. Os detetores baseados na complexidade não conseguem melhorar com a análise de mais dados.

Recursos e leituras complementares

• DetectGPT: Detecção de texto gerado por máquinas sem treinamento prévio utilizando a curvatura de probabilidade é um artigo que analisa o panorama de perplexidade local para distinguir textos escritos por humanos e por IA, em vez de valores absolutos de perplexidade.

• Detetar LLMs com binóculos: a deteção «zero-shot» de texto gerado por máquinas utiliza uma nova métrica denominada «perplexidade cruzada» para melhorar a deteção por perplexidade básica.

• O documento técnico da Pangram aprofunda a nossa solução alternativa para a deteção de texto gerado por IA com base na aprendizagem ativa profunda.

Conclusão

Há uma grande diferença entre calcular uma estatística que se correlacione com textos gerados por IA e desenvolver um sistema de nível de produção capaz de detetar com fiabilidade textos gerados por IA. Embora os detetores baseados na perplexidade captem uma faceta importante do que torna a escrita humana propriamente humana e do que torna a escrita da IA propriamente da IA, pelas razões descritas neste artigo, não é possível utilizar um detetor baseado na perplexidade para detetar com fiabilidade textos gerados por IA, mantendo simultaneamente uma taxa de falsos positivos suficientemente baixa para aplicações de produção.

Em áreas como a educação, onde é fundamental evitar falsos positivos, esperamos que mais investigação se oriente para métodos baseados na aprendizagem profunda e se afaste da perplexidade e da variabilidade, ou de métodos baseados em métricas.

Esperamos que isto ajude a compreender por que razão a Pangram optou por não utilizar a perplexidade e a variabilidade para detetar texto gerado por IA, concentrando-se, em vez disso, em métodos fiáveis e escaláveis.

A Pangram utiliza aprendizagem profunda em vez de heurísticas estatísticas. Experimente o nosso detetor de conteúdo com IA para obter uma precisão de nível profissional.