Como funciona o Pangram?

Consideramos que é importante conseguir identificar de forma fiável os textos gerados por IA, pelo que criámos um detetor que o faz. Dada a importância deste problema, é sensato sermos transparentes quanto ao seu funcionamento.

Quando um autor escreve uma frase, está a tomar milhares de decisões, conscientes e inconscientes, sobre a forma como esta deve ser composta. Fundamentalmente, a deteção de IA é um problema de identificação do autor – categorizar quais as decisões que são prototípicas de que tipo de autor. Conseguimos fazer isto porque, embora os modelos de linguagem de grande escala (LLMs), como o ChatGPT, não sejam humanos, continuam a ser um único autor a tomar decisões. Os tipos de decisões que tendem a tomar também são limitados: os modelos assistentes precisam de produzir textos úteis e claros para responder eficazmente às perguntas. Estas preferências ficam enraizadas no modelo durante o treino e, uma vez lá, é muito difícil impedir que venham à tona.

O que é um pangrama?

O Pangram é um tipo de rede neural designado por «modelo classificador». No sentido mais amplo, o Pangram analisa um segmento de texto e — recorrendo a um vasto conjunto de padrões aprendidos — avalia se este foi gerado por IA.

O Pangram aprende a distinguir textos escritos por humanos dos gerados por modelos de linguagem (LLM) através da criação de uma espécie de mapa, no qual os autores com estilos de escrita semelhantes são colocados próximos uns dos outros, enquanto aqueles cujos estilos diferem são posicionados mais afastados. Neste mapa, os textos escritos por humanos e os gerados por IA formam agrupamentos distintos, e a nossa investigação demonstra que o Pangram consegue até localizar os principais modelos de linguagem comerciais, como o ChatGPT e o Claude, em regiões diferentes.

Quando o Pangram se depara com um texto que nunca viu, determina onde este deve ser colocado no mapa, comparando-o com o texto que já conhece. Nenhum aspeto isolado do texto determina onde este é classificado, pelo que um escritor humano não corre o risco de ser classificado incorretamente simplesmente porque o ChatGPT adotou um dos seus recursos preferidos, como o travessão longo. Os «LLM-ismos» visíveis são apenas um dos sinais entre centenas de milhares que o Pangram tem em conta.

Se as coordenadas resultantes se situarem numa região de autoria humana, o Pangram prevê que o texto seja de autoria humana; se se situarem numa área mais ambígua, ou se diferentes passagens do mesmo texto apontarem em direções diferentes, o Pangram começa a suspeitar que possa conter texto gerado por IA. É por isso que o Pangram tem um número mínimo de palavras: mais palavras significam coordenadas mais precisas. A mesma abordagem também ajuda o Pangram a generalizar para novos lançamentos de modelos de IA, que tendem a herdar grande parte do estilo e da voz dos seus antecessores, ocupando assim regiões muito semelhantes do mapa.

O Pangram é melhor do que outros detetores de IA

As tentativas anteriores de detetar textos escritos por IA foram fracassos retumbantes e públicos. Isto deve-se ao facto de terem tentado fazer engenharia inversa da forma como os grandes modelos linguísticos produzem texto. Após cada palavra de uma frase, estes detetores perguntavam: se eu fosse um grande modelo linguístico, que palavra esperaria que viesse a seguir?

Por exemplo, face a um fragmento de frase como «Vou levar o meu cão a…», um modelo de IA poderia considerar «passear» ou «correr» como palavras seguintes muito prováveis, enquanto que palavras sem nexo, como «harbinger» ou «verglas», não seriam candidatos prováveis. Os primeiros detetores tentavam reconstruir a classificação de palavras prováveis feita por um LLM e compará-la com a palavra que realmente aparecia; assim, quanto mais frequentemente o texto seguisse a escolha previsível, mais provável era que o detetor o classificasse como gerado por IA. Essencialmente, isto reflete o grau de perplexidade que um LLM sentiria ao encontrar uma determinada palavra a seguir numa frase, pelo que este método de deteção de IA foi denominado «análise de perplexidade».

A análise de perplexidade apresenta muitos problemas. Não é uma boa medida daquilo que pretende distinguir, porque as frases humanas são frequentemente tão padronizadas quanto a prosa gerada por modelos de linguagem de grande escala (LLM). Assim, a escrita humana previsível ou estruturada é muitas vezes falsamente identificada pelos detetores de perplexidade, enquanto, ao mesmo tempo, esses detetores são facilmente contornados por estratégias óbvias, como a substituição de palavras por sinónimos menos comuns.

É sabido que os modelos de perplexidade também falham em muitos textos anteriores ao advento do computador. A deteção baseada na perplexidade tende a indicar que a Bíblia, a Declaração de Independência ou o «Frankenstein», de Mary Shelley, são 100% gerados por IA. Isto acontece porque os LLMs leem a Declaração de Independência milhares de vezes durante o seu treino, pelo que cada palavra seguinte nela contida é, do ponto de vista do LLM, muito previsível. O detetor interpreta erroneamente essa probabilidade como prova de que o texto foi gerado por IA.

O Pangram evita isso porque não procura fazer engenharia inversa da forma como um LLM gera texto. Em vez de analisar cada palavra e perguntar «o que é que um LLM escreveria aqui?», o Pangram analisa o texto na sua totalidade e pergunta «a quem é que isto se assemelha?». Desta forma, o nível de familiaridade do ChatGPT nunca poderia levar o Pangram a classificar erroneamente documentos históricos como sendo gerados por IA — mas nem todos os casos são assim tão fáceis.

Como treinámos o Pangram

Não é difícil treinar um classificador para atingir uma precisão de 98%. A maioria dos textos gerados por IA é fácil de reconhecer, e uma rede neural consegue aprender rapidamente os indícios mais óbvios. Tal como quase qualquer pessoa poderia comparar um poema de E. E. Cummings com uma citação de «Os Irmãos Karamazov» e concluir que foram escritos por autores diferentes, um classificador básico consegue distinguir facilmente uma receita de massa gerada por IA de uma entrada no diário de um ser humano. Mas na deteção de IA, uma precisão de 98% é extremamente má: uma taxa de erro de 2% significaria classificar incorretamente um em cada 50 documentos, o que colocaria em causa qualquer previsão. Por isso, pense nisto: se fosse um dos 2% melhores a distinguir Dostoiévski, que estratégia utilizaria para passar a fazer parte dos 0,01% melhores?

A esse nível, reler Dostoiévski produz diretamente rendimentos decrescentes – colmatar essa lacuna exige identificar as características que ninguém, a não ser o próprio Dostoiévski, poderia produzir. Uma boa estratégia poderia ser contratar alguns imitadores profissionais para escreverem os clones mais convincentes possíveis de Dostoiévski e estudar as diferenças. É assim que treinamos o Pangram: para cada elemento do nosso conjunto de dados de textos escritos por humanos e licenciados comercialmente, geramos um duplo de IA que seja o mais próximo possível da sua fonte. Os duplos têm o mesmo comprimento, o mesmo tom e o mesmo tema, mas são gerados por IA. Em seguida, treinamos o modelo Pangram com esses pares de textos humanos e de IA.

Ao aprender a distinguir entre esses pares, o Pangram aumenta efetivamente a resolução das áreas limítrofes no seu mapa interno. Para garantir que o mapa do Pangram seja o mais preciso possível, somos extremamente cuidadosos no que diz respeito à contaminação de dados: o nosso conjunto de dados de texto humano conhecido provém de 2021 e anos anteriores, antes de a IA ter sido lançada na Internet. Isto funciona bem por enquanto, mas estamos cientes de que teremos de nos adaptar à medida que a língua evoluir. Abordar de forma preventiva a deriva de dados antes que se torne um problema é uma das nossas principais prioridades de investigação.

Como é que sabemos que o Pangram está correto?

O Pangram é um modelo estatístico que faz previsões com base apenas no texto, pelo que a sua precisão também tem de ser testada estatisticamente. É isso que fazemos. Publicamos resultados de testes comparativos internos para cada modelo Pangram que lançamos, bem como sempre que um laboratório de IA atualiza os seus modelos de linguagem de grande escala (LLMs). Também fomos testados e verificados por entidades terceiras independentes, tais como equipas da Universidade de Chicago e da Universidade de Maryland.

Se é investigador – ou se tem uma ideia realmente boa e se compromete a publicar os seus resultados –, pode candidatar-se a uma das nossas bolsas de crédito API e testar os nossos modelos por si próprio. Estamos sempre à procura de formas de melhorar.