Não, os LLMs não se limitam a imitar o texto humano

Algumas pessoas pensam que não é possível detetar a IA porque os LLMs são treinados para imitar o texto humano, mas não é esse o caso. Na verdade, os LLMs escrevem de uma forma claramente diferente da dos humanos, e é isso que torna possível a deteção da IA.

No seu artigo no Substack, Freddie DeBoer escreve:

«De onde vêm os padrões [da escrita por IA]? Vêm de textos escritos por humanos que fazem parte dos corpora de treino utilizados para construir os LLMs. Cada padrão textual de um LLM — cada padrão textual de um LLM — é, em última análise, o produto da produção textual humana. A própria natureza de um LLM consiste em modelar o texto humano com base no texto humano.»

Conclui que, por conseguinte, não é possível criar um detetor de IA com uma taxa de falsos positivos extremamente baixa, porque há sempre a possibilidade de algum ser humano pensar e escrever a mesma sequência de texto que um LLM produziria.

É comum ouvirmos diferentes versões disto:

«Os LLMs baseiam-se numa amostragem de uma distribuição da escrita humana; por isso, não é possível detetar texto gerado por um LLM, uma vez que a distribuição utilizada no treino do LLM é humana.»

«Os LLMs são treinados para escrever como seres humanos, por isso, se estiverem a fazer o seu trabalho, a escrita gerada por IA irá enganar qualquer detetor.»

À primeira vista, estes argumentos parecem válidos, mas não têm em conta o facto de os LLMs modernos serem sistemas complexos. Os LLMs modernos são treinados para fazer muito mais do que apenas reproduzir a distribuição do texto humano. Nesta publicação do blogue, vamos analisar por que razão e em que aspetos os LLMs modernos, como o ChatGPT, o Claude e o Gemini, divergem da distribuição do texto humano e o que lhes confere aquele estilo e voz únicos que tornam possível detetar a sua escrita.

Resumo: É tentador acreditar que, uma vez que os LLMs são treinados para reproduzir texto humano, os seus resultados se tornarão indistinguíveis da escrita humana. Mas, na realidade, os LLMs não se limitam a aproximar-se do texto humano: são submetidos a um treino adicional para se tornarem assistentes úteis que seguem instruções, o que limita a sua escrita a um conjunto restrito de opções que são detetáveis algoritmicamente.

No início: Previsão do próximo token

A história dos modelos de linguagem começou com os modelos de preenchimento. Estes primeiros modelos de linguagem eram simples: aprendiam, a partir de um vasto conjunto de dados textuais, a forma como as palavras se sucediam habitualmente. Depois, um utilizador introduzia algumas palavras iniciais no modelo de preenchimento e, a partir daí, o modelo previa a palavra seguinte mais provável.

Um modelo de preenchimento prevê uma distribuição de probabilidade para o próximo token

Crédito da imagem: AIML.com

Por baixo da superfície, um modelo de preenchimento recebe uma sequência inicial, ou prefixo, como «O deep learning é muito», e, em seguida, gera uma lista de probabilidades sobre o que é provável que venha a seguir. Estas probabilidades são agregadas a partir de todos os preenchimentos num corpus de treino muito vasto, composto principalmente por dados da Internet. O resultado foi um modelo probabilístico de toda a escrita humana, capaz de adivinhar quais as palavras mais prováveis de aparecerem em sequência, tendo em conta as frequências naturais das palavras no conjunto de dados de treino.

Isto deu origem aos primeiros modelos de linguagem: o GPT-1, o GPT-2 e o GPT-3. Estes modelos são agora designados por «modelos de base»: representam as distribuições brutas da linguagem humana, mas os seus resultados são brutos e não aperfeiçoados: não seguem instruções e não conseguem manter uma conversa. Hoje em dia, chamamos a esta fase inicial do desenvolvimento de modelos de linguagem de pré-treino, e é apenas a primeira etapa na criação de um assistente de IA ou de um chatbot — há muito mais que acontece depois disso.

Do GPT ao ChatGPT

Quando é que passámos de uma distribuição bruta sobre palavras para a capacidade de comunicar com um modelo de linguagem como se fosse uma pessoa? Para responder a essa pergunta, temos de recuar até março de 2022, quando ocorreu o primeiro grande avanço na transformação de modelos de linguagem em assistentes: o InstructGPT, lançado pela OpenAI.

O InstructGPT foi a primeira vez que um modelo de linguagem foi explicitamente treinado não só para imitar a linguagem humana, mas também para seguir as instruções que lhe eram dadas por um utilizador, às quais hoje chamamos «prompts».

Os três passos pós-treino descritos no artigo sobre o InstructGPT: ajuste fino supervisionado, treino do modelo de recompensa e aprendizagem por reforço

Eis uma figura retirada do artigo original sobre o InstructGPT. O artigo original demonstrou que era possível aplicar uma técnica denominada «pós-treino» para personalizar um modelo de base — neste caso, o GPT-3 — de modo a transformá-lo num assistente útil e capaz de seguir instruções, adaptando o estilo do modelo para que assumisse uma personalidade específica.

O artigo descreve três etapas:

1. Os escritores humanos fornecem exemplos do que consideram serem respostas aceitáveis da IA a um prompt
2. Os investigadores de IA desenvolveram um modelo de recompensa que aprende quais das respostas apresentadas os seres humanos tendem a preferir
3. Recorrendo ao modelo de recompensa, os investigadores de IA treinam o LLM para maximizar a recompensa ao longo de um vasto conjunto de respostas geradas

Isto é semelhante ao condicionamento pavloviano da psicologia! Os investigadores recompensam o modelo por certas respostas e não por outras e, através da repetição, o modelo aprende a associar algo que anteriormente era neutro — nomeadamente, uma resposta preferida pelo utilizador — a um valor positivo proveniente da função de recompensa. Esta técnica denomina-se «ajuste por instruções» e é o que transforma o modelo de base num «modelo de instruções»: um modelo capaz de manter uma conversa e de seguir as instruções do utilizador.

O ajuste das instruções impede que os modelos de linguagem se desviem do rumo, esqueçam informações essenciais da sua solicitação ou se lancem em digressões descabidas. Além disso, proporciona a programadores como a OpenAI e a Anthropic controlo sobre o comportamento dos seus modelos. Por exemplo, os modelos devem recusar-se a dizer a um utilizador como construir uma bomba ou assaltar um banco, mesmo que essa seja a resposta desejada pelo utilizador. Sem o pós-treino, o alinhamento do modelo — ou seja, a capacidade de tornar os grandes modelos de linguagem úteis, inofensivos e seguros — não seria possível. A Anthropic foi pioneira neste tipo de especificação do comportamento dos modelos com o seu artigo sobre IA Constitucional, que descreve como utilizam técnicas de pós-treino para criar IA que segue um conjunto de princípios delineados na constituição da Anthropic. Por fim, em teoria, o ajuste de instruções torna os modelos mais agradáveis na conversa. Como os avaliadores humanos recompensam o modelo por dar respostas agradáveis, o modelo torna-se mais amigável e desenvolve uma personalidade melhor.

Não há almoço de graça: consequências negativas do pós-treino

O pós-treino não traz só boas notícias. A reformulação dos resultados afeta significativamente o comportamento de um modelo e torna a sua saída muito diferente da do modelo de base original.

Adulação

A otimização de um LLM de acordo com as preferências humanas pode levar o modelo a dar prioridade a agradar as pessoas em detrimento da correção. Se isto for levado demasiado longe, o LLM acabará por reforçar as crenças erradas de um utilizador, em vez de as contradizer. Em abril de 2025, verificou-se uma polémica notável em torno deste tipo de comportamento bajulador do modelo, quando a OpenAI admitiu que a sua nova versão do GPT-4o era excessivamente lisonjeira e complacente, mesmo em detrimento do utilizador.

Perda de criatividade e diversidade nos resultados da IA

O pós-treino também leva a respostas menos criativas e originais por parte dos LLM. Alguns investigadores levantam a hipótese de que o pós-treino faz com que o texto gerado pelos LLM soe monótono, pouco original, repetitivo ou como «porcaria» de IA.

Um artigo de 2024, intitulado «Creativity has Left the Chat», compara a diversidade das versões «instruct» e «base» do modelo de IA da Meta, o Llama 2. Os autores constataram que o modelo «instruct» do Llama 2 apresentava uma diversidade semântica e estilística substancialmente menor nas suas respostas; por exemplo, ao escolher personagens para histórias, o Llama 2 «instruct» escolhia consistentemente personagens com as mesmas idades, nacionalidades e tipos de personalidade, chegando mesmo a atribuir-lhes os mesmos nomes. Abaixo encontra-se uma nuvem de palavras com os nomes escolhidos pelos modelos «base» e «instruct».

Nuvens de palavras com nomes geradas por modelos de base e modelos alinhados, extraídas de «Creativity Has Left the Chat»

Logits achatados e colapso do modo

Neste contexto, o pós-treino dá origem aos chamados «logits achatados», em que os LLMs submetidos a pós-treino escolhem de forma determinística uma única palavra seguinte, em vez de produzirem uma distribuição variada de possíveis palavras seguintes.

Embora, à primeira vista, isso não pareça mau, leva ao que se denomina «colapso de modo», que ocorre quando os LLMs deixam de produzir uma grande variedade de expressões e, em vez disso, se limitam a fazer repetidamente as mesmas escolhas restritas.

Colapso do modo vs. cobertura do modo: um modelo com colapso do modo concentra a probabilidade num único modo

Eis uma ilustração do colapso de modos: quando existem três formas gerais comuns de expressar algo, um LLM com colapso de modos optará, por predefinição, pela forma mais comum de o dizer, em vez de distribuir a sua probabilidade por todas as formas possíveis de expressão.

O que é que isto tem a ver com a detetabilidade?

O facto de os LLMs serem treinados desta forma tem algumas implicações para a deteção. Como os LLMs são otimizados para preferências humanas específicas, tendem a assumir personalidades muito distintas. Estas personalidades têm peculiaridades, tiques e idiossincrasias que um modelo de deteção consegue distinguir da escrita humana. Os logits achatados e o colapso do modo também significam que os LLMs alinhados tendem a fazer escolhas muito consistentes ao gerar texto, o que significa que podemos aprender quais são essas escolhas analisando grandes quantidades de dados humanos e de IA.

Além disso, os LLMs desenvolvidos atualmente acabam por incorporar as suas próprias saídas ao longo do seu treino, simplesmente devido à crescente «slopificação» do texto na Internet. Por exemplo, no final de 2024, mais de um terço dos novos artigos na Internet eram gerados por IA; essa quantidade de texto gerado por IA conduz a um efeito de amplificação em que os novos modelos também assumem as personalidades dos modelos mais antigos que geraram esse texto, mesmo entre famílias de modelos diferentes. É por isso que muitos LLMs apresentam semelhanças de estilo com o ChatGPT original, apesar de terem sido criados por laboratórios completamente diferentes! Por vezes, isto é até feito de forma intencional: especula-se amplamente que os laboratórios chineses tentam «destilar» modelos pioneiros americanos, como o Claude, treinando com base nos seus resultados. Isso confere a estes modelos de linguagem uma personalidade semelhante à do Claude!

Será que os LLMs serão sempre assim tão fáceis de detetar?

Compreender e resolver o colapso de modos é uma área de investigação em curso e muito ativa no campo da inteligência artificial. Será que os LLMs serão capazes, um dia, de produzir distribuições de resultados mais diversificadas? A minha opinião é que sim, e há até alguns modelos de linguagem que já são bastante diversificados: na verdade, já os temos sob a forma de modelos de base!

No entanto, o pós-treino, enquanto paradigma, veio para ficar. As razões pelas quais os LLMs tomam decisões consistentes e têm preferências específicas refletem as preferências dos seus criadores. Pergunte a um modelo de linguagem chinês o que aconteceu na Praça de Tiananmen em 1989 e poderá perceber imediatamente as preferências desse criador! A verdade é que não podemos ter modelos de linguagem seguros e alinhados, que se comportem de forma útil e inofensiva, sem o pós-treino. No fim de contas, as empresas de LLM estão a criar produtos de consumo que têm requisitos comportamentais: existem algumas áreas do espaço textual humano (como a toxicidade, a desinformação, etc.) das quais as empresas de LLM não querem que os seus modelos retirem amostras. Por fim, as empresas de LLM também pretendem otimizar os seus modelos para que tenham personalidades agradáveis — quanto mais divertido for para as pessoas interagirem com os seus modelos, mais provável é que utilizem um determinado modelo em detrimento dos modelos da concorrência. Foi possível ver como isto se manifestou na forma como alguns fãs do GPT-4o reagiram ao facto de a OpenAI ter descontinuado esse modelo.

Estas preferências dos programadores e das pessoas acabam por se manifestar nos modelos, limitando o espaço de personalidade e de resultados destes LLMs em troca de alinhamento, modelação do comportamento e otimização da personalidade. Assim, enquanto estes programadores continuarem a ter preferências e escolhas específicas quanto ao comportamento dos modelos, acredito que o Pangram deverá ser capaz de detetar essas preferências de forma consistente.