A teoria da informação por trás do motivo pelo qual a escrita gerada por IA é má

Divulgação: Durante o processo de edição, foi utilizado um modelo de linguagem baseado em IA para elaborar descrições técnicas e sugerir melhorias estruturais e de estilo. Várias sugestões da IA foram incorporadas na versão final do artigo.

Já li uma quantidade vergonhosamente grande de ficção, especialmente ficção científica. Além disso, utilizo todos os modelos de IA de referência que são lançados no âmbito do meu trabalho de engenharia de software.

Essas duas experiências deixaram-me com a sensação persistente de que a IA tem uma «voz» surpreendentemente monótona quando comparada com a de um autor humano de grande talento.

Qualquer pessoa que goste de literatura já percebeu do que estou a falar. Já li obras de cerca de cinco mil autores diferentes, mas, sinceramente, acho que mesmo que só tenhas lido meia dúzia de autores, vais perceber que cada um deles ocupa o seu próprio espaço estilístico.

Em comparação com as vozes únicas dos escritores humanos, a escrita gerada por IA soa notavelmente uniforme. Afinal, há uma boa razão para isso, e tem a ver com a teoria da informação.

A voz como distribuição de probabilidade

Uma «voz» autoral única não é aleatória, nem é comum. Trata-se de uma distribuição de probabilidade específica — chamemos-lhe P_autor. Quando um autor escreve, recorre a um processo altamente idiossincrático. Possui probabilidades condicionais específicas quanto à forma como implementa conceitos, ritmo, vocabulário e outras ferramentas estilísticas.

O que torna uma voz reconhecível são as escolhas de baixa frequência e grande impacto que um autor faz de forma consistente (a cauda longa da distribuição). Se eu disser «Ted Chiang», pensarás imediatamente em como as suas frases são sintaticamente simples, mas semanticamente densas (é um estilo que admiro, mas, como este parêntese demonstra, não consigo imitar). Se eu disser «Ursula K. Le Guin», pensarás em como ela consegue ser tão clara e pragmática, mas ainda assim transmitir uma sensação lírica — não consigo descrever bem o estilo dela, mas os leitores de Le Guin sabem do que estou a falar.

Em última análise, o que quero dizer é que a forma correta de avaliar até que ponto um texto soa «como se fosse escrito por IA» não é verificar se é previsível em geral — a maioria dos textos bem escritos é, de certa forma, previsível —, mas sim medir a divergência de KL entre a distribuição de saída do modelo e a distribuição de um autor específico: D_KL(P_autor || Q_modelo). Para quem não está familiarizado com a divergência KL, esta mede o grau em que a distribuição do modelo falha em abranger as escolhas do autor (mais especificamente, mede o custo de informação extra esperado para codificar amostras de P utilizando um código otimizado para Q). Quando esta divergência é grande e estruturada, ouve-se uma voz.

A armadilha RLHF e o «Dialeto de Consenso do Anotador»

Durante o pré-treino, um modelo de linguagem de grande dimensão gera um mapa da distribuição generalizada do texto humano. Esta distribuição de base, Q_base, é extremamente ampla. No seu espaço latente, contém a capacidade de se aproximar de praticamente qualquer P_author.

A armadilha a que me refiro começa com o alinhamento. Para tornar o modelo seguro e útil, os laboratórios aplicam técnicas como a Aprendizagem por Reforço a partir do Feedback Humano (RLHF) e outras. Os detalhes variam, mas o essencial é que o modelo é otimizado para produzir resultados que obtenham uma boa pontuação face a um sinal de recompensa derivado das preferências humanas (ou da IA).

Isto não faz com que o modelo se aproxime da média estatística do inglês. Faz com que se aproxime de algo com uma distribuição de probabilidade diferente — chamemos a isto o «Dialeto de Consenso dos Anotadores».

O mecanismo para chegar a essa conclusão é o seguinte: quando os avaliadores (trabalhadores temporários contratados para avaliar os resultados, especialistas ou quem quer que seja) avaliam os resultados, uma escrita peculiar gera uma grande variação nas classificações. O meu estilo de escrita pode receber uma pontuação de 5/5 de um avaliador e 2/5 de outro. Mas uma resposta estéril, simétrica e fortemente cautelosa pode receber uma pontuação de 4/5 por parte de todos. O algoritmo de otimização determina que a forma mais segura de maximizar a recompensa esperada é reduzir a variação. É o equivalente conversacional à decoração do átrio de um hotel.

Pode dizer-se: «Joe, esta não é uma descrição justa! As técnicas de alinhamento mais recentes foram explicitamente concebidas para preservar a diversidade!». Embora isso seja verdade, os métodos mais recentes continuam a otimizar-se para um resultado «preferencial», o que continua a penalizar a assunção de riscos de elevada variância em relação a uma prosa segura e amplamente aceitável.

Esta é uma afirmação que pode ser comprovada (ainda não a testei, mas é possível fazê-lo). Se medíssemos a divergência de Kullback-Leibler entre os resultados do modelo alinhados e um corpus composto, por exemplo, por comunicações empresariais e ficção literária, a minha previsão é que a distribuição do modelo se situaria muito mais próxima do centro empresarial. Tanto quanto sei, ninguém publicou esta medição específica, mas a matemática da otimização aponta claramente para isso.

A ilusão da camuflagem (por que a solicitação de estilo falha)

Sei o que estás a pensar: sim, mas é possível dar instruções ao modelo para que se afaste deste dialecto. «Escreve no estilo de um detetive de romances policiais dos anos 20» ou algo do género (uma parte de mim quer ver como ficaria este artigo se pedisse a um modelo para o reescrever como letras de uma canção do Lupe Fiasco). Isto produz, de facto, um texto que parece diferente do «Dialecto de Consenso do Anotador», mas continua a parecer suspeitosamente uniforme.

Isto deve-se ao facto de existir uma diferença matemática entre deslocar a média de uma distribuição e reproduzir a sua estrutura de variância.

Quando se pede a um modelo para imitar um autor, este altera o seu centro de gravidade. Ele calcula a média estatística do vocabulário, da estrutura das frases e de outras características estilísticas do alvo, e desloca-se para esse ponto. No entanto, aplica a mesma mecânica de redução da variância que temos vindo a discutir a esta nova localização.

O estilo humano assenta na irregularidade estruturada. Um autor tem um ritmo de base, mas quebra-o intencionalmente através de recursos como a inserção de um fragmento, a utilização de um verbo atípico ou o emaranhamento de uma frase para criar um efeito emocional. A estilometria computacional dispõe de ferramentas para medir isto: os expoentes de Hurst em séries temporais de comprimento de frases podem revelar dependências de longo alcance na escrita humana que faltam ao texto gerado por IA. Os autores humanos modulam a sua diversidade lexical de formas que os modelos não conseguem.

O que isto significa é que, quando se pede uma redação num estilo específico, o modelo capta os traços característicos desse estilo, mas suaviza todas as suas peculiaridades. O resultado é uma caricatura do que foi solicitado.

O fracasso da temperatura e companhia

Se a distribuição da IA for demasiado restrita, por que não podemos simplesmente alargá-la?

A abordagem mais comum é o escalonamento de temperatura. Quando se aumenta a temperatura T, divide-se os logits brutos do modelo por T antes de calcular as probabilidades, o que achata toda a distribuição e obriga o modelo a escolher palavras menos prováveis. Mas faz-se isso de forma cega. A excentricidade de um autor humano é altamente condicional. Os humanos quebram as regras de formas muito específicas e consistentes, enquanto o escalonamento de temperatura apenas introduz ruído estocástico.

Espero que isto seja bastante óbvio — em última análise, aumentar a temperatura apenas faz com que se passe de «suspeitamente suave» para «suspeitamente aleatório», sem passar de todo pela fase humana.

Sei que existem estratégias de descodificação mais sofisticadas. A amostragem top-p (núcleo), a filtragem top-k, as penalizações por repetição e a orientação sem classificador visam todas uma redistribuição mais direcionada. Ajudam, sim, em certa medida, mas nenhuma delas resolve o problema fundamental de que se trata de intervenções no momento da inferência que atuam sobre um modelo cuja filosofia de funcionamento (se é que se pode chamar assim) foi moldada durante o alinhamento.

Há também aqui uma nuance importante que um dos meus amigos me chamou recentemente a atenção: o alinhamento não elimina a capacidade latente do modelo base para a variação estilística. Os pesos pré-treinados continuam a codificar a maior parte da riqueza do Q_base, desde que se disponha de pesos suficientes. Existem técnicas emergentes de orientação em tempo de inferência, como a Engenharia de Representação, que podem recuperar parcialmente a variação suprimida ao aceder ao espaço latente subjacente. No entanto, estas são áreas de investigação e não algo disponível nos produtos de IA acessíveis ao público.

Da mesma forma, a aprendizagem em contexto com um contexto extenso também pode proporcionar resultados ligeiramente melhores, mas os mecanismos de atenção enfraquecem quando o contexto se torna suficientemente extenso (e começará a regressar à distribuição uniforme à medida que o contexto cresce).

E daí?

A principal conclusão a retirar daqui é que as escolhas de conceção subjacentes às técnicas relacionadas com a RLHF vão obrigar estas «vozes» da IA a permanecerem detetáveis por muito mais tempo do que qualquer um esteja disposto a admitir.

Além disso, é útil pensar no estilo de um autor como uma distribuição de probabilidade específica de alta dimensão, e desafio-vos a tentarem identificar por vós próprios alguns dos valores da divergência KL da próxima vez que estiverem a ler o vosso autor favorito. De onde vem a voz do autor? É um exercício divertido que pode aumentar o seu prazer com o texto, e o difícil processo de praticar e interiorizar novos conhecimentos é algo que vale a pena fazer nestes dias de atrofia de competências induzida pelos LLM.