Atualização do texto do pangram: GPT-4o, Claude 3, LLaMA 3

Foto: Google DeepMind.

Hoje, temos o prazer de demonstrar a nossa capacidade de nos adaptarmos rapidamente aos novos modelos de linguagem de grande escala (LLMs) disponíveis no mercado, através do lançamento de uma atualização do nosso modelo que alcança uma precisão quase perfeita na deteção de textos escritos por IA a partir do GPT-4o, do Claude 3 e do LLaMA 3.

TL;DR:

• Lançámos uma nova versão do Pangram Text que melhora o desempenho no GPT-4o, no Claude 3 e no LLaMA 3.
• A nossa infraestrutura está preparada para processar rapidamente grandes quantidades de texto gerado por IA a partir de novos modelos, assim que estes se tornem disponíveis ao público.
• Constatamos que, à medida que o desempenho de todos estes novos modelos se aproxima do nível do GPT-4, também começam a soar todos da mesma forma em termos de estilo.

Resultados

O nosso modelo mais recente revelou-se bastante eficaz na deteção dos resultados dos novos modelos, mesmo sem ter visto quaisquer exemplos destes no conjunto de treino. No entanto, não nos contentamos com o simples facto de ser «bastante eficaz»; queremos garantir que estamos continuamente a expandir os limites do que é possível com a deteção por IA e a alcançar a melhor precisão possível para os nossos clientes.

Para testar o nosso desempenho nos modelos de linguagem de última geração, renovámos o nosso conjunto de avaliação, composto por 25 000 exemplos de texto humano e texto gerado por IA difíceis de classificar, provenientes de um painel de modelos de linguagem. Cerca de 40 % deste novo conjunto de avaliação é constituído por uma grande variedade de texto gerado por IA a partir do GPT-4o, do Claude 3 e do LLaMA 3, abrangendo vários domínios de texto, incluindo notícias, críticas, educação e muito mais.

Utilizamos todas as versões dos novos modelos, sempre que disponíveis: por exemplo, fazemos uma amostragem equilibrada das versões Opus, Sonnet e Haiku do Claude 3.

Após atualizarmos o nosso conjunto de dados de treino para incluir os modelos de linguagem de grande escala (LLMs) mais recentes, constatamos que estamos novamente a alcançar uma precisão quase perfeita no texto gerado pela mais recente geração de modelos de linguagem.

Para além de melhorar o desempenho nos novos modelos, constatamos que a inclusão de dados de treino da última geração de modelos melhora, de facto, ligeiramente o desempenho em vários modelos mais antigos.

Constatamos que, embora não haja qualquer regressão no nosso conjunto de avaliação do modelo antigo, conseguimos, na verdade, melhorar vários casos em relação à deteção do GPT-3.5 e do GPT-4 (normal). Mais concretamente, verificamos que 8 casos do GPT-3.5 que anteriormente não eram detetados pelo modelo agora são detetados, e 13 casos do GPT-4 que anteriormente não eram detetados pelo modelo agora são detetados. Concluímos, portanto, que a maior capacidade do nosso modelo para detetar o GPT-4o, o Claude 3 e o LLaMA 3 não acarreta qualquer perda de capacidade na deteção de modelos mais antigos.

Manter-se na vanguarda

Desde o início que estávamos cientes de que a evolução dos LLMs seria rápida, pelo que concebemos a arquitetura do nosso sistema tendo isso em conta. Os nossos sistemas foram concebidos para serem capazes de regenerar dados e iniciar o treino de um novo modelo poucas horas após uma nova API se tornar publicamente disponível.

Quando um novo modelo é lançado, gerar um novo conjunto de dados e retreinar o modelo é tão simples quanto alterar uma configuração. Dispomos de uma biblioteca padrão de modelos de prompts concebidos para serem introduzidos em LLMs, com o objetivo de produzir texto semelhante ao humano, que se aproxima, mas não é exatamente igual, à parte humana do nosso conjunto de dados. Detalhamos este processo, denominado «Hard Negative Mining with Synthetic Mirrors», no nosso relatório técnico.

O calendário para o lançamento deste novo modelo foi o seguinte:

13 de maio: O GPT-4o foi lançado e disponibilizado na API da OpenAI. 14 de maio: O fluxo de trabalho do conjunto de dados foi atualizado e foram criados novos conjuntos de treino e avaliação. 15-16 de maio: O modelo de deteção de IA foi treinado utilizando os novos conjuntos de dados. 17 de maio: Foram realizados controlos de qualidade e verificações de integridade, e o modelo foi lançado.

A infraestrutura que criámos permite-nos adaptar-nos rapidamente, integrando textos de novos modelos no sistema de deteção de produção em apenas uma semana.

Rendimentos decrescentes?

À medida que os novos modelos se tornam cada vez melhores, devem tornar-se mais difíceis de detetar, certo? Ainda não encontrámos provas que sustentem este argumento tentador, mas, em última análise, errado.

A partir da observação, constatamos que os modelos mais avançados, devido aos seus estilos mais peculiares, são, na verdade, mais fáceis de detectar do que os modelos menos avançados. Por exemplo, descobrimos que o nosso modelo antigo era mais eficaz na deteção do Claude Opus do que do Sonnet e do Haiku.

Como podemos ver na tabela de classificação do LMSYS, verificamos que muitos modelos de base estão a convergir assintoticamente para o nível do GPT-4, mas nenhum modelo conseguiu ainda superá-lo de forma convincente por uma margem substancial. Olhando para a situação de uma perspetiva mais ampla, se algumas empresas de modelos de base diferentes adotarem a mesma arquitetura baseada na atenção e a treinarem com toda a Internet, não é surpreendente que a linguagem produzida por todos os modelos acabe por soar incrivelmente semelhante entre si. Quem interage regularmente com modelos de linguagem compreenderá imediatamente o que queremos dizer com isto.

A nível observacional, continuamos a constatar que os LLMs, quando solicitados a escrever de forma criativa e autêntica — como num ensaio de opinião, numa crítica ou num conto criativo —, continuam a produzir textos insípidos e sem imaginação. Acreditamos que isto se deve, fundamentalmente, ao objetivo de otimização de prever conclusões de alta probabilidade, evitando pensamentos e ideias originais que se desvio da distribuição.

Valorizamos os textos originais dos nossos semelhantes porque podem oferecer-nos uma nova perspetiva ou uma forma diferente de pensar, e não porque sejam o tipo de coisas que uma pessoa diria normalmente. Enquanto este valor se mantiver, haverá sempre necessidade de detecção de IA e haverá sempre uma forma de resolver essa questão.