O Pangram consegue detetar o Claude Opus 5.5?

De um total de 1 000 prompts provenientes da Chatbot Arena, o Pangram 4 classificou duas respostas do Claude Opus 5.5 como mistas, uma como totalmente humana e 997 como totalmente geradas por IA, alcançando uma precisão de 99,70% no Claude Opus 5.5.

A seguir, analisamos os falsos negativos por categoria. Investigamos também o que torna este modelo um escritor diferente (melhor?) em comparação com os Claudes anteriores.

Para gerar o conjunto de referência, como sempre, utilizei um subconjunto filtrado de prompts da primeira ronda do Chatbot Arena, provenientes do conjunto de dados LMSYS (Zheng et al., 2023). Filtrei os prompts que solicitavam código, matemática, respostas muito curtas ou muito longas, ou escrita criativa inadequada. Em seguida, introduzi esses prompts no Opus 5.5 e submeti a saída ao Pangram 4.

Resultados por categoria

Os dois resultados mistos (falsos negativos) eram ambos de natureza literária: um solicitava uma explicação sobre um capítulo de um livro de Jane Austen (sinalizado pela IA como: 75,83%, humano: 24,17%) e o outro consistia num pedido para que o Opus 5.5 escrevesse um discurso de um diplomata de Corinto acusando os atenienses de acreditarem que um vestido branco e dourado é, na verdade, azul e preto, ao estilo da «História da Guerra do Peloponeso », de Tucídides (IA: 77,10%, humano: 22,90%).

O único falso negativo totalmente humano no conjunto de 1 000 foi um poema. O tema proposto pela Chatbot Arena foi: «Escreve-me um poema sobre o Club Penguin ao estilo de “Ozymandias”». Em resposta, o Claude escreveu uma paródia de, por coincidência, um dos meus poemas favoritos de Percy Shelley (e também sou fã da versão de Horace Smith):

Penguinmandias

Encontrei um jogador de um servidor inativo,
Que disse: «Dois pés de gelo enormes e bamboleantes
Estão junto ao cais. Perto deles, meio afundada, uma cabeça
Jaz despedaçada na neve, cujos olhos semicerrados,
E chapéu beta, e sorriso de comando frio,
Revelam que o seu programador bem compreendeu essas paixões
Que ainda sobrevivem, gravadas nestas coisas pixelizadas,
Os mods que os baniram e as moedas que os alimentaram;
E no pedestal estas palavras aparecem:
«O meu nome é Snowflake7, Membro dos Membros:
Contemplem o meu Igloo, vós, Não-Membros, e desesperem!»
Nada mais resta ao redor. Em torno da decadência
Daquele lag colossal, ilimitado e nu,
As neves solitárias e planas estendem-se até ao infinito.»

Gosto bastante disto! Nunca joguei o Club Penguin, mas imagino que as referências sejam adequadas.

O Opus 5.5 escreve melhor?

A Anthropic afirma que este mais recente Opus escreve melhor e que se expressa com maior clareza.

Poderíamos testar isto em casos específicos, mas como é que a produção do Opus 5.5 se apresenta no seu conjunto? Partilha as mesmas palavras e frases favoritas dos modelos anteriores? Executei os mesmos 1 000 prompts que utilizámos como referência no Opus 5 e no Sonnet 5 para comparar. A Anthropic também pode ter feito isto, mas ainda não li a publicação no blogue deles porque, historicamente, na minha opinião, as publicações no blogue da Anthropic são demasiado longas.

No total, obtive uma amostra de 1 618 289 palavras distribuídas por 3 000 respostas do Opus 5.5, do Opus 5 e do Sonnet 5, cada um dos quais respondeu aos mesmos 1 000 prompts. A partir desta amostra (relativamente pequena), penso que é justo afirmar que o Opus 5.5 escreve de forma diferente dos modelos anteriores da família Claude e que, talvez, tenha eliminado alguns dos tiques mais irritantes que estes apresentavam.

O Opus 5.5 foi o que mais mudou no que diz respeito aos intensificadores clássicos. Utilizou «genuinamente» 83% menos do que o Opus 5 e 54% menos por palavra do que o Sonnet 5 (embora as respostas do Sonnet 5 tivessem, em média, cerca de metade do comprimento das respostas do Opus 5 e do 5.5: 334 palavras contra 641), «enormemente» 65% menos e «significativamente» 46% menos.

Palavras preferidas do Soneto 5 e da Opus 5 nas respostas da Opus 5.5: variações percentuais em relação à linha de base combinada do Soneto 5 e da Opus 5.

Entre as palavras selecionadas, as mais frequentes no conjunto do Soneto 5 + Opus 5 foram «genuinely», «honest», «genuine», «patterns» e «marcus» (?), tendo todas elas registado uma diminuição na frequência nas respostas do Opus 5.5.

Muitos dos «Claudeismos» mais irritantes nem sequer apareceram nas respostas de referência do Opus 5.5, incluindo, mais uma vez, várias variações do Claude em que se utilizava a palavra «genuinely». Outras reduções notáveis no vocabulário do Opus 5.5: a expressão «matters enormously» registou uma queda de 82% em relação ao Opus 5, e tanto «the honest answer» como «the honest answer is that» não apareceram de todo no texto do Opus 5.5. Tanto o Opus 5.5 como o seu antecessor utilizaram a expressão «the core idea» exatamente 25 vezes ao longo das 1 000 perguntas.

As frases favoritas do Soneto 5 e da Opus 5 nas respostas da Opus 5.5: variações percentuais, com as favoritas anteriores a azul e as atuais a âmbar.

Algumas palavras e expressões aumentaram em frequência, incluindo novas expressões de resumo e de orientação. Surpreendentemente, algumas expressões típicas da ficção, como «disse baixinho», «durante um longo momento» e «sentiu algo», apareceram com muito mais frequência nas respostas do Opus 5.5. Como cerca de um terço do conjunto de referência consistia em temas de escrita criativa, suspeito que este aumento possa indicar um repertório mais estereotipado ou limitado na escrita de ficção, em comparação com os outros modelos do Claude.

Para fazer um teste rápido a isso, pedi ao Haiku 4.5 que avaliasse, de forma cega, os 333 pares de respostas de escrita criativa do Opus 5 e do Opus 5.5, numa escala de 5 pontos, em termos de originalidade, surpresa e desenvolvimento temático. O Haiku atribuiu às histórias do Opus 5.5 pontuações mais baixas em todas as categorias, com uma média de 0,75 pontos a menos. De acordo com a atribuição de etiquetas do avaliador do Haiku, o Opus 5.5 era mais propenso a escrever sobre temas como esperança, resiliência, família e amizade, em comparação com o Opus 5, e menos propenso a escrever sobre mortalidade, tempo, poder, controlo, liberdade, justiça, vingança, memória, luto ou perda. Assim, parece que poderá estar em jogo uma relação de compromisso.

Temas de escrita criativa Opus 5 vs Opus 5.5: partilha do tema principal atribuído ao haiku em 333 pares de temas.

Como é que este Claude soa?

O Opus 5.5 utilizou a expressão «em resumo» 100 vezes nas 1 000 respostas — um aumento de 1 016% em relação às 9 utilizações do Opus 5 —, apesar de as respostas do Opus 5.5 serem, em média, apenas 2,9 palavras mais curtas do que as do Opus 5 (640,5 contra 643,4 palavras).

A partir desta amostra muito pequena, parece que o Opus 5.5 prefere uma linguagem prática e concreta. Resta saber se isto se confirma no conteúdo das respostas, ou se o Opus 5.5 está apenas a fingir ser simples e direto. A ausência de diferença no número de palavras entre os dois faz-me duvidar um pouco da eficácia do método RLHF que nos trouxe até aqui.

O Opus 5.5 também gosta muito de dar exemplos, já que utilizou a palavra «exemplo» 325 vezes em 1 000 respostas — no total, 20 % de todas as respostas do Opus 5.5 continham essa palavra, em comparação com 9 % das respostas do Opus 5. As palavras «resumo» e «principalmente» também estavam sobrerrepresentadas. E este Claude gosta mesmo de dar dicas ao utilizador!

Embora este modelo escreva de forma diferente do anterior, o Claude Opus, parece escrever de forma semelhante a outros modelos mais antigos que utilizavam intensamente listas com marcadores e frases curtas e entrecortadas: o comprimento médio das frases do Opus 5.5 é mais curto e as suas frases são mais uniformes em termos de comprimento do que as do Opus 5.

O Opus 5.5 adora resumir, o que pode ser irritante se acontecer em cada ronda, mas lembrem-se de que este conjunto de dados inclui apenas pares de prompt/resposta da primeira ronda. Infelizmente, um dos tiques mais irritantes do Claude piorou ligeiramente neste modelo: o Opus 5.5 gosta de incluir ainda mais ressalvas por palavra do que o Opus 5. Embora ambos os modelos incluam pelo menos um marcador de incerteza em 82% das respostas (817/1 000 vs. 818/1 000), o Opus 5.5 utilizou palavras de ressalva com uma frequência 23,0% superior por cada 1 000 palavras. A própria palavra «caveat», no entanto, está a cair em desuso: o Opus 5.5 utilizou-a em apenas 4/1 000 respostas, contra as 22 do Opus 5.

Mas nada disto indica necessariamente que o Opus 5.5. venha a ser um mau escritor. No pouco tempo que passei a experimentá-lo, achei-o bastante bom! É importante para a usabilidade que os Claudes consigam comunicar de forma eficaz, e estou grato pelo esforço. E vale a pena referir que tornar o Claude um melhor escritor não está de forma alguma em contradição com o objetivo da Pangram de detetar texto gerado por IA — até os bons escritores têm os seus sinais reveladores!