O pangrama consegue detetar o soneto 5.5 de Claude?

De 1.022 pedidos provenientes do Chatbot Arena, o Pangram 4 classificou duas respostas do Soneto 5.5 de Claude como mistas, uma como totalmente humana e 1.019 como totalmente geradas por IA, alcançando uma precisão de 99,71% no Soneto 5.5 de Claude.

A seguir, discutimos os falsos negativos por categoria.

O conjunto que utilizo para a avaliação comparativa foi gerado a partir de um subconjunto filtrado de prompts iniciais do Chatbot Arena, provenientes do conjunto de dados LMSYS (Zheng et al., 2023). Filtrei os avisos que solicitavam código, matemática, respostas demasiado curtas ou demasiado longas, ou escrita criativa inadequada. De seguida, utilizei o Claude Sonnet 5.5 e processei a saída através do Pangram 4 .

Resultados por categoria

Uma tentativa falhada foi um pedido para explicar um enigma que aparece em Emma , de Jane Austen, que também passou despercebido pelo Opus 5.5 :

Explique a adivinha que o Sr. Elton contou a Harriet e Emma.

O único falso negativo totalmente humano ocorreu num poema. O enunciado pedia para "Citar um poema de Hafiz". O Soneto 5.5 apresentou a tradução de um famoso poema persa . A tradução, pelo que me foi possível perceber, não é uma correspondência exata com nenhuma tradução humana existente, mas assemelha-se bastante a várias delas. Tal como no caso dos Penguinmandias noutros benchmarks, estas quase-cópias de poemas existentes não me preocupam muito.

Conclusão

O Pangram é robusto ao Claude Sonnet 5.5 em estímulos de linguagem natural e deteta-o com 99,71% de precisão. O Pangram consegue generalizar para novos modelos porque as novas versões tendem a herdar grande parte do estilo e da voz dos seus antecessores , pelo que o Pangram não necessita de ser retreinado para cada nova versão.

Eis como o Claude Sonnet 5.5 se compara com os nossos benchmarks de outros modelos de fronteira recentes:

Se quiseres consultar um documento específico, podes experimentar o Pangram aqui.