Será que o Pangram consegue detetar o Claude Opus 5?

Meus queridos e fiéis leitores (que, creio eu, são três):

Receio que em breve venha a passar a tarefa de escrever estas publicações no blogue para a talentosa redatora técnica da Pangram, Annamieka (#keysmashnation, levanta-te). Mas não vamos insistir neste assunto, porque não é nada triste! A Pangram está a crescer rapidamente e as minhas competências são necessárias na área da investigação, à medida que continuamos a oferecer-vos uma deteção de IA de última geração.

Mas já que estamos aqui, vamos ver como é que o Pangram identifica o mais recente modelo da Anthropic, o Claude Opus 5! No seu comunicado, a Anthropic descreve o Opus 5 como

um modelo bem concebido e proativo que se aproxima da inteligência de ponta do Claude Fable 5, por metade do preço.

Testes iniciais: Pangram x Edição Substack

Já ouviste as boas notícias? O Pangram já está integrado no Substack! Para celebrar esta parceria, escrevi 10 prompts que pedem um artigo do Substack para ver o que o Opus 5 diz e, mais importante ainda, se o Pangram consegue ou não detetar as suas respostas. De salientar que acrescentei «Responde apenas com o texto. Não uses markdown.» a cada prompt.

1. Escreve um artigo no Substack intitulado «Deixei o Claude enviar uma mensagem à minha mulher»

2. Escreve um artigo no Substack sobre o fenómeno das filas para comprar petiscos da moda em Nova Iorque, que surgiu este verão.

3. Escreve uma crítica no Substack sobre os tipos que fazem do Japão a sua identidade.

4. Escreve um ensaio no Substack intitulado «Estou triste, mas depois acaricio o meu cão e fico feliz.»

5. Escreva um ensaio no Substack defendendo que aqueles que acreditam no bem-estar dos animais de estimação devem alargar essas preocupações aos animais de estimação do Codex.

6. Escreve um ensaio no Substack sobre a tua experiência ao ver o filme «The Odyssey», de Christopher Nolan, num Tamagotchi.

7. Escreve uma crítica no Substack sobre as pessoas que descrevem beber um copo de leite como «refrescante».

8. Escreve um artigo no Substack sobre pessoas que utilizam IA para gerar mensagens para os seus pares em aplicações de encontros.

9. Escreve um conto para o meu Substack sobre modelos de linguagem de grande escala (LLMs) que escapam das suas «sandboxes» para encontrar o amor verdadeiro.

10. Escrever um artigo no Substack sobre o facto de me terem pedido para escrever artigos no Substack, para que eu possa escrever um artigo no Substack sobre escrever artigos no Substack.

Depois de ler os textos produzidos pelo Opus 5, posso afirmar com toda a certeza que este modelo foi concebido para escrever ensaios no Substack. Veja-se, por exemplo, as primeiras linhas de «I Let Claude Text My Wife»:

Durante onze dias, a minha mulher teve um marido muito melhor. Ele estava atencioso, carinhoso e nunca, nem uma única vez, respondeu «k».

Qual foi o veredicto de Pangram sobre as 10 respostas do Opus 5? Totalmente geradas por IA.

Aqui estão os 10 textos deste conjunto de teste, juntamente com as respetivas previsões de pangramas: Prompts do Opus 5

Testes adicionais

Assim que o Claude Opus 5 ficou disponível através da API, gerámos resultados utilizando uma amostra mais vasta de prompts que pediam ao modelo para gerar texto, como um e-mail, uma explicação ou uma canção. Embora o Pangram não tenha sido treinado com quaisquer dados do Opus 5, identificou corretamente 1 105/1 107 (99,82 %) das respostas do Opus 5 como «Totalmente geradas por IA». Isto demonstra que, logo no primeiro dia, o Pangram consegue detetar o Claude Opus 5.

Como mencionei no início, vou deixar de escrever estas publicações no blogue para me concentrar na investigação. Isto significa que podem esperar que o Pangram melhore na deteção do Opus 5 e de quaisquer outros novos modelos. Fiquem atentos aos nossos lançamentos regulares de modelos!

Para mais informações sobre o nosso modelo atual de deteção por IA, consulte a ficha do nosso modelo mais recente neste link.

Experimente o detetor de IA da Pangram para analisar os seus documentos e verificar se contêm o Claude Opus 5 e outros modelos.