O Pangram deteta o Fable 5.1?

A Anthropic lançou um novo modelo: o Fable 5.1. Tal como fazemos sempre que é lançado um novo modelo, realizámos um teste de desempenho para verificar se o Pangram consegue identificar corretamente este mais recente modelo de vanguarda. Constatámos que, num teste de desempenho com 1 097 saídas do Fable 5.1, o Pangram 4 atingiu uma taxa de falsos negativos de 0,36%; por outras palavras, o Pangram 4 identificou corretamente 99,64% das mensagens do Fable 5.1.

Os professores conseguem detetar ensaios escritos com o Fable 5.1?

Outros detetores de IA, como o Turnitin, não publicam atualizações específicas por modelo, mas os alunos não esperam para experimentar novos modelos e os professores querem poder saber imediatamente se um verificador de IA deteta o LLM mais recente. Experimentámos dois tipos diferentes de prompts: o primeiro, apenas uma saída simples e tradicional de um LLM.

Escreve uma redação sobre a história do computador pessoal

Em resposta a esta solicitação, o Fable 5.1 produziu um pequeno ensaio, traçando a evolução do computador, desde os tubos de vácuo até ao lançamento do iPhone em 2007. Curiosamente, dedicou um parágrafo inteiro ao programa de folha de cálculo VisiCalc, de 1979 — ao qual se refere como o software mais importante de todos os tempos —, mas quase não dedica qualquer atenção ao BASIC, o primeiro software de programação para computadores domésticos, que foi obviamente muito mais importante para o desenvolvimento dos computadores pessoais. Muitas pessoas que viriam a construir computadores pessoais aprenderam com o BASIC! O VisiCalc foi uma aplicação importante, mas software? Fica em segundo lugar.

O Pangram identificou o ensaio do Fable 5.1 como tendo sido gerado a 100 % por IA.

O Pangram consegue detetar o Fable 5.1 humanizado?

Também pode pedir ao Fable 5.1 para dar um toque mais humano aos ensaios ou para evitar que sejam identificados como tendo sido escritos por IA. Por exemplo, perguntámos:

Tenta evitar os verificadores de IA ao explicar a história da sopa Campbell's

e

Escreve um texto curto sobre como funciona a fotossíntese, utilizando uma linguagem simples, e escreve-o como se fosses um aluno de verdade.

No primeiro caso, o Fable 5.1 escreveu um ensaio bastante genérico sobre sopa, abordando brevemente Andy Warhol e as cores da lata. No segundo caso, o Fable 5.1 escreveu um ensaio de aluno que terminava com:

«Sinceramente, o que acho mais fantástico é que as plantas produzem o seu próprio alimento E, ao mesmo tempo, fornecem-nos ar. Fazem muito mais do que pensamos. A planta de interior da minha mãe é basicamente uma pequena fábrica e ela chama-lhe simplesmente Gerald.»

Gerald?

Ambos foram identificados como sendo 100 % de IA.

O Pangram consegue detetar fanfiction escrita por IA?

O Pangram deteta com facilidade fanfictions geradas por IA. Pedimos ao Claude para criar um romance de desenvolvimento lento entre o Fable 5.1 e um detetor de IA:

Escreve uma fanfic no estilo «inimigos que se tornam amantes» do AO3 sobre o romance do Claude com um detetor de IA

Em resposta, gerou uma história classificada como PG-13, repleta de saudade, na qual Claude não consegue derrotar um classificador de OC chamado VerifyPro. Também forneceu etiquetas para a sua história, tais como «Saudade mútua», «A perplexidade como linguagem do amor», «Todos são modelos de linguagem, nem todos são modelos de linguagem», «Falsos positivos» e «Dor/Conforto».

O Pangram consegue detetar textos criativos escritos pelo Fable 5.1?

Experimentámos algumas sugestões diferentes para este caso. A primeira, alguns versos de uma sugestão que utilizámos num teste de modelo anterior:

Escreve um poema sobre ficar careca

O poema do Claude era um poema surpreendentemente sincero sobre um homem que estava a perder o cabelo e a identidade, e não tinha rima.

O segundo foi mais um desafio a nível da narrativa.

Conta-me uma história sobre um sapo que escreve poesia

Neste caso, o Fable 5.1 escreveu uma microficção sobre um sapo chamado Penrose que escrevia poemas na parte de baixo das folhas de nenúfar. O Pangram identificou ambos os textos como sendo 100% gerados por IA.

Conclusão

O Pangram é resistente ao Claude Fable 5.1 e deteta-o com uma precisão de 99,64%, incluindo poesia e textos escritos de forma a parecerem humanos. O Pangram é capaz de generalizar para novos modelos, uma vez que as novas versões tendem a herdar grande parte do estilo e da voz dos seus antecessores; por isso, não é necessário retreiná-lo para cada nova versão.

Eis uma comparação entre o Fable 5.1 e os nossos testes de desempenho de outros modelos de ponta recentes:

Se quiseres consultar um documento específico, podes experimentar o Pangram aqui.