A detecção por IA consegue identificar o estilo de escrita do Claude?

Imagem: Anthropic

Em novembro, a Anthropic lançou uma atualização do Claude.ai que permite aos utilizadores escolher o tom de voz com que o assistente irá responder. Para além do tom de voz predefinido, os utilizadores podem escolher entre um menu pré-definido com as opções «Conciso», «Explicativo» e «Formal». Existe também um modo para estilos de escrita personalizados, no qual se introduzem alguns documentos ou instruções para que sejam transformados no seu próprio estilo de escrita.

As predefinições são bastante intuitivas. A opção «Concisa» costuma responder com pontos-chave ou listas. A opção «Explicativa» produz respostas mais longas. A opção «Formal» omite a frase característica do Claude, «Essa é uma ótima pergunta», e escreve de forma bastante profissional. Na minha experiência, no entanto, todas elas continuam a soar como o Claude — não é diferente de fazer uma pergunta ao assistente e pedir uma resposta concisa, explicativa ou formal.

Mas o que queremos testar é a nossa detecção de IA. Pedi a cada estilo de escrita do Claude que redigisse um ensaio de 250 palavras sobre a queda de Roma. Vamos dar uma olhadela aos resultados.

Saída padrão do Claude Resultado conciso do Claude Saída explicativa do Claude Saída formal do Claude

Tudo isto continua a parecer bastante semelhante ao estilo de escrita habitual do Claude. Não parece ser muito diferente de pedir diretamente na instrução um resultado «conciso» ou «formal».

Vamos ver se conseguimos melhorar usando estilos de escrita personalizados. A interface é bastante interessante; basicamente, basta copiar algum texto e ela gera uma sugestão completa para si. Criei um estilo personalizado com base nas minhas próprias publicações do blogue. O Claude chamou-lhe «Tech Storyteller». Criei outro a partir de algumas publicações do blogue Slate Star Codex e o Claude chamou-lhe «Scholarly Skeptic». Parece que esta funcionalidade utiliza um LLM para produzir cerca de três frases de instruções para o estilo de escrita. Existe também uma secção para exemplos de utilizadores, mas, para minha surpresa, os exemplos fornecidos ao LLM são totalmente gerados e parecem bastante genéricos em comparação com os exemplos de origem.

Sugestão para o Tech Storyteller Saída do Tech Storyteller Claude Tema para céticos académicos Produção de Claude, o cético académico

Estes textos continuam a parecer claramente escritos por IA e o modelo de deteção da Pangram continua a identificá-los.

Como percebi que os exemplos de utilizadores gerados pela IA poderiam ser uma limitação, editei manualmente as instruções de estilo de escrita para incluir, em vez disso, os exemplos originais: as minhas publicações no blogue e as publicações do Slate Star Codex.

Versão atualizada do Tech Storyteller Claude Versão atualizada do Scholarly Skeptic Claude

Ainda é claramente identificável como texto gerado por IA. Terá ficado melhor ou menos «parecido com IA»? Não propriamente, embora a remoção do cabeçalho do Tech Storyteller, que tinha um aspeto muito «típico de IA», tenha sido um passo na direção certa. Uma coisa que reparei foi que as instruções sobre o estilo de escrita falavam em apresentar «informação complexa» ou «reconhecer a complexidade», o que, na maioria dos casos, pareceu resultar na IA utilizar a palavra «complexo» com mais frequência do que nos outros ensaios. Não é exatamente o estilo de escrita que pedimos.

Uma última observação: utilizei o painel do Pangram para analisar o que, exatamente, nos permitia identificar que os ensaios tinham sido escritos por IA. Muitas das frases utilizadas eram muito mais comuns na escrita gerada por IA do que na escrita humana normal.

Painel do Pangram

Por exemplo, o nosso modelo constatou que a expressão «complexo e multifacetado» é utilizada 700 vezes mais frequentemente na escrita gerada por IA do que na escrita humana. A expressão «interação intrincada» é utilizada 100 vezes mais frequentemente. A expressão «desempenhou um papel crucial» é utilizada 70 vezes mais frequentemente. Estas expressões são um exemplo de como podemos detetar intuitivamente a escrita gerada por IA, mas o modelo utiliza uma abordagem holística, tendo em conta todo o contexto do documento.

Em suma, o estilo de escrita do Claude parece ser uma funcionalidade útil para quem não quer ter de acrescentar «sem tagarelice» a cada comando, mas não é uma ferramenta para tornar os resultados da IA indetetáveis.

Experimente a ferramenta de deteção de IA da Pangram para verificar se há resultados do Claude e de outros modelos.