A deteção por IA consegue identificar os estilos de escrita de Claude?

Imagem: Anthropic

Em novembro, a Anthropic lançou uma atualização para o Claude.ai, permitindo que os utilizadores escolham o tom de voz com que o assistente irá responder. Além do tom de voz padrão, os utilizadores podem escolher entre um menu predefinido de Conciso, Explicativo e Formal. Há também um modo para estilos de escrita personalizados, no qual é possível inserir alguns documentos ou instruções para serem transformados no seu próprio estilo de escrita.

As predefinições são bastante autoexplicativas. A opção «Conciso» geralmente responde com pontos ou listas. A opção «Explicativo» produz respostas mais longas. A opção «Formal» omite a assinatura de Claude «Essa é uma ótima pergunta» e escreve de forma bastante profissional. Na minha experiência, no entanto, todas elas ainda soam como Claude — não são diferentes de fazer uma pergunta ao assistente e pedir uma resposta concisa/explicativa/formal.

Mas o que queremos testar é a nossa deteção de IA. Pedi a cada estilo de escrita do Claude um ensaio de 250 palavras sobre a queda de Roma. Vamos dar uma olhada nos resultados.

Saída padrão do Claude Saída concisa do Claude Saída explicativa do Claude Saída formal do Claude

Tudo isto ainda parece bastante semelhante ao estilo normal de escrita do Claude. Não parece muito diferente de pedir diretamente na solicitação uma resposta «concisa» ou «formal».

Vamos ver se conseguimos melhorar usando estilos de escrita personalizados. A interface é muito legal, basicamente você copia algum texto e ela gera um prompt completo para você. Eu criei um estilo personalizado com base nas minhas próprias publicações no blog. O Claude chamou-o de "Tech Storyteller" (Contador de Histórias Tecnológicas). Eu criei outro a partir de algumas publicações do blog Slate Star Codex e o Claude chamou-o de "Scholarly Skeptic" (Cético Acadêmico). Parece que esse recurso usa um LLM para produzir cerca de três frases de instruções para o estilo de escrita. Há também uma seção para exemplos de usuários, mas, para minha surpresa, os exemplos fornecidos ao LLM são totalmente gerados e parecem bastante genéricos em comparação com os exemplos de origem.

Prompt do Contador de Histórias Tecnológicas Narrador tecnológico Claude output Sugestão para céticos académicos Saída do cético acadêmico Claude

Estes ainda parecem claramente escritos por IA e o modelo de detecção da Pangram ainda os identifica.

Como percebi que os exemplos de utilizadores gerados por IA poderiam ser uma falha, editei manualmente as sugestões de estilo de escrita para incluir os exemplos de origem: as minhas publicações no blogue e as publicações do Slate Star Codex.

Saída atualizada do Tech Storyteller Claude Saída atualizada do Scholarly Skeptic Claude

Ainda claramente identificável como escrita por IA. Ficou melhor ou menos parecida com IA? Não particularmente, embora a remoção do cabeçalho com aparência muito semelhante à IA no Tech Storyteller tenha sido um passo na direção certa. Uma coisa que notei é que as instruções de estilo de escrita falavam sobre apresentar «informações complexas» ou «reconhecer a complexidade», o que pareceu resultar principalmente na escrita por IA usando a palavra «complexo» mais do que nos outros ensaios. Não era exatamente o estilo de escrita que pedimos.

Uma nota final: usei o painel Pangram para examinar o que exatamente nas redações as denunciava como escritas por IA. Muitas das frases usadas eram muito mais comuns na escrita de IA do que na escrita humana normal.

Painel Pangram

Por exemplo, o nosso modelo descobriu que «complexo e multifacetado» é usado 700 vezes mais na escrita de IA do que na escrita humana. «Interação intrincada» é usado 100 vezes mais. «Desempenhou um papel crucial» é usado 70 vezes mais. Essas frases são um exemplo de como podemos detectar intuitivamente a escrita de IA, mas o modelo usa uma abordagem holística, levando em consideração todo o contexto do documento.

Em suma, o estilo de escrita de Claude parece ser uma funcionalidade interessante para quem não quer acrescentar «no yapping» a cada prompt, mas não é uma ferramenta para tornar os resultados da IA indetetáveis.