人工智能检测能识别克劳德的写作风格吗？

图片：Anthropic

11月，Anthropic发布了Claude.ai的更新，允许用户选择助手回复时的语气。除了默认语气外，用户还可以从“简洁”、“解释性 ”和“正式”这三个预设选项中进行选择。此外，该功能还提供自定义写作风格模式，用户只需输入一些文档或指令，系统便会将其转化为用户自己的写作风格。

这些预设选项的含义不言自明。“简洁”模式通常以项目符号或列表形式作答；“详解”模式则生成更长的回答；“正式”模式会省略克劳德标志性的“这是个好问题”，并以相当专业的语气撰写。不过，根据我的经验，它们听起来依然像克劳德——这与直接向助手提问并要求“简洁”、“详解”或“正式”的回答并无二致。

但我们真正想测试的是我们的AI检测功能。我让每种Claude写作风格各写一篇250字的短文，主题是罗马的衰落。让我们来看看结果。

标准克劳德输出 Concise Claude 输出 Claude的解释性输出 克劳德的正式输出

这些听起来都还是和克劳德平常的写作风格很像。这似乎和在提示中直接要求“简洁”或“正式”的输出没什么两样。

让我们看看使用自定义写作风格能否取得更好的效果。这个界面相当酷，基本上你只需复制一些文本进去，它就会为你生成完整的提示词。我根据自己的博客文章创建了一个自定义风格，Claude 将其命名为“科技故事讲述者”。我还根据一些 Slate Star Codex 博客文章创建了另一个风格，Claude 将其命名为“学术怀疑论者”。 看来这个功能是利用大语言模型（LLM）为写作风格生成大约三句的指导说明。虽然还有一个用户示例板块，但令我惊讶的是，提供给大语言模型的示例完全是生成的，而且与原始示例相比显得相当千篇一律。

科技故事讲述者提示 科技故事讲述者克劳德的输出 学术怀疑论者写作提示 学术怀疑论者克劳德的输出

这些内容看起来仍然明显像是AI生成的，Pangram的检测模型依然能识别出来。

由于我注意到AI生成的用户示例可能存在不足，因此我手动修改了写作风格提示，转而加入了原始示例：我的博客文章以及《Slate Star Codex》上的文章。

更新后的“科技故事讲述者”克劳德输出内容 更新后的“学术怀疑论者克劳德”输出结果

仍然明显能看出是AI生成的文章。这次写得更好了吗，还是更不像AI写的？倒也未必，不过《Tech Storyteller》中那个非常像AI风格的标题被去掉了，这确实是一个进步。我注意到的一点是，写作风格指南中提到要呈现“复杂信息”或“承认复杂性”，这似乎导致AI生成的文章中“复杂”一词的使用频率比其他文章更高。 这并非我们所要求的写作风格。

最后需要说明的是，我使用了Pangram仪表盘来分析这些文章中究竟哪些特征暴露了它们是由AI撰写的。其中许多短语在AI生成的文本中出现的频率远高于普通人类撰写的文本。

Pangram 仪表盘

例如，我们的模型发现，在AI生成的文本中，“复杂且多方面的”这一表述的使用频率比人类撰写的文本高出700倍。“错综复杂的相互作用”的使用频率高出100倍。“发挥了关键作用”的使用频率高出60倍。这些短语虽然可以作为我们直观识别AI生成文本的参考，但该模型采用的是整体分析方法，会综合考虑文档的完整语境。

总而言之，对于那些不想在每个提示词后都加上“不要啰嗦”的人来说，克劳德的写作风格似乎是个不错的功能，但它并不是一种能让AI生成的内容难以被察觉的工具。

试试 Pangram的人工智能检测工具，检查 Claude 及其他模型生成的内容。