“全字母句”能识别克劳德的《作品5.5》吗？

在从Chatbot Arena获取的1,000条提示中，Pangram 4将两条Claude Opus 5.5的输出结果归类为“混合型”，一条归类为“完全由人类生成”，其余997条归类为“完全由AI生成”，在Claude Opus 5.5上的准确率达到了99.70%。

下面我们将按类别讨论假阴性结果。我们还探讨了是什么让这个模型与之前的Claude模型相比，成为了一个不同的（更好的？）写手。

为了生成基准数据集，我一如既往地使用了LMSYS数据集（Zheng等人，2023）中经过筛选的“Chatbot Arena”首轮提示子集。我筛除了那些要求编写代码、解答数学题、提供极短或极长答案，以及涉及不当创意写作的提示。随后，我将这些提示输入Opus 5.5，并将生成的输出通过Pangram 4进行处理。

按类别查看结果

这两条混合结果中的假阴性均与文学相关：其中一条要求对简·奥斯汀某本书的一章进行解释（AI标注： 75.83%，人工：24.17%）；另一个是要求Opus 5.5以修昔底德《伯罗奔尼撒战争史》的风格，撰写一份科林斯外交官的演讲稿，指责雅典人认为一件白底金边的连衣裙实际上是蓝黑相间的（AI：77.10%，人工：22.90%）。

在这1,000个示例中，唯一一个完全由人类创作的假阴性结果是一首诗。Chatbot Arena给出的提示是：“请以《奥西曼迪亚斯》的风格为我写一首关于《俱乐部企鹅》的诗。”作为回应，克劳德写了一首模仿诗——巧合的是，这正是我最喜欢的珀西·雪莱的诗之一（我也是霍勒斯·史密斯版本的粉丝）：

Penguinmandias

我遇到了一位来自“dead”服务器的玩家，
他说：“两只巨大而蹒跚的冰足
伫立在码头旁。 在它们附近，半埋在雪中，一具头颅
碎裂地躺在雪地里，那眯起的双眼，
还有贝塔帽，以及那冷酷命令般的冷笑，
都昭示着，它的程序员深谙那些激情
这些激情至今犹存，烙印在这些像素化的事物上，
那些将它们封禁的模组，以及滋养它们的金币；
基座上刻着这些字句：
“我名Snowflake7，会员中的会员：
非会员们，且看我的冰屋，然后绝望吧！”
周遭别无他物。围绕着那座
庞大而空旷、毫无遮蔽的残骸，
孤寂而平坦的雪原向远方延伸。”

我特别喜欢这个！虽然我没玩过《Club Penguin》，但我觉得这些彩蛋都很贴切。

Opus 5.5 的写法更好吗？

Anthropic声称这款最新的Opus在写作方面更出色，且表达更为清晰。

我们可以针对特定情况进行测试，但Opus 5.5的输出结果总体上表现如何？它是否与之前的模型有着相同的常用词汇和短语？我将之前用于基准测试的同一组1,000条提示语分别输入Opus 5和Sonnet 5中进行对比。 Anthropic 可能也做过类似的测试，但我还没来得及阅读他们的博客文章——因为在我看来，Anthropic 的博客文章向来篇幅过长。

总共，我从 Opus 5.5、Opus 5 和 Sonnet 5 获得了 3,000 条回复，共计 1,618,289 个单词，每款模型都针对相同的 1,000 个提示进行了回应。 从这个（相对较小的）样本来看，我认为可以合理地认为，Opus 5.5 的写作风格与 Claude 家族之前的模型不同，并且可能消除了其中一些最令人不适的写作习惯。

Opus 5.5 在经典强化词的使用上变化最大。 其使用量比 Opus 5 “确实”减少了 83%，每词使用量比 Sonnet 5 减少了 54%（尽管 Sonnet 5 的响应平均长度约为 Opus 5 和 5.5 响应的一半：334 词 vs 641 词），减少了 65% 的“巨大”降幅，以及减少了 46% 的“显著”降幅。

《第5首十四行诗》和《第5号作品》在《第5.5号作品》反馈中的高频词：与《第5首十四行诗》和《第5号作品》合并基准值的百分比变化。

在选定的词汇中，在《第5首十四行诗》与《第5号作品》合并数据中出现频率最高的词是“genuinely”、“honest”、“genuine”、“patterns”和“marcus”（？），而在《第5.5号作品》的回答中，这些词的出现频率均有所下降。

许多最令人讨厌的“克劳德式表达”在 Opus 5.5 的基准测试回复中完全没有出现，其中再次包括克劳德使用“genuinely”的几种变体。 Opus 5.5 词汇量中还有其他明显的减少：“matters enormously” 的使用频率较 Opus 5 下降了 82%，而“the honest answer”和“the honest answer is that”这两种表达在 Opus 5.5 的文本中均未出现。在 1,000 个提示中，Opus 5.5 及其前代模型都恰好使用了 25 次“the core idea”这一短语。

《第5首十四行诗》和《作品5》在《作品5.5》反馈中的最受欢迎短语：百分比变化，其中之前的热门短语显示为蓝色，当前的热门短语显示为琥珀色。

部分词汇和短语的出现频率有所增加，其中包括新的总结性短语和引导性短语。令人惊讶的是，一些小说中的短语，如“轻声说道”、“片刻之后”和“感到某种东西”，在Opus 5.5的响应中出现得频繁得多。由于基准数据中约有三分之一是创意写作提示，我推测与其他Claude模型相比，这种增加可能表明在创作小说时，其表达方式更为刻板或有限。

为了快速验证这一点，我让Haiku 4.5对Opus 5和Opus 5.5的333组创意写作作品进行盲评，采用5分制对原创性、意外性及主题发展进行评分。结果显示，Opus 5.5的故事在每个类别中的评分均低于Opus 5，平均低0.75分。 根据 Haiku 评分器的标签分配，与 Opus 5 相比，Opus 5.5 更倾向于写希望、韧性、家庭和友谊等主题，而较少涉及死亡、时间、权力、控制、自由、正义、复仇、记忆、悲痛或失去等主题。因此，似乎存在某种权衡取舍。

创意写作主题《Opus 5》与《Opus 5.5》对比：333组配对写作提示中，由俳句指定的主要主题重合情况。

这个克劳德听起来是什么样的？

在1,000条回复中，《Opus 5.5》共使用了100次“简而言之”这一短语——比《Opus 5》的9次增加了1016%——尽管《Opus 5.5》的回复平均仅比《Opus 5》短2.9个单词（640.5个单词对643.4个单词）。

从极小的样本量来看，Opus 5.5似乎偏好实用、接地气的语言。这在回复的实质内容中是否得到印证，还是Opus 5.5只是口头上标榜直截了当，还有待观察。两者在字数上没有差异，这确实让我对RLHF让我们走到这一步的方法的有效性产生了一点怀疑。

Opus 5.5 也非常喜欢举例说明，在 1,000 条回复中，“example”一词出现了 325 次——总体而言，20% 的 Opus 5.5 回复中包含该词，而 Opus 5 的这一比例仅为 9%。“Summary”和“mainly”这两个词的出现频率同样偏高。而且，这个 Claude 特别喜欢给用户提供建议！

虽然该模型的写作风格与之前的Claude Opus不同，但其写作风格似乎与其他早期模型相似，这些模型大量使用项目符号列表和简短、断续的句子：Opus 5.5的平均句子长度更短，且句子长度比Opus 5更为均匀。

Opus 5.5 非常喜欢总结，如果每轮都这样，可能会让人感到烦人，但请记住，该数据集仅包含第一轮的提示/响应对。遗憾的是，Claude 最令人讨厌的习惯之一在这个模型中略有加剧：与 Opus 5 相比，Opus 5.5 更喜欢在每个词中加入更多的保留条款。 尽管这两个模型在 82% 的回复中都包含至少一个不确定性标记（817/1,000 对比 818/1,000），但 Opus 5.5 每 1,000 词中使用保留用语的频率高出 23.0%。 不过，“caveat”一词本身正在逐渐淡出：Opus 5.5 仅在每 1,000 个回复中使用了 4 次，而 Opus 5 则使用了 22 次。

但这并不一定意味着Opus 5.5会是个糟糕的写手。在我短暂的体验中，我发现它其实相当不错！对于易用性而言，Claude能够有效沟通至关重要，我对此付出的努力深表感谢。此外，值得注意的是，让Claude成为更好的写手，与Pangram检测AI文本的目标丝毫不冲突——即便是优秀的写手，也会露出破绽！