全字母文本更新：GPT-4o、Claude 3、LLaMA 3

图片由谷歌DeepMind提供。

今天，我们很高兴向大家展示我们快速适应市场上新型大型语言模型（LLM）的能力。我们发布了模型更新，该更新在检测由GPT-4o、Claude 3和LLaMA 3生成的AI文本方面，实现了近乎完美的准确率。

简而言之：

• 我们发布了 Pangram Text 的新版本，该版本在 GPT-4o、Claude 3 和 LLaMA 3 上的性能得到了提升。
• 我们的基础设施管道已准备就绪，可在新模型一经公开发布，便迅速摄取其产生的大量AI文本。
• 我们发现，随着这些新模型的性能逐渐接近GPT-4的水平，它们在风格上也开始变得大同小异。

结果

我们最新发布的模型在检测新模型的输出方面表现相当不错，即使训练集中没有这些模型的任何示例。然而，我们并不满足于仅仅“表现不错”，我们希望确保能够不断推动人工智能检测技术的边界，并为客户实现尽可能高的准确率。

为了测试我们在新一代语言模型上的表现，我们对评估集进行了全面更新，该集包含25,000个难以区分的人类文本和由多款语言模型生成的AI文本示例。这套新的评估集中，约40%是由GPT-4o、Claude 3和LLaMA 3生成的各类AI文本，涵盖新闻、评论、教育等多个文本领域。

只要有新模型的各个版本可用，我们都会使用：例如，我们会从Claude 3的Opus、Sonnet和Haiku版本中均匀抽样。

在将最新的大语言模型（LLMs）纳入训练数据集进行更新后，我们发现，对于最新一代语言模型生成的文本，我们的准确率再次接近完美。

除了提升新模型的性能外，我们还发现，将最新一代模型的训练数据纳入其中，实际上也能在一定程度上提升若干旧模型的性能。

我们发现，在我们的旧模型评估集上，新方法不仅没有导致性能退化，实际上还改善了部分 GPT-3.5 和（常规）GPT-4 的检测结果。具体而言，我们发现此前模型未能通过的 8 个 GPT-3.5 案例现在通过了，此前模型未能通过的 13 个 GPT-4 案例现在也通过了。 由此我们得出结论：本模型在检测GPT-4o、Claude 3和LLaMA 3方面的能力提升，并未以牺牲对旧版模型的检测能力为代价。

保持领先地位

我们从一开始就意识到，大型语言模型（LLM）的前沿技术将迅速演变，因此我们在设计系统架构时已将这一点纳入考量。我们的系统能够在新API公开发布后的数小时内重新生成数据并开始训练新模型。

当发布新模型时，生成新数据集并重新训练模型只需修改配置即可。我们拥有一套标准的提示词模板库，这些模板专为输入到大型语言模型（LLMs）中而设计，旨在生成类似人类的文本——这些文本与我们数据集中人类生成的文本非常接近，但并非完全相同。我们在技术报告中详细介绍了这一被称为“基于合成镜像的硬负样本挖掘”的过程。

该新款车型的发布时间表如下：

5月13日：GPT-4o正式发布，并通过OpenAI API对外开放。 5月14日：数据集处理流程完成更新，并创建了新的训练集和评估集。 5月15日至16日：利用新数据集对AI检测模型进行了训练。 5月17日：完成了问答测试和合理性检查，并发布了该模型。

我们构建的基础设施使我们能够迅速适应变化，仅需一周时间即可将新模型生成的文本整合到生产检测系统中。

收益递减？

随着新型模型越来越强大，它们应该也越来越难以被检测到了，对吧？我们至今仍未找到任何证据来支持这一看似有道理、实则谬误的论点。

从观察结果来看，我们发现，由于其风格更具独特性，性能更强的模型实际上比性能较弱的模型更容易被识别出来。例如，我们发现，我们的旧模型在识别Claude Opus方面比Sonnet和Haiku更有效。

从LMSYS排行榜可以看出，许多基础模型正渐近收敛至GPT-4的水平，但目前尚无模型能以显著优势将其彻底超越。 从宏观角度来看，如果几家不同的基础模型公司都采用相同的基于注意力的架构，并利用整个互联网的数据进行训练，那么所有模型生成的语言最终听起来都极其相似也就不足为奇了。那些经常与语言模型打交道的人会立刻明白我们的意思。

从观察层面来看，我们发现当要求大型语言模型（LLMs）进行富有创意且真实的写作时——例如撰写观点文章、评论或创意短篇小说——它们生成的内容依然缺乏想象力，平淡无奇。我们认为，这本质上是优化目标所决定的：模型在预测高概率的后续内容时，会刻意规避分布之外的原创思想和创意。

我们珍视人类同胞的原创作品，是因为它们能为我们提供全新的视角或不同的思维方式，而非因为它们只是人们常说的那种平庸之作。只要这一价值依然成立，对人工智能检测的需求就永远存在，而解决这一问题的途径也永远存在。