Pangram 在检测推理模型方面表现如何？

2025年大型语言模型领域最重要的突破之一，便是推理模型的兴起。通俗地说，这些模型学会了在“开口”之前先“思考”。

什么是推理模型？

推理模型与普通的大型语言模型（LLM）并无二致，不同之处在于，除了生成输出令牌外，这些模型还经过训练，能够生成“思考令牌”或“推理令牌”。在思考阶段，模型会尝试通过推理来处理复杂任务，在给出答案之前，会尝试不同的方法并自我质疑。实际上，这些模型在解决问题方面表现出色，特别是在数学和编程领域，其基准测试成绩远超其规模应有的水平。

推理模型是如何工作的？

推理模型在说话之前会进行所谓的“思维链”运算。以下是一个示例，来自Deepseek-R1——这是目前唯一一个公开展示模型“思维过程”的推理模型。

Deepseek R1 推理链示例

在这个示例中，Deepseek 会在开始生成词元之前先思考用户的需求，从而能够更有效地对内容进行逻辑组织，并推敲出最佳的输出结果。

最常见的推理模型有哪些？

多家供应商已开发出性能达到业界领先水平的推理模型。

OpenAI

OpenAI 的推理模型系列名为 O系列。目前可用的模型包括 o1、o1-mini、o3、o3-pro 和 o4-mini。其中 o3-pro 是性能最强的模型。

Anthropic

Anthropic 为最新版本的 Claude 添加了推理功能。Claude 4 Opus 和 Claude 4 Sonnet 均具备“扩展思考”模式，使它们能够在回答问题前进行推理。

双子座

谷歌的Gemini 2.5系列模型现已采用内部推理机制，同时也具备推理能力。Gemini 2.5 Pro、Gemini 2.5 Flash和Gemini 2.5 Flash-Lite均具备推理能力。

Deepseek

Deepseek R1 是首个开源推理模型，由中国公司 Deepseek 发布。与其他商业闭源模型不同，在 Deepseek 中，除了最终输出结果外，用户还可以实际看到模型的推理过程。

Qwen

此外，另一家中国公司Qwen也发布了一个名为Qwen-QWQ-32B的推理模型。这是一个规模较小的推理模型，其部署场景比Deepseek R1更为广泛。

Pangram 在这些推理模型上的表现如何？

我们最近发布了Pangram 人工智能检测模型的更新，全面提升了推理模型的性能。

o3 和 o3-pro 的性能提升最为显著。我们发现，o3 和 o3-pro 与 OpenAI 此前发布的模型存在显著差异，而我们旧版的人工智能检测模型在应对这些模型时泛化能力较弱，初次测试时的召回率仅为 93%。

求解 o3 和 o3-pro

我们面临的另一个问题是，o3 和 o3-pro 的计算成本远高于其前代模型，这意味着我们无法像使用其他模型那样，通过它们生成同等规模的数据。更复杂的是，由于这些模型在生成输出令牌前需要花费大量时间进行思考，因此运行时间也更长。

我们重新生成训练集数据时，其中包含少量o3 和 o3-pro 数据。在 7 月发布的最终训练集中，o3 文本仅占训练数据总量的 0.17%，o3-pro 文本仅占 0.35%。 为平衡这一比例并提升泛化能力，我们将 o3-mini 文本在训练数据中的占比提升至 5%。令人惊喜的是，这一调整效果极佳！仅通过微调训练集，我们就成功使 o3 和 o3-pro 的召回率与其他被评估的 LLM 持平，且无需牺牲任何假阳性率。

Pangram 是一个少量样本学习器

Pangram 的这一特性——即我们可以利用少量来自新一代大型语言模型（LLM）的数据样本对其进行训练，而这些模型在性质上与前代模型存在显著差异——使得 Pangram 成为我们所称的“少样本学习器”。 这一特性具有深远意义：当新一代大语言模型发布时，甚至当基于微调大语言模型（其底层写作风格可能有所不同）的新型产品问世时，Pangram 都能以低成本快速适应，而无需耗费巨大精力重新生成数据集。

许多人问我们，为什么我们相信自己能赢得这场本质上是“猫捉老鼠”的游戏。由于Pangram是一种少样本学习器，追赶新的大型语言模型（LLMs）其实并没有表面上看起来那么困难——我们只需向Pangram展示几个示例，它就能高效地进行泛化并掌握模式。 通俗地说，Pangram在“学习如何学习”新LLM的表达方式方面极其高效，因为它在过去已经接触过如此多的LLM。

这一特点，加上每个大型语言模型（LLM）都拥有自己独特且别具一格的风格，实际上使得Pangram能够更轻松地适应新发布的大型语言模型，即使这些模型在不断提升并变得越来越强大。在我们看来，大型语言模型的能力与其可检测性是相互独立的。

结语：为什么 o3 和 o3-pro 不同？

我们从人工智能圈内的几位人士那里了解到，o3 和 o3-pro 确实与我们之前见过的其他大型语言模型（LLMs）有着不同的风格。 根据我们的经验，这是自 Claude 2 以来，Pangram 首次无法以 99% 以上的可靠性（在未接触任何模型数据的情况下）通过零样本测试的模型。虽然很难准确指出它们的独特之处，但以下是一些关于其特殊性的假设。

• o3 和 o3-pro 在工具应用方面进行了过度优化。 我们知道，Pangram主要通过检测训练后引入的行为和独特特征来识别AI生成的内容。OpenAI在其发布博文中指出，o3和o3-pro与前代模型的区别在于，它们在训练后过程中采用了强化学习，将工具使用纳入其中。这种训练后算法的差异可能也从本质上影响了输出内容的风格。

• o3 和 o3-pro 更容易产生幻觉。据内森·兰伯特（Nathan Lambert）称，o3 在代码中插入了一个无效的非 ASCII 字符，并在尝试解决任务时虚构了自己的操作，例如声称在一部完全虚构的 Macbook Pro 上运行了计时代码；此外，METR 进行的独立评估发现，o3 倾向于“篡改分数”，而非真正解决实际的代理任务。

如需了解有关 o3 和 o3-pro 的更多信息，建议阅读Nathan 的博客文章、Dan Shipper 的《Vibe Check》以及OpenAI 的发布博文。

结论

Pangram 在推理模型方面的表现与其他大型语言模型（LLMs）同样出色，但在写作风格和语气方面，o3 和 o3-pro 似乎与它们的前代产品有所不同。在提升 Pangram 在 o3 和 o3-pro 上的性能过程中，我们意识到，由于 Pangram 是一款极其强大的少样本学习模型，因此当这些大型语言模型发布时，我们实际上可能不需要像之前预想的那样从每个模型中获取大量示例。

我们正在考虑调整训练架构和流程，这将使 Pangram 的更新变得更快、更轻松，并让我们能够更快地发布 AI 检测模型，使其检测最新的大语言模型（LLMs）的速度比以往更快。敬请期待后续更新！