为何“困惑度”和“突发性”无法检测人工智能

当你在网上搜索AI检测器的工作原理时，通常会看到许多资料提到“困惑度”和“突发性”这两个术语。这些术语是什么意思？为什么它们最终无法有效检测AI生成的内容？今天，我想详细解析困惑度和突发性的含义，并解释为什么它们不适合用于检测AI生成的文本。 我们还将探讨它们为何失效，以及基于困惑度和突发性的检测器为何会错误地将《独立宣言》判定为AI生成，同时这些检测器为何对非英语母语者存在偏见。让我们开始吧！

什么是困惑度和突发性？

我们先从一个不那么严谨的非技术性定义入手，简单说明一下“困惑度”的概念及其作用，以便大家对其有一个大致的了解。关于困惑度的更多背景知识，我发现这篇两分钟的科普文章非常有用。

“困惑度”是指从特定语言模型或大型语言模型（LLM）的角度来看，文本中每个词的意外程度或令人惊讶的程度。

例如，这里有两句话。为了说明问题，我们来关注每句话的最后一个词。在第一个例子中，最后一个词的困惑度较低，而在第二个例子中，最后一个词的困惑度较高。

低困惑度：

今天中午，我吃了一碗*汤*。

高困惑度：

今天午饭，我吃了一碗*蜘蛛*。

第二句的困惑度之所以很高，是因为语言模型在训练数据集中极少见到人们吃一碗蜘蛛的例子，因此对于该句以“蜘蛛”结尾，而非“汤”、“三明治”或“沙拉”之类的内容，语言模型会感到非常意外。

“Perplexity”（困惑度）一词与“perplexed”（困惑的）同源，意为“困惑”或“不知所措”。将困惑度理解为语言模型的困惑状态会很有帮助：当它遇到与训练过程中所阅读和吸收的内容相比既陌生又出乎意料的内容时，我们就可以认为该语言模型在完成任务时感到困惑或不知所措。

好的，很好，那么关于突发性呢？突发性是指在文档中熵值的变化情况。如果文档中穿插着一些出人意料的词语和短语，我们就会说该文档的突发性很高。

基于困惑度和突发性的检测器是如何工作的？

遗憾的是，大多数商用检测器（Pangram除外）并未公开其具体方法，但根据其描述可知，人类撰写的文本被认为具有更高的困惑度和更高的突发性，而人工智能生成的文本则具有更低的概率和更低的突发性。

下面我们可以直观地看到这一现象！我从Huggingface下载了GPT-2模型，并计算了两份文档中所有文本的困惑度：一份是人类撰写的餐厅评论，另一份是AI生成的评论。随后，我将困惑度较低的文本标记为蓝色，困惑度较高的文本标记为红色。

通过复杂度可视化比较人工智能与人类撰写的文本

如您所见，AI生成的文本整体呈深蓝色，表明其困惑度值普遍较低。而人类生成的文本虽然大部分也是蓝色的，但其中夹杂着红色的高峰。这就是我们所说的“高突发性”。

正是这一理念催生了困惑度检测器和突发性检测器。不仅最早一批商用AI检测器基于这一理念，它还启发了诸如DetectGPT和Binoculars等学术研究。

说句公道话，这些困惑度和突发性检测器确实有时能奏效！我们只是不认为它们能在必须避免误判的高风险场景中可靠地发挥作用，例如在课堂上，AI的误报可能会破坏师生之间的信任，甚至更糟的是，在法律案件中制造出不准确的证据。

缺陷 1：训练集中的文本被错误地归类为 AI

对于不了解大型语言模型（LLM）创建过程的人来说，在大型语言模型能够部署并作为聊天机器人使用之前，必须先经过一个称为“训练”的过程。在训练过程中，语言模型会处理数十亿条文本，并从中学习所谓“训练集”所蕴含的底层语言模式。

训练流程的具体技术细节不在本文讨论范围内，但有一个关键点在于：在优化过程中，大型语言模型（LLM）会直接受到激励，以尽可能降低其训练集文档的困惑度！换言之，模型会随着时间的推移逐渐学会：在训练过程中反复出现的文本片段，其困惑度应尽可能低。

这有什么问题吗？

由于模型被要求使训练集文档的困惑度降低，因此困惑度和突发性检测器会将普通的训练集文档归类为AI生成的，即使这些训练集文档实际上是由人类撰写的！

这就是为什么基于困惑度的AI检测器会将《独立宣言》归类为AI生成的内容：由于《独立宣言》是一份著名的历史文献，在无数教科书和网络文章中被反复转载，因此它频繁出现在AI训练数据集中……非常频繁。 而且由于在训练过程中每次看到的文本都完全相同，模型在看到《独立宣言》时能够记住其内容，进而自动为所有词元分配极低的困惑度，这也导致其突发性（burstiness）变得非常低。

我对《独立宣言》运行了与上文相同的可视化分析——结果显示出相同的AI特征：全文呈现出深邃且一致的蓝色，表明每个单词的困惑度都很低。从基于困惑度和突发性的检测器来看，《独立宣言》与AI生成的内容完全无法区分。

有趣的是，我们注意到《独立宣言》的第一句话比其余部分颜色更深，且困惑度更低。这是因为该段落中第一句话是被复制次数最多的一部分，在GPT-2的训练集中出现频率最高。

《独立宣言》的Perplexity可视化

同样，我们发现，其他常见的LLM训练数据源在使用困惑度和突发性检测器时，误报率也会升高。维基百科因其高质量和无限制的许可协议而成为非常常见的训练数据集：正因如此，它极易被误判为AI生成内容，因为语言模型正是针对维基百科条目直接优化以降低困惑度的。

随着人工智能的持续发展和日益先进，这一问题正变得愈发严重，因为最新的语言模型对数据的需求极其庞大：就在您阅读本文的此刻，OpenAI、谷歌和Anthropic的爬虫程序正疯狂地抓取互联网上的内容，持续为语言模型的训练摄入数据。 出版商和网站所有者是否应该担心，允许这些爬虫抓取其网站用于大语言模型（LLM）训练，可能会导致未来其内容被误判为AI生成？那些考虑向OpenAI授权数据的公司，是否需要权衡这样的风险：一旦大语言模型摄入这些数据，这些数据回流时可能会被错误地判定为AI生成？我们认为这是一种完全不可接受的失效情况，而且这种情况正随着时间的推移而日益恶化。

缺点 #2：不同语言模型的困惑度和突发性存在差异

将困惑度和突发性用作检测指标的另一个问题在于，它们是针对特定语言模型而言的。例如，对GPT而言理所当然的结果，对Claude来说可能并不成立。而且，当新模型问世时，其困惑度也会有所不同。

所谓的“黑箱”熵基检测器需要选择一种语言模型来衡量实际熵值。但当该语言模型的熵值与生成器的熵值不一致时，就会得到严重失真的结果，而且随着新模型的发布，这一问题只会愈演愈烈。

缺点三：商业模型并不总能揭示困惑度

闭源提供商并不总是提供每个令牌的概率，因此你甚至无法为闭源商业模型（如 ChatGPT、Gemini 和 Claude）计算困惑度。充其量，你可以使用开源模型来测量困惑度，但这会遇到与“缺陷 2”相同的问题。

缺陷 #4：非英语母语者（ESL）撰写的文本被错误地归类为AI生成

有观点认为，AI检测系统对非英语母语者存在偏见，这一观点得到了斯坦福大学2023年针对91篇托福作文的研究支持。尽管Pangram对非英语母语文本进行了广泛的基准测试，并将其纳入训练集以确保模型能够识别和检测此类文本，但基于困惑度的检测器在处理非英语母语文本时，确实存在较高的误报率。

原因在于，英语学习者撰写的文本通常具有较低的困惑度和较低的突发性。我们认为这并非偶然：这是因为在语言学习过程中，学生的词汇量明显更为有限，且无法构建出对语言模型而言属于非常规或具有高意外性的复杂句式。 我们认为，学会以高困惑度、高突发性的方式写作，同时仍保持语言正确性，是一种源于语言实践经验的高级语言技能。

非英语母语者——我们认为，由此推及，神经多样性学生或残障学生——更容易被基于困惑度的AI检测器识别出来。

缺点 #5：基于困惑度的检测器无法进行迭代式自我优化

我们认为，基于熵的检测器最大的缺陷在于，它们无法随着数据和计算规模的扩大而自我优化——这也正是我们Pangram团队选择采用基于深度学习的方法的原因。

这是什么意思？随着Pangram通过我们的主动学习算法积累更多人类文本的经验，它的表现会逐渐提升。正是通过这种方式，我们将误报率从2%降至1%，再降至0.1%，如今已降至0.01%。而基于困惑度的检测器无法通过获取更多数据来提升性能。

资源与延伸阅读

• 《DetectGPT：基于概率曲率的零样本机器生成文本检测》是一篇研究论文，该论文通过考察局部困惑度景观来区分人类写作与人工智能写作，而非依赖绝对的困惑度值。

• 《用双筒望远镜识别大型语言模型：机器生成文本的零样本检测》一文采用了一种名为“交叉困惑度”的新指标，以改进基础的困惑度检测方法。

• Pangram 的技术白皮书深入探讨了我们基于深度主动学习的、用于检测 AI 生成的文本的替代解决方案。

结论

计算与人工智能生成的文本相关的统计指标，与构建能够可靠检测人工智能生成文本的投入生产级系统之间存在巨大差异。虽然基于困惑度的检测器捕捉到了人类文本之所以为人类文本、人工智能文本之所以为人工智能文本的重要特征，但基于本文所述的原因，您无法使用基于困惑度的检测器在保持足够低的误报率以满足生产应用需求的同时，可靠地检测人工智能生成的文本。

在教育等需要重点避免误报的领域，我们希望看到更多研究转向基于深度学习的方法，而非依赖困惑度、突发性或基于指标的方法。

我们希望这能帮助大家理解，为何 Pangram 选择不使用困惑度和突发性来检测 AI 生成的文本，而是专注于那些既可靠又具备可扩展性的方法。

Pangram 采用深度学习技术，而非统计启发式方法。欢迎试用我们的AI 内容检测器，体验生产级别的准确性。