不，大型语言模型（LLMs）不仅仅是模仿人类的文本

有些人认为无法检测出AI生成的文本，因为大型语言模型（LLM）是在模仿人类文本的基础上训练出来的，但事实并非如此。实际上，大型语言模型的写作方式与人类截然不同，而这正是能够检测出AI生成的文本的原因。

弗雷迪·德博尔在他的Substack文章中写道：

“[AI写作]的模式从何而来？它们源自用于构建大型语言模型（LLM）的训练语料库中的人类书面文本。每一个大型语言模型的文本模式——每一个大型语言模型的文本模式——归根结底都是人类文本创作的产物。大型语言模型的本质，正是基于人类文本来建模人类文本。”

他得出结论：因此，不可能构建出误报率极低的人工智能检测器，因为总有可能会出现这样的情况：某些人会想到并写下与大型语言模型（LLM）生成的文本字符串完全相同的内容。

我们经常听到各种版本的说法：

“大型语言模型（LLM）是从人类写作的分布中进行采样；因此，你无法识别出由大型语言模型生成的文本，因为大型语言模型的训练分布本身就是人类写作。”

“大型语言模型（LLM）经过训练可以像人类一样写作，因此只要它们发挥应有的作用，AI生成的内容就能骗过任何检测工具。”

这些论点乍看之下似乎有理，但它们未能考虑到现代大型语言模型（LLMs）是复杂的系统。现代大型语言模型经过训练，其能力远不止于匹配人类文本的分布。在这篇博文中，我们将探讨诸如ChatGPT、Claude和Gemini等现代大型语言模型为何以及在哪些方面偏离了人类文本的分布，以及是什么赋予了它们独特的风格和语调，从而使得其撰写的文本能够被识别出来。

摘要：人们很容易认为，既然大型语言模型（LLMs）是经过训练来模拟人类文本的，那么其输出的内容就会与人类写作难以区分。但实际上，大型语言模型并非仅仅是模仿人类文本：它们经过后训练，已成为能够遵循指令的实用助手，这使得它们的写作被限制在一段可通过算法检测出的狭窄选项范围内。

《创世记：下一代代币预测》

语言模型的发展历程始于补全模型。这些早期的语言模型原理很简单：它们通过大量文本数据，学习单词之间通常的连接规律。随后，用户向补全模型输入几个起始单词，模型便会据此预测最可能出现的下一个单词。

完成模型会预测下一个令牌的概率分布

图片来源：AIML.com

从本质上看，一个补全模型会接收一个初始字符串（或前缀），例如“深度学习是……”，然后输出一个概率列表，表示接下来最可能出现的词。这些概率是根据一个非常庞大的训练语料库（主要由互联网数据组成）中所有补全结果的汇总得出的。 最终形成了一个涵盖所有人类写作的概率模型，该模型能够根据训练数据集中单词的自然频率，推测哪些词最有可能按特定顺序出现。

由此诞生了首批语言模型：GPT-1、GPT-2 和 GPT-3。这些模型如今被称为基础模型：它们体现了人类语言的原始分布，但其输出结果尚属粗糙、未经打磨——它们无法遵循指令，也无法进行对话。 如今，我们将语言模型开发的这一初始阶段称为预训练，而这仅仅是打造人工智能助手或聊天机器人过程中的第一步——后续还有许多工作需要完成。

从 GPT 到 ChatGPT

我们究竟是从对单词的原始分布，到能够像人一样与语言模型对话，这一转变是在何时发生的？要回答这个问题，我们必须回溯到2022年3月——当时，在将语言模型转化为智能助手方面取得了首个重大突破：OpenAI发布了InstructGPT。

InstructGPT是首个不仅被明确训练来模仿人类语言，而且被训练来遵循用户给出的指令（我们现在称之为“提示词”）的语言模型。

InstructGPT论文中提到的三个训练后步骤：监督式微调、奖励模型训练和强化学习

下图摘自InstructGPT的原始论文。该论文证明，可以通过一种称为“后训练”的技术，对基础模型（此处为GPT-3）进行定制，使其成为一个乐于助人且能遵循指令的助手——通过调整模型的风格，使其呈现出特定的个性。

本文描述了三个步骤：

1. 人类撰稿人提供了他们认为对提示输入而言可接受的人工智能回复示例
2. 人工智能研究人员开发了一种奖励模型，该模型能够学习人类倾向于更喜欢上述哪些给定回答
3. AI研究人员利用奖励模型，训练大型语言模型（LLM）在一系列生成的回复中最大化奖励。

这与心理学中的巴甫洛夫条件反射非常相似！研究人员会对模型的某些输出给予奖励，而对其他输出则不予奖励；通过反复训练，模型学会将原本中性的事物——即人类偏好的输出响应——与奖励函数中的正值建立联系。这种技术被称为“指令调优”，正是它将基础模型重塑为“指令模型”：一种能够进行对话并遵循用户指令的模型。

指令微调可以防止语言模型偏离正轨、遗忘提示中的关键信息，或开始进行离谱的联想。它还能让 OpenAI 和 Anthropic 等开发人员能够控制其模型的行为。 例如，即使用户希望获得此类回应，模型也应拒绝告知用户如何制造炸弹或抢劫银行。如果没有后训练，模型对齐——即让大型语言模型变得有用、无害且安全的能力——将无法实现。 Anthropic 是此类模型行为规范的先驱，其发表的《宪法式人工智能》（Constitutional AI）论文描述了如何利用后训练技术，创建遵循 Anthropic 宪法中概述的一套原则的人工智能。最后，从理论上讲，指令微调能让模型在对话时更讨人喜欢。由于人类评估员会对模型给出令人愉悦的回答给予奖励，模型会变得更友善，并培养出更好的个性。

天下没有免费的午餐：培训后的负面影响

训练后并非全是好消息。重塑输出会严重影响模型的行为，并使其生成的文本与原始基础模型的生成结果大相径庭。

阿谀奉承

根据人类偏好对大型语言模型（LLM）进行优化，可能会导致该模型将取悦用户置于正确性之上。如果这种倾向发展到极端，LLM 就会强化用户的错误信念，而不是予以反驳。2025年4月，针对此类阿谀奉承的模型行为曾引发一场轰动事件，当时OpenAI 承认其新发布的 GPT-4o 过于奉承和顺从，甚至给用户带来了损害。

人工智能输出中创造力与多样性的丧失

微调还会导致大型语言模型（LLM）生成的回复缺乏创意和独特性。一些研究人员推测，微调会导致大型语言模型生成的文本听起来平淡、缺乏新意、千篇一律，或者像AI生成的粗制滥造之作。

一篇发表于2024年的论文《创造力已离开聊天》（Creativity has Left the Chat）对比了Meta人工智能模型Llama 2的“指导版”（instruct）与“基础版”（base）在多样性方面的差异。研究发现，Llama 2的“指导版”在输出内容中展现出的语义和风格多样性明显较低；例如，在为故事选择角色时，“指导版”Llama 2总是选择年龄、国籍、性格类型相同的角色，甚至给他们取了相同的名字。 下图是基础版和Instruct版模型所选名字的词云图。

由基础模型与对齐模型生成的名称词云，摘自《创造力已离开聊天室》

平滑对数比值与模式坍缩

与此相关的是，再训练会导致所谓的“平坦化对数 odds”，即经过再训练的大型语言模型会确定性地选择一个单一的下一个单词，而不是生成多种可能的下一个单词的分布。

虽然乍一看这似乎没什么问题，但这会导致所谓的“模式坍缩”——即当大型语言模型（LLMs）不再生成丰富多样的表达，而是反复做出同样有限的选择时，就会发生这种情况。

峰值坍缩与峰值覆盖：坍缩模型将概率集中在单一峰值上

以下是模式坍缩的直观示例：假设表达某事有三种最常见的表达方式，发生模式坍缩的大型语言模型（LLM）会默认选择最常见的表达方式，而不是将概率分散到所有表达方式上。

这跟可检测性有什么关系？

大型语言模型（LLM）以这种方式进行训练这一事实，对检测工作产生了几方面影响。由于大型语言模型是针对特定的人类偏好进行优化的，因此它们往往会形成非常鲜明的个性。这些个性具有一些怪癖、习惯和独特之处，检测模型可以据此将其与人类写作区分开来。 对数比值（logits）趋于平坦以及模式坍缩（mode collapse）也意味着，经过对齐的LLM在生成文本时往往会做出非常一致的选择，这意味着我们可以通过分析大量人类和AI生成的数据来了解这些选择的具体内容。

此外，由于互联网上的文本质量日益低劣，当今开发的LLM在训练过程中最终会吸收自己的输出结果。例如，截至2024年底，超过三分之一的互联网新文章是由AI生成的；如此庞大的AI生成文本量会产生一种放大效应，导致新模型甚至会吸收生成这些文本的旧模型的特征，即使这些模型属于不同的模型家族也是如此。 这就是为什么许多大语言模型在风格上与最初的ChatGPT存在相似之处，尽管它们是由完全不同的实验室开发的！有时，这种现象甚至是故意为之：普遍猜测中国实验室试图通过基于美国前沿模型（如Claude）的输出进行训练，从而从这些模型中进行“提炼”。这使得这些语言模型具备了类似Claude的个性！

大型语言模型（LLM）会一直这么容易被识别出来吗？

探索和解决模式坍缩问题是人工智能研究中一个正在进行且活跃的领域。大语言模型（LLMs）将来能否产生更多样化的输出分布？我的观点是肯定的，甚至有些语言模型已经表现出了相当高的多样性：事实上，我们已经通过基础模型获得了这样的能力！

然而，“后训练”这一范式不会消失。大型语言模型（LLM）之所以会做出一致的选择并表现出特定的偏好，正是其开发者偏好的体现。试着问一个中文语言模型“1989年天安门广场发生了什么”，你立刻就能察觉到该开发者的偏好！ 事实上，如果没有微调，我们就无法拥有既安全、立场一致，又能表现出有益且无害行为的语言模型。归根结底，大型语言模型公司正在开发具有行为要求的消费级产品：人类文本空间中存在某些领域（如恶意内容、虚假信息等），这些公司不希望其模型涉足其中。 最后，大型语言模型公司还希望优化模型，使其拥有讨人喜欢的个性——用户与模型互动时体验越愉快，就越有可能使用该特定模型，而非竞争对手的模型。从一些GPT-4o粉丝对OpenAI停用该模型的反应中，就可以看出这一点。

这些开发者和人类的偏好最终在模型中体现为：为了实现对齐、行为塑造和个性优化，而缩小了这些大型语言模型（LLMs）的个性与输出空间。因此，只要这些模型开发者继续对模型行为持有特定的偏好和选择，我相信Pangram应该能够持续地检测到此类偏好。