我们认为，能够可靠地识别人工智能生成的文本非常重要，因此我们开发了一款能够实现这一功能的检测工具。鉴于这一问题至关重要，如实公开其工作原理是明智之举。
当任何作者写下一句话时，他们都在有意识或无意识地做出成千上万个关于句子应如何构成的决策。从根本上说，AI检测是一个作者识别问题——即对哪些决策属于哪种作者的典型特征进行分类。 我们之所以能做到这一点，是因为尽管像ChatGPT这样的语言大模型（LLMs）并非人类，但它们仍是一个独立的“作者”，会做出决策。它们可能做出的决策类型也受到限制：辅助型模型需要生成有帮助且清晰的文本，才能有效回答问题。这些偏好在训练过程中已深深植根于模型之中，一旦形成，就很难阻止它们显现出来。
什么是全字母句？
Pangram 是一种被称为分类器模型的神经网络。从最广义上讲，Pangram 会读取一段文本，并借助庞大的已学习模式集，判断该文本是否由人工智能生成。
Pangram 通过构建一种“地图”来区分人类写作与大型语言模型（LLM）生成的文本：在该地图上，写作风格相似的作者被置于相邻位置，而风格迥异的作者则被置于较远的位置。在这张地图上，人类撰写的文本与人工智能生成的文本形成了截然不同的聚类，我们的研究表明，Pangram 甚至能够将 ChatGPT 和 Claude 等主流商用语言模型定位在不同的区域。
当Pangram遇到一段它从未见过的文本时，它会通过将其与已知的文本进行对比，来确定该文本在地图上的位置。文本的任何单一特征都不会决定其归类位置，因此人类作者不会仅仅因为ChatGPT采用了他们惯用的修辞手法（例如长破折号）而面临被误分类的风险。那些显而易见的LLM特征，只是Pangram所考虑的数十万个信号中的一个。
如果生成的坐标位于“人类撰写”区域内，Pangram 会预测该文本由人类撰写；如果坐标位于更模糊的区域，或者同一文本的不同段落指向不同方向，Pangram 就会开始怀疑其中可能包含 AI 生成的内容。这就是为什么 Pangram 设定了最低字数要求：词数越多，坐标就越精确。 这种方法还有助于 Pangram 将分析结果推广到新发布的 AI 模型上——这些模型往往会继承前代模型的大部分风格和语调，因此在地图上占据非常相似的区域。
Pangram 比其他 AI 检测工具更胜一筹
此前针对检测AI生成文本的尝试均以惨痛且众目睽睽的失败告终。这是因为它们试图对大型语言模型生成文本的方式进行逆向工程。在句子的每个词之后，这些检测器都会自问：如果我是大型语言模型，接下来会预期出现哪个词？
例如，对于“我要带我的狗去……”这样的句子片段，人工智能模型可能会认为“散步”或“跑步”是极有可能出现的下一个词，而像“先兆”或“verglas”这类前后不搭的词则不太可能是候选词。 早期的检测器试图重建大语言模型（LLM）对可能词汇的排序，并将其与实际出现的词汇进行比较，因此文本越是遵循可预测的选择，检测器就越有可能将其归类为AI生成。本质上，这反映了大语言模型在遇到句子中的下一个词时会感到多么困惑，因此这种AI检测方式被称为“困惑度分析”。
困惑度分析存在诸多问题。它无法有效衡量其试图区分的对象，因为人类句子往往与大型语言模型生成的文本一样具有固定模式。因此，可预测或结构化的人类写作常常会被困惑度检测器错误地标记出来；与此同时，这些检测器却很容易被诸如用较不常见的同义词替换词汇等显而易见的策略所绕过。
众所周知，困惑度模型在处理许多计算机问世前的文本时也会失效。基于困惑度的检测往往会告诉你，《圣经》、《独立宣言》或玛丽·雪莱的《弗兰肯斯坦》都是100%由AI生成的。这是因为大型语言模型（LLM）在训练过程中已经阅读了《独立宣言》数千次，因此从LLM的角度来看，其中出现的每一个后续单词都毫无意外。 检测器错误地将这种可能性解读为该文本由AI生成的证据。
Pangram能够避免这种情况，因为它并不试图逆向分析大型语言模型（LLM）生成文本的机制。它不会逐个词地分析并询问“LLM 会在这里写什么？”，而是从整体文本出发，询问“这听起来像谁写的？”。这样一来，ChatGPT 的熟悉程度就绝不会导致 Pangram 将历史文献误判为 AI 生成的——但并非所有情况都如此简单。
我们是如何训练Pangram的
要训练一个分类器达到98%的准确率并不难。大多数AI生成的文本都很容易识别，神经网络也能迅速学会识别最明显的特征。正如几乎任何人都能将E. E. 卡明斯的诗与《卡拉马佐夫兄弟》中的引文进行对比，并得出它们出自不同作者的结论一样，一个基本的分类器也能轻而易举地区分出AI生成的意面食谱和人类的日记条目。 但在人工智能检测领域，98%的准确率却糟糕得离谱：2%的错误率意味着每50份文档中就会有1份被误判，这会让任何给定的预测结果都受到质疑。因此，试想一下，如果你是排名前2%的陀思妥耶夫斯基作品鉴别专家，你会采用什么策略来跻身前0.01%之列？
在这个层面上，直接重读陀思妥耶夫斯基会带来边际效益递减——要弥合这一差距，就必须找出除了陀思妥耶夫斯基本人之外无人能创造出的独特特征。一个不错的策略或许是雇佣几位专业模仿者，让他们写出尽可能逼真的陀思妥耶夫斯基“克隆体”，然后研究其中的差异。 这就是我们训练Pangram的方式：针对数据集中每篇获得商业授权的人类撰写的文本，我们都会生成一个尽可能接近原文的AI复制品。这些复制品长度相同、语气相同、主题相同，但由AI生成。随后，我们利用这些人类文本与AI文本的配对来训练Pangram模型。
在学习区分这些词对的过程中，Pangram 实际上提高了其内部地图中边界区域的分辨率。为了确保 Pangram 的地图尽可能准确，我们对数据中毒问题极为谨慎：我们用于训练的已知人类文本数据集选自 2021 年及更早时期，即人工智能尚未在互联网上大行其道之前。目前这种做法效果良好，但我们也意识到，随着语言的发展，我们必须相应地进行调整。 在数据漂移演变成问题之前就预先加以应对，是我们的首要研究重点之一。
我们怎么知道Pangram的说法是正确的？
Pangram 是一种仅基于文本进行预测的统计模型，因此其准确性也必须通过统计方法进行验证。这正是我们所做的。对于我们发布的每个 Pangram 模型，以及每次 AI 实验室更新其大型语言模型（LLM）时，我们都会公布内部基准测试结果。此外，我们还经过了独立第三方（例如芝加哥大学和马里兰大学的团队）的测试和验证。
如果您是研究人员——或者您有一个非常好的想法，并承诺会发表研究成果——您可以申请我们的API积分补助金，亲自测试我们的模型。我们一直在寻求改进的方法。
