Pangram 3.0：量化文本中人工智能编辑的程度

*注：我们的新模型 Pangram 3.0 基于我们已发表的研究论文：《EditLens：量化文本中 AI 编辑的程度》。

ChatGPT、Claude 和 Gemini 等大型语言模型（LLM）的快速普及，彻底改变了我们撰写、修改文本以及与文本互动的方式。 OpenAI最近的一项研究发现，在所有针对 ChatGPT 的写作相关查询中，有三分之二都是要求模型修改用户提供的文本，而非从零开始生成文本。用户越来越多地要求模型以人类撰写的草稿为基础，来改进语法、重构论点或调整语气。

由人类撰写但经人工智能编辑的文本日益增多，这对人工智能检测工具意味着什么？许多现有工具的设计目的是将文本分类为最多三类：纯人工、纯人工智能或混合。这种分类框架无法区分由大型语言模型（LLM）进行语法修正的段落，与由模型扩展以补充细节的段落。

为了全面捕捉文本中人工智能编辑的各种表现形式，我们推出了 Pangram 3.0——一个旨在量化人工智能在文本创作中参与程度的模型。与直接归类为“纯人工”、“纯人工智能”或“混合”不同，Pangram 会输出一个分数，该分数反映了人工智能干预的“强度”。

同质性与异质性混合署名

Pangram 3.0 致力于解决我们称之为“同质性混合作者文本”的问题。让我们来分析一下同质性混合作者文本与异质性混合作者文本之间的区别。

在异构文本的情况下，每个文本片段的作者身份可以直接归因于人类或AI。在下面的示例中，人类先开始撰写评论，然后请ChatGPT进行补充。在这种情况下，人类和AI撰写的片段之间存在一个或多个分界点。 您可以根据生成者（人类或AI）对每句话甚至每个词进行标注。异构混合文本检测（也称为细粒度AI文本检测）此前已由Kushnareva等人（2024）、Wang等人（2023） 以及Lei等人（2025）进行过研究。

在同质性情况下，作者身份会因编辑过程而变得难以界定。继续以餐厅评论为例，如果一个人写了一篇简短的评论，但要求ChatGPT为其补充细节，那么最终产生的就是一篇同质性混合文本。 在此情况下，无法将人类撰写的文字与AI撰写的文字区分开来：AI虽然用新词语改写了人类的文本，但文本背后的含义和思想直接源自人类的初稿（试想一种情况：一位作者在未注明出处的情况下改写另一位作者的内容——这正是剽窃的经典案例！）。

图2：异质性人机混合创作文本示例（左）与同质性混合创作文本示例（右）

图1中的三段编辑后的文本均属于“同质混合作者”的案例。从这三个例子中可以看出，使用“修正所有错误”这一提示生成的文本与使用“使其更具描述性”这一提示生成的文本之间存在明显差异。 当我们将生成的文本与原始的人工撰写文本进行比较时，这种差异尤为明显。但借助 Pangram 3.0，即使仅拥有编辑后的文本，我们也能朝着量化这种差异迈出一步，从而帮助用户更好地理解人工智能在特定文本中的渗透程度。

创建一个由人工智能编辑的数据集

为了训练一个能够判断文本中AI编辑程度的高级模型，我们需要构建一个训练数据集，其中包含经过AI编辑的文本，并标注了每篇文本中AI编辑的具体程度。我们从新闻、评论、教育类网络文章以及Reddit写作提示等不同领域的开源数据集中，抽取了完全由人类撰写的源文本。 随后，我们使用三种不同的商用大型语言模型（LLM）：GPT-4.1、Claude Sonnet 4 和 Gemini 2.5 Flash，应用了 303 种不同的编辑提示，例如“让这段描述更生动”或“你能帮我提高论文成绩吗？”。最后，我们为每篇人类撰写的文本生成了一个完全由 AI 生成的版本（也称为“合成镜像”，参见Pangram 技术报告）。 最终数据集包含6万个训练样本、6千个测试样本和2.4千个验证样本。

我们如何判断一篇文本是否经过人工智能编辑？

由于在数据集创建过程中我们可以访问未经编辑的源文本，因此通过对比源文本及其经AI编辑后的版本，我们能够量化文本中AI编辑的程度。我们采用了一种名为余弦距离的文本相似度度量标准，以0到1的量表估算AI对人类撰写的源文本进行了多少修改，其中完全由人类撰写的文本得分为0，完全由AI生成的文本得分为1。 为了验证该评分是否符合人类对AI编辑的感知，我们开展了一项研究：聘请了3位长期接触AI生成文本的专家，请他们从两篇经AI编辑的文本中选出编辑痕迹更明显的那一篇。研究结果表明，标注人员总体上认同我们所选用的文本相似度度量标准。

训练模型以预测AI编辑

获得标注数据集后，我们就开始训练模型。 我们的模型仅基于AI编辑后的文本进行训练，这反映了用户使用Pangram 3.0的实际场景：一位想了解学生使用AI程度的教师，只会看到学生的最终提交稿，而不会看到任何之前的草稿。给定一段文本，我们的模型经过训练，能够预测我们在上一节中为其分配的AI编辑分数。图3展示了模型在训练和测试阶段的输入与输出。

AI辅助检测的实际应用

以下是一段由人工撰写的关于作家石黑一雄的文字：

阅读英国作家石黑一雄的作品，意味着要在多个层面经历一种挫败感。石黑一雄这种令人沮丧的写作手法之所以精妙，在于无论读者对人物和情节投入了多少情感，挫败感始终如影随形。单就语言层面而言，读者会发现其中充斥着重复、冗长，以及大量修饰性的形容词。 石黑一雄的写作方式已让我养成了某种条件反射：每当他的角色说出“我长话短说”之类的话时，我身体就会产生不适反应。书中的叙述者虽各有所长，却无一人是专业的讲故事者。信息传递缓慢、模糊且缺乏时间顺序，这使得读者无法获得有助于理解情节的具体事实。

以下是Pangram 3.0对ChatGPT在应用不同提示词后生成的该段落AI编辑版本的分析：

Grammarly 案例研究

Grammarly 是一款基于订阅的 AI 写作助手，允许用户在其原生文字处理软件中直接使用大型语言模型（LLMs）对文本进行编辑。我们收集了一组数据集，其中使用 Grammarly 针对 197 篇人工撰写的文本应用了 9 条默认编辑提示。这些提示包括“简化表述”、“让行文更流畅”和“描述得更生动”等。 随后，我们使用 Pangram 3.0 对所有经过编辑的文本进行了评分。图 4 展示了按编辑提示分类的 AI 辅助评分分布情况。我们可以看到，虽然这可能出乎意料，但 Pangram 3.0 认为“修正任何错误”属于最轻微的编辑，而“进行总结”和“使内容更详细”则被视为侵入性更强的编辑。

图4：基于Grammarly收集的数据集，Pangram 3.0（EditLens）评分的分布情况。评分按所应用的修改分类。所有修改均为Grammarly文字处理器中提供的默认选项。

随着您应用更多 AI 编辑，AI 辅助评分会随之提高

我们进行了一项实验：对同一篇文本应用了5次大型语言模型（LLM）编辑，并在每次编辑后使用Pangram 3.0重新评分。如图5所示，总体而言，随着每次渐进式编辑的实施，AI辅助评分（EditLens）呈上升趋势。

图5：对同一文档进行5次渐进式AI编辑后，Pangram 3.0的评分情况。

国际学习表征会议（ICLR）案例研究

11月，人工智能研究人员对“国际表征学习会议”（ICLR）上疑似由人工智能生成的投稿和同行评审占比过高表示担忧。该会议是人工智能和机器学习领域的顶级会议之一。卡内基梅隆大学教授格雷厄姆·纽比格（Graham Neubig）悬赏征集对今年ICLR的投稿和评审进行人工智能检测的人，我们Pangram团队欣然应允。

作为此次分析的一部分，我们对本评审周期提交给ICLR的所有同行评审，以及2022年提交的评审报告，均运行了Pangram 3.0，以验证我们的假阳性率（FPR）。 在2022年的评审中，Pangram 3.0在“轻度编辑”与“纯人工”的区分上假阳性率约为千分之一，在“中度编辑”与“纯人工”的区分上假阳性率为五千分之一，而在“重度编辑”与“纯人工”的区分上假阳性率为万分之一。 我们未发现全AI生成与全人工生成之间存在混淆。在今年的评审中，Pangram 3.0发现超过半数的评审报告包含某种形式的AI辅助。图6展示了Pangram 3.0在所有2026年ICLR评审报告中的评分分布。

图6：Pangram 3.0对2026年ICLR评审报告的预测分布

如需更深入地了解我们的研究方法和结果，请阅读我们关于此次分析的博客文章。

Pangram 3.0 如何处理非英语母语者使用 AI 辅助撰写的文本？

我们公布了分析结果以及所有书评的Pangram 3.0评分，这使得评论者能够查看Pangram 3.0对其撰写的书评给出了怎样的评分。因此，我们得以收集到关于Pangram 3.0在实际文本中表现如何的反馈。

在X平台上针对我们分析的回复中，一个常见的讨论焦点是：当非英语母语者撰写文本，随后使用大型语言模型（LLMs）对这些人工撰写的文本进行翻译或润色时，AI Assistance会如何评分。下面，我们分享了几位评审员的反馈，他们总体上认同Pangram对其评审结果的描述：

我检查了那些由大型语言模型（LLMs）进行英语润色的评论，并将它们全部标记为“未检测到AI”/“完全由人类撰写”

— 安娜·马拉索维奇 (@anmarasovic) 2025年11月15日

我查看了我的评审结果。结果显示：2篇经过中等程度的AI修改，2篇经过深度修改，1篇经过轻微修改。因为我是用中文写的评审意见，然后GPT帮我翻译成了英文。这个结果并不令人意外。但我认为自己是个负责任的评审员 :)https://t.co/1QoRvF6q2y

— 张瑞星 (@xing_rui12683) 2025年11月16日

现在，我们对AI检测AI生成内容的信任度，竟然比对AI生成内容本身的信任度还要高，哈哈。
需要说明的是，我对那些为此付出努力、使这项分析成为可能的人表示由衷的敬意。

根据我自己的经历：我有一次投稿，四条评论全都是……https://t.co/qzjxeG48u2

— 张树谦 (@ShuaichenChang) 2025年11月17日

我们很高兴与您分享此次产品更新。如需了解有关 Pangram 3.0 AI 辅助检测（EditLens）的更多技术细节，请点击此处查阅我们的研究论文：https://arxiv.org/abs/2510.03154