Pangram AI Detection 在 ESL 上的准确率如何？

已于2026年5月随[Pangram 3.3版本发布]更新

针对AI检测工具的一项常见批评是，它们对非英语母语者存在偏见。非英语母语者撰写的文本通常被称为ESL（英语作为第二语言），或者更准确地说，是ELL（英语学习者）。在之前的文章中，我们已经解释过，为什么其他基于困惑度和突发性的AI检测工具容易出现这一缺陷。

非英语母语者缺乏丰富的词汇量，也不具备驾驭复杂英语句式结构的能力，因此无法写出具有高度突发性的文本。正因如此，以往的人工智能检测尝试均未达到预期效果：往往将非母语英语（ESL）误判为人工智能生成的文本，从而在非母语英语文本上产生了较高的误报率。

关于AI检测与ESL的先前研究

2023年7月，梁伟信、邹杰姆斯等人发表了一项引人注目的斯坦福大学研究，该研究指出GPT检测器对非英语母语写作者存在偏见。 尽管该研究样本量较小（仅采用91篇托福考试作文），且存在一些方法论缺陷（作者在测试检测器时，将GPT-4修改过的人类文本标记为“人类”），但总体而言， 结果表明，所测试的七款AI检测器（本研究未测试Pangram）对ESL写作存在明显偏见——超过60%的ESL人类写作样本被标记为AI生成。

ETS（负责管理研究生入学考试GRE的考试服务中心）于2024年8月发布的一项最新研究，也针对约2000份非英语母语考生的GRE写作样本，对他们基于包括困惑度在内的手工设计特征自行训练的简单机器学习检测器进行了大规模研究。 尽管实验设置高度简化且人为设计，且该研究与现实世界存在显著差异，但研究人员并未在其自建检测器中发现针对非英语母语者的偏见。此外，他们并未研究实际应用中的商用检测器。尽管如此，该研究突显了一个有趣的观点：当训练集中非英语母语者的数据得到充分体现时，由此产生的偏见便能得到有效缓解。

Pangram在ESL上的表现

为了衡量Pangram在ESL数据集上的假阳性率，我们使用Pangram的AI检测器对四个公开的ESL数据集进行了测试（我们在训练过程中将这些数据集保留下来，以避免训练集与测试集之间发生信息泄露）。

我们研究的数据集包括：

• ELLIPSE 英语语言学习数据集

• 亚洲英语学习者国际语料库

• 匹兹堡英语教学语料库

• 来自梁等人斯坦福大学研究的托福数据集

结果如下。

Pangram 的总体假阳性率为 0.078%，这与我们 0.01% 的总体假阳性率相比，并未显著更高。

Pangram 与 TurnItIn

我们使用TurnItIn在其AI写作指标公开评估中采用的同一组数据集，对Pangram与TurnItIn进行了直接对比。

我们使用与TurnItIn相同的数据集，对“L1”（非英语作为第二语言）和“L2”（英语作为第二语言）的英语进行评估。由于TurnItIn不评估超过300词的文档，我们在评估前对数据集应用了相同的筛选规则。

我们发现，在处理非母语英语文本时，Pangram 的准确率比 TurnItIn 高出两个数量级；此外，在本研究中，Pangram 在检测母语英语文本时未出现任何误报。

Pangram 対 GPTZero

GPTZero 自称在 Liang 的托福研究原始数据集上的假阳性率为 1.1%，尽管 Liang 的托福数据集中仍有 6.6% 被错误地归类为“可能的人工智能内容”。

相比之下，Pangram 在梁氏托福数据集上未报告任何误报，我们对每个样本都充满信心。

Pangram 是如何减少 ESL 写作中的误报的？

在 Pangram，我们非常重视对非母语英语的检测表现，因此我们采用了多种策略来降低人工智能写作检测模型中的误报率。

数据

机器学习模型在训练分布之外的表现通常不佳，因此我们特别注意确保数据集中包含非英语母语者的文本。

然而，我们并不止步于此。其他人工智能写作检测器通常仅针对学生写作和学术论文，而我们则是利用广泛的文本进行模型训练。 仅基于论文进行训练的AI写作检测器，往往在训练数据集中缺乏更口语化、对话式的英语内容。相比之下，我们采用来自社交媒体、评论以及互联网上的各类文本，这些文本通常较为随意，更能体现非母语者或英语学习者所展现的那种不完美的英语写作特征。

我们还特意收录了可能包含非母语英语写作的来源，即使这些来源并非专门的ESL数据集。例如，外国域名网站上的英文文本就是非母语英语写作的绝佳来源。

多语言支持

此外，与其他AI检测工具不同，我们并不将应用范围仅限于英语。事实上，我们对模型的语言支持没有任何限制：我们将利用互联网上存在的所有语言来训练模型，从而确保其在所有常见语言中都能表现出色。

我们此前曾撰文介绍过我们在多语言处理方面的出色表现，我们相信，那些使Pangram在其他语言中表现优异的技术，同样能很好地应用于ESL领域。

虽然我们无法确切知道是什么机制促成了这种良好的泛化与迁移能力，但我们推测，ESL（英语作为第二语言）几乎可以被视为英语的“邻近语言”。通过优化模型使其在所有语言上都能表现良好，该模型就不会过度拟合于任何特定语言的风格、语法结构，或是特定语言中表达思想的常见方式所特有的词汇选择。 通过分析所有语言的人类文本，我们教会模型理解人类的写作方式，而不仅仅是英语母语者的写作方式。这使得模型不太可能错误地关注母语者所表达的习语模式。

主动学习

正是得益于我们的主动学习方法，Pangram 的准确率远高于竞争对手，且将人类文本误判为 AI 文本的情况也显著减少。

通过在训练与“强负样本挖掘”之间交替进行，我们能够找出最接近AI生成文本的人类文本作为训练样本。这种方法不仅能筛选出与AI生成文本最为相似的人类文本——这有助于模型理解非母语文本与AI生成文本之间的细微差异——还能帮助我们找到与非母语文本相似的样本，这些样本具有良好的迁移能力，并能帮助模型整体上学习到更好的模式。

提示策略

在为模型创建用于学习的AI示例时，我们会尽量使用种类繁多的提示语，以便模型能够适应不同的写作风格。例如，我们经常在提示语末尾添加修饰语，如“请以高中生的风格撰写这篇作文”，或“请以非英语母语者的风格撰写这篇文章”。

通过生成如此多种类的文本，该模型不仅学会了AI语言模型惯常的写作方式，更掌握了AI文本背后的基本模式。

从统计学的角度来看，我们在设计合成镜像管道时，确保模型最终能够对主题、写作水平或语气等无关特征保持不变。通过以与人类文本特征相匹配的方式向模型提供提示，我们通过确保展示每种特征的人类文本和AI文本样本数量相等，从而实现了这种不变性。

严格的评估与质量保证

最后，在批准每个新模型更新之前，我们会采用一套极其全面且严格的评估和质量保证流程。

在评估过程中，我们既关注质量也关注数量。例如，Liang TOEFL数据集仅包含91个样本，因此如果仅使用该数据集，我们对ESL任务的假阳性率只能得到一个非常粗略的估计。 如果我们仅错判了一个样本，报告的假阳性率就会是1.1%，因此无法区分那些实际假阳性率低于1%的模型。

由于我们力求将误报率控制在1%以下（我们的目标误报率介于1/10,000到1/100,000之间），因此我们需要分析数百万个样本，才能验证出达到该水平的准确率。

进行大规模评估还有助于我们更好地直观了解模型可能出现的故障模式，并通过获取更优质的数据，以及针对这些故障情况制定更有效的算法策略，从而随着时间的推移逐步加以修正。

在ESL上，人工智能检测工具值得信赖吗？

通过我们的测量、详细的评估结果以及可解释的改进策略，我们认为Pangram在非英语母语者群体中的准确度已足够高，可以应用于教育场景。

然而，仅凭一个足够公正的AI查重工具，并不足以杜绝学术诚信过程中的一切偏见。教育工作者应意识到，偏见可能以无意识的方式表现出来。例如，如果教育工作者因潜意识里怀疑ESL学生不够诚实，而更倾向于对非英语母语学生的作业使用AI查重工具，那么这也是一种偏见。

此外，教师需要意识到，与英语母语者相比，非英语母语者在学术领域面临着固有的劣势。ESL学生更倾向于使用ChatGPT等外部工具来提升写作水平，而如果使用量过大，确实会触发AI检测软件的警报。因此，我们建议采用珀金斯AI评估量表，以便与学生明确沟通哪些AI辅助工具是被允许的，哪些是不被允许的。

最后，我们知道，当学生面临压力和紧张时，当他们感到自我效能感不足（尤其是与同龄人相比时），以及当他们认为使用作弊工具是取得成功的唯一途径时，就会发生作弊行为。我们鼓励教育工作者积极应对这些问题，通过为这些学生提供支持、明确告知可获得且被允许的帮助类型，并可能重新审视那些对本就处于不利地位的学生要求英语完美无缺的评估策略。

“全字母句”应作为维护学术诚信的工具，以便教育工作者能够了解如何以最佳方式支持学生的学习。

如需进一步了解我们的研究以及我们在人工智能检测软件中如何减少偏见，请通过info@pangram.com 与我们联系。