关于AI检测器中的误报

在 Pangram，我们工作最重要的方面之一就是尽量降低人类撰写的文本被误判为 AI 生成的概率。这种错误被称为“误报”，与“漏报”相对：当 AI 检测器未能检测出 AI 生成的文本，反而将其判定为人类撰写时，便属于漏报。

在本文中，我们将阐述 Pangram 在不同类型文本中的误报率，说明我们如何评估模型以确保误报率尽可能低，并介绍我们采用的一些技术，这些技术使我们开发出业内误报率最低的 AI 检测软件。

要点

• 当检测器错误地将人类创作的作品标记为AI生成时，就会出现“误报”。对于AI检测而言，此类错误更为严重，因为声称某人的作品并非其原创，可能会损害其声誉或学术地位。
• Pangram 高度重视误报和漏报问题，其误报率仅为万分之一，处于行业领先水平。
• 从领域来看，Pangram 在所有最常见的使用场景中都具有极低的误报率，例如创意写作（0.01%）、学术写作（0.02%）、生物医学写作（0.01%）以及电影剧本（0%）
• 在某些较为小众的应用场景中，例如诗歌或食谱，Pangram 的表现并不尽如人意

什么是假阳性？

在人工智能检测的语境中，误报是指检测器错误地将人类生成的样本判定为人工智能生成的。相反，漏报是指将人工智能生成的样本错误地判定为人类生成的。

人工智能检测中的误报和漏报

上图展示了这两种错误类型。如果红色代表负类，绿色代表正类，那么将红色“X”预测为绿色即为假阳性，将绿色“O”预测为红色即为假阴性。

在统计学中，常使用“Ⅰ类 错误”和“Ⅱ类错误”这两个术语：它们的含义完全相同。Ⅰ类错误即假阳性，Ⅱ类错误即假阴性。 统计学家，尤其是从事医学研究的学者，还会使用“敏感 性”和“特异性”这两个术语来区分这两种错误率。而机器学习研究人员则使用“精确 率”和“召回率”。尽管这些术语在技术上存在些许差异，但出于教学目的，本文将仅使用“假阳性”和“假阴性”这两个术语，因为我认为它们是对这两种错误最直观的表述。

在AI检测中，误报远比漏报严重得多。一再指责那些完全靠自己完成作业、未借助AI辅助的学生存在AI剽窃行为，会严重破坏师生之间的信任，并可能给学生带来巨大的焦虑和压力。另一方面，漏报可能意味着偶尔会有作弊者逃过检测，但对于AI检测工具而言，这种结果并不算太糟糕。

值得注意的是，在其他检测问题中，假阴性造成的危害往往远大于假阳性：例如，在癌症筛查中，检测结果错误地判定患者患有癌症，要比完全漏诊患者的实际癌症好得多。 如果检测结果错误地判定患者患有癌症，虽然患者可能需要再次就诊进行随访、补充检查和测试，这会带来一些不便，但这远比漏诊癌症要好得多，因为漏诊会对患者的生命构成威胁。

回到AI检测的话题，虽然误报造成的危害大于漏报，但两者都至关重要：如果系统总是漏检AI生成的文本，或者错误地将其判定为人类创作，同样会削弱该工具的价值。因此，在Pangram，我们的总体策略是尽可能减少误报和漏报，但会将减少误报作为更优先的任务。

Pangram 的误报率是多少？

答案是：这要看情况！

总体而言，我们测得的误报率约为万分之一：有时会略高一些，有时则略低一些，这取决于文章类型及其他变量。

我们针对各类文本对 Pangram 的误报率进行了测量。虽然并非面面俱到，但以下是我们针对各领域在内部测得的最新误报率数据：

哪些因素决定了Pangram对假阳性的敏感度？

一般而言，当满足以下条件时，Pangram 的表现最佳：

• 这段文字很长
• 该文本由完整的句子组成
• 该领域在常见的在线训练数据集中有充分的体现
• 该文本更具创意，也更少套用固定模式

我们认为，正是这些因素使得Pangram在论文、创意写作和评论领域表现最佳。虽然新闻文章、科学论文和维基百科条目更具公式化且技术性强，但这些领域的数据资源极为丰富，因此Pangram在识别文本中甚至细微的模式方面也变得非常擅长。 最后，食谱和诗歌等领域表现最弱，因为这类文本通常篇幅较短，且往往不是完整的句子（这使得大语言模型较少有机会将自身独特的风格融入文本），而且与其他领域相比，此类文本在网上的数量通常也较少。

从实际应用角度来看，这意味着什么？虽然Pangram在所有领域中仍然相对可靠，但在以下情况下，您对Pangram准确性的信心会最高：文本较长、由完整句子组成，且需要作者提供更多原创内容。 因此，我们建议不要对以下内容进行筛选：简短的项目符号列表和提纲、数学内容、非常简短（例如仅有一句话）的回答，以及极其公式化的文本，例如长长的数据列表、电子表格、基于模板的写作以及说明手册。

Pangram 的误报率与竞争对手相比如何？

我们无法对竞争对手进行同样全面的基准测试，原因很简单，因为这样做的成本将高得令人望而却步。不过，我们可以参考竞争对手所声称的误报率。

Turnitin

Turnitin 网站上报告的误报率

Turnitin 最新的白皮书显示，在学术写作中，误报率为 0.51%，即在文档层面大约每 200 份中有 1 份。这意味着每 200 份学生提交的作业中，就有 1 份会被错误地标记为 AI 生成。

在类似的学术论文数据集上测得的我们的误报率为0.004%，即每25,000篇中有1篇。

这确实是一个显著的差异。在一所大型研究型大学中，每年可能会提交10万篇论文。这意味着Turnitin会产生500次误报，而Pangram仅有4次。

GPTZero

GPTZero在其网站上报告的误报率

GPTZero声称其误报率为1%，这一数值是Turnitin的两倍，是Pangram的250倍。

为了确保比较的公平性，我们利用来自通用VIP数据集的一小部分文档，对GPTZero和Pangram进行了内部基准测试。结果发现，其误报率比报告的还要高，达到2.01%。

Copyleaks

Copyleaks 网站上报告的误报率

Copyleaks声称其误报率为0.2%，即每500次中有1次，如果属实，这将比Pangram的误报率高出50倍。

此外，像这样孤立的数字并不能说明全部情况。我们不知道数据的来源，也不知道评估过程中可能存在哪些潜在偏差。正因如此，我们进行了全面的基准测试，并发布了这篇文章，详细介绍了我们评估模型的过程。

RAID 基准测试

回顾Liam Dugan及其合著者去年发表的RAID研究（即我们发布的调研综述文章中的第2项研究），我们想特别指出下图。

RAID研究中各探测器的假阳性率

大多数检测器都会提供一个“阈值”，即当文本位于阈值线以上时，模型认为该文本由AI生成；位于阈值线以下时，模型则认为该文本由人类撰写。通过调整阈值，可以权衡误报率与漏报率。

在此图表中，x 轴表示因调整阈值而导致的假阳性率，y 轴表示召回率：即在该阈值下，能够被正确分类为 AI 文档的 AI 文档所占的比例。

简而言之，当竞争对手的检测器被迫将误报率控制在1%以下时，它们便无法正常工作；也就是说，当阈值设定得足够低以使误报率达到1%时，它们将无法检测到任何AI。

我们该如何评估Pangram的假阳性率？

在任何新模型获准部署到我们的仪表盘和 API 之前，Pangram 都会对其进行极其严格的验收和测试。

在我们的质量保证过程中，针对误报，我们设计了三种测试方法，每种方法都在定量评估与定性评估之间取得了平衡。我们的评估包括：

1. 大规模保留集。每组约含10,000至10,000,000个样本。这些是ChatGPT问世前（2022年）的大型开放式互联网数据库，我们从中选取了一组未用于训练的保留集，并将其专门保留下来仅用于评估目的。

2. 中型VIP数据集。每套约1,000个样本。这些数据集由工程师或标注员从可靠来源手动收集，经过人工目视检查，并经亲自验证确属人工撰写。尽管训练有素的专家擅长通过目视识别AI生成的内容，但他们偶尔也会出错，因此我们会定期审核数据并进行清理以确保准确性。

3. 挑战数据集。每个数据集包含约10至100个示例。这些包括此前报告的误判案例、合作伙伴发送给我们的棘手案例，以及一些我们单纯出于兴趣想测试模型表现的有趣示例。 我们还收集了非典型文本的示例，例如食谱、诗歌、电影剧本以及其他在大规模语言模型训练集中代表性不足的文本形式，并将这些也视为挑战集，同时作为评估模型在“分布外”场景下表现的总体基准。

除了这三种质量保证（QA）方式外，我们还进行了单元测试。通俗来说，这些单元测试旨在检测我们的模型是否会出现所谓的“尴尬失败”。我们当前的单元测试套件要求我们对《独立宣言》、文学名句以及我们自己的网站文案和博客文章等文档预测“人类”这一结果。如果这些单元测试中有任何一项失败，我们就会阻止新模型的部署，并重新回到设计阶段。 我们在评估过程中秉持的核心理念之一，就是对这些“尴尬的失败”保持高度警惕，进行追踪和监控，确保在新模型发布时，这类问题绝不会出现退化。

图示展示了Pangram中使用的三种评估数据集：大规模保留集（1000万+例）、中规模VIP集（1000+例）以及挑战集（10-100例）

那些对数学和科学感兴趣的人可能会问：为什么需要定性评估？样本量越多不是越好吗？

对此，我的看法是：样本量越大并不一定越好。正如一位睿智的先知曾言：“世上有谎言，有该死的谎言，还有统计数据。”但说句认真的，我们认为，当你构建大规模数据集时，总会不可避免地引入某种偏差。 而当数据集大到无法逐一检查每个样本时，你就无法确定模型是否因数据集中的某种偏见而过度拟合——这会导致模型在测试中表现优异，但在现实世界中却表现不佳。（顺便提一句，我们认为这就是为什么许多在线AI检测工具声称“准确率达99%”，但实际测试时却远未达到这一水平。）

一个生动地说明了这些不同类型测试集重要性的趣事，发生在Pangram项目初期，当时我们首次将维基百科引入训练集。我们最初的一次失败尝试，在保留集上的表现其实相当出色，但在VIP集（即人工收集的维基百科文章）上的表现却非常糟糕。 我们最终发现，在我们使用的Huggingface数据集中，在人类文本方面， 用国际音标表示的姓名发音被以一种非常奇怪的方式重新格式化，导致模型出现了过拟合：它只会关注姓名的格式，然后根据格式来判断文档是AI生成的还是人类撰写的。 在保留集上表现出色，但在现实世界中却表现糟糕——因为模型缺乏这一特定线索！这正是拥有一个能准确反映Pangram在现实世界中将遇到何种文本的测试集的重要性所在。

在Pangram向客户交付模型之前，我们会进行严格的验收流程，该流程包含定量和定性评估，其中包括对模型进行压力测试，并仔细审查其相对于当前模型的性能表现。

1. 定量评估：这意味着所有保留集、VIP 数据集和挑战案例的假阳性率指标均不应进行回归分析。

2. 定性评估：在大多数情况下，部分示例会得到改进，而另一些则会出现退步。只要条件允许，我们会仔细检查出现退步的具体示例，并确保这些失败案例有明确的原因。虽然这通常涉及细微差别，且与我们正在验证的具体假设密切相关，但总体而言，我们需要确保这些失败案例不会呈现出某种特定模式，以免在部署后导致实际应用中的普遍性故障。

3. 体验测试/红队演练：最后，在定量和定性评估完成后，我们会将模型分发给团队成员，请他们实际操作一段时间，以此对模型进行“体验测试”。对于某些更新版本，在向公众广泛发布之前，我们还可能安排内部测试人员或测试用户对模型进行测试（通常我们会鼓励他们尝试找出能让模型失效的案例！）

4. 追溯性 A/B 测试：我们对历史预测结果进行离线推断，并分析旧模型与新模型之间的差异。虽然我们并不总能获得先前推断数据的真实结果，但我们的目标是寻找那些可能反映现实世界中失败案例的一致模式。

总而言之，尽管我们在利用指标和统计数据衡量模型性能时极为严谨且科学，但我们并不仅凭数字来判断全局。我们同样信赖自己的观察力、直觉和模式识别能力，以此对模型进行细致审查，并发现指标可能遗漏的错误模式。此外，我们还依靠测试团队、红队成员以及内测用户，来发现开发团队可能忽略的漏洞。

我们采用了哪些技术来实现如此低的误报率？

保持较低的误报率是我们研究使命的核心。以下是我们迄今为止为实现业界领先的误报率所采用的一些技术。

全面的训练数据覆盖

虽然竞争对手的AI检测工具可能“专为学术界/学校/课堂/教育工作者设计”，但这实际上可能意味着，它们的训练数据集仅包含学术写作。

另一方面，我们开发Pangram正是为了运用“苦涩教训”这一经验：基于多种来源的大量数据进行训练的通用学习算法，比基于特定领域数据训练的专用模型更为有效。

这意味着我们使用各种各样的文本来训练我们的AI检测器：包括创意类、技术类、科学类、百科类、评论、网站内容、博客文章……不胜枚举。其原因就像全面的人文教育一样，接触多种学科和写作风格有助于模型在遇到新情况时更好地理解和进行泛化。 遵循人工智能训练的普遍趋势，ChatGPT及其他大型语言模型并非针对特定用例的专用数据进行训练，而是基于通用的大规模文本数据进行训练，从而具备通用智能：我们同样相信，训练AI检测器也应采用这一策略，使其能够稳健应对大型语言模型可能生成的所有不同类型文本。

硬负样本挖掘 / 主动学习

我们曾多次详细介绍过我们的主动学习算法，该算法利用了一种名为“硬负样本挖掘”的技术，我们认为这正是我们能够将误报率降至接近零的主要原因。

归根结底，之所以能奏效，是因为现实世界中的绝大多数示例都是“简单示例”——一旦模型学会了区分人类和AI的基本模式，对于数据集中的绝大多数样本，区分两者就变得非常容易。然而，这只能使准确率达到约99%。 为了争取最后那几个百分点的准确率，我们必须找出最难的案例来训练模型：我们可以将这些案例视为人类只是决定以一种与AI语言模型非常相似的方式写作，但实际上，只是巧合地写出了这样的内容。 为了找出这些“困难的负样本”，我们会在类似于训练大型语言模型（LLMs）所用的互联网规模数据集上进行大规模搜索，随后通过合成镜像技术生成听起来相似的AI示例。更多详情请参阅我们的“工作原理”页面。

损失加权与过采样

我们设计优化目标时，确保模型在训练过程中优先考虑假阳性而非假阴性。当模型将人类撰写的文档判定为AI文档时，所受的“惩罚”要比将AI文档判定为人类文档时重得多。这迫使模型采取保守策略，只有在绝对确信的情况下，才会将某份文档判定为AI文档。

校准

这涉及RAID中所述的阈值选择。我们通过对评估集中的数百万份文档进行评估来确定阈值，从而在假阳性率和假阴性率之间取得适当的平衡。通过这种阈值选择，我们力求在保持假阴性率处于合理水平的同时，不牺牲假阳性率的准确性。

要点

• 与竞争对手相比，Pangram 的误报率明显更低。
• Pangram 极低的误报率得益于规模、训练和搜索技术的综合运用。
• 鉴于假阳性率在人工智能检测中至关重要，我们构建了一套极其全面的测试和质量保证方案，并制定了一套严谨的最终确认流程，该流程将严谨的统计评估与较为主观的定性人工判断及直觉判断相结合。

我们乐于与研究人员合作，以提升软件的整体准确率，并致力于推动人工智能检测领域的公开基准测试和透明度。如需咨询合作事宜、寻求合作机会，或对Pangram的准确率有进一步疑问，请联系info@pangram.com。