关于AI检测的误区与误解

杰森是洛杉矶新路学校的一名英语和哲学教师。

引言

经常有人问我，AI检测工具能做什么、不能做什么。今天，我们将探讨关于AI检测的一些最常见的误解和错误观念。让我们开始吧！

误区1：与其使用AI检测，不如将AI融入教学，教导学生如何使用它。

我们应当将人工智能融入教学，并教导学生如何使用人工智能！但将“整合人工智能”与“使用人工智能检测”对立起来，实际上是让两个本不冲突的概念相互对立。人工智能检测是整合人工智能的必要前提，它能为这项技术设置合理的防护措施，确保技术被用作辅助工具，而非被滥用。

每当新技术出现且有人提出限制措施时，就会出现一种“卢德主义”式的谬误——在本案中，即“检测即威慑”的说法，但这显然是错误的。

实际上，情况恰恰相反。那些寻求强大的人工智能检测工具的人，通常正是最希望在课堂上使用人工智能的人。他们希望使用这些工具，但不希望这些工具被滥用。另一方面，也有一些人对人工智能的未来充满热忱，他们秉持“这就是未来”的理念，希望在课堂上毫无保留地使用人工智能工具。他们不欢迎任何限制。 当然，也有人厌恶人工智能，属于“纸笔派”。这些个人或学校认为，对待人工智能的唯一正确方式就是完全不使用它。 当课堂回归到计算机普及前的时代，自然无需检测。但事实是，那些寻求AI检测的人，往往正是最希望在课堂学习中最大限度利用AI的人。他们希望在利用AI进行教学实验和拓展教学方法时，避免不必要的干扰。在我们看来，这才是正确的做法。

误区2：AI检测工具如同“黑箱”，不公开其运作原理，因此不可信。

虽然其他AI检测工具确实对其方法缺乏透明度，但Pangram却公开分享了其方法论。Pangram之所以公开其方法，是因为他们认为赢得研究界的信任，并展示该软件为何准确的事实依据至关重要。Pangram在其网站上提供了关于其方法论的交互式动画演示。

Pangram 还会在人工智能会议和期刊上发表其部分技术创新成果。例如，他们在最近的 COLING 会议上发表了一项研究成果，阐述了该系统如何能够有效抵御“人性化生成器”和“改写工具”的影响。

误区3：AI检测尚未经过同行评审，也未获得学术界的验证。

Pangram 的作品不仅经过同行评审，任何人都可以随时对其进行评审。

Pangram 近期在多篇经同行评审的论文中被重点介绍并作为基准进行比较。在汇集了多个开源及商用 AI 检测器的竞赛——COLING 共享任务中，Pangram 荣获“最准确、最稳健检测器”奖项。

马里兰大学最近的一项研究也重点介绍了Pangram，该研究表明，它是唯一一款在检测AI生成的文本方面表现优于受过专业训练的人类专家的自动化AI检测工具；此外，休斯顿大学的另一项研究论文也证明，Pangram是唯一一款在翻译场景下表现稳健的AI检测工具。

一些常被引用的早期研究，例如2023年的Weber-Wulff研究以及证明AI检测器对ESL存在偏见的Liang研究，均未将Pangram纳入基准测试。这些研究不仅已过时，而且我们已证明，在这些基准测试中，Pangram表现优异，而其他检测器则不然。

Pangram 并不惧怕研究人员的严格测试，因此，他们向希望研究 Pangram 人工智能检测器准确性的学术研究人员提供无限量的免费访问权限。

误区4：AI检测工具不够准确。

经常有人向我反映，他们的作品明明是人工撰写的，却被标记为AI生成。遗憾的是，我认为这里存在几个问题。

有些人认为AI检测工具根本没用，因为作者和机构们总是不加掩饰地这么说，却没有提供任何证据。以这篇文章为例， 文中声称：“截至2024年年中，尚无任何检测服务能够以高于随机概率的准确率确切识别AI生成的内容，且伊利诺伊州立大学与这些服务均无合作关系。”这显然是无中生有的说法，因为即便是最差的AI检测工具，仍能识别出部分AI内容。 Pangram 宣称其误报率仅为万分之一，因为在其开发过程和方法论中（详见其白皮书），这些正是他们实际观察到的错误检测数据，这一表现比目前市面上排名第二的商业软件要好约100倍。

没有任何检测软件能做到100%准确。这是不可能的。AI检测工具通常表现不错；而Pangram的检测效果更佳。 没有任何AI检测是100%准确的。假设你将两篇声称由人类撰写的文章通过Pangram（或任何检测器）进行检测，结果两篇都被错误地标记为AI生成，那么检测器出错的统计概率，远低于文章实际上由AI撰写的概率。这就是学校希望解决的问题——在断定某篇文章由AI撰写（而实际上并非如此）时，如何确保判断的可靠性。 借助Pangram，我们对某篇作品是AI生成的判断，比某人声称其非AI生成的说法要更有把握。

误区5：AI检测工具无法识别Grammarly等写作辅助工具

有一种误解认为，像Grammarly这样的生成式AI辅助工具不会被检测出来。也许对于其他检测工具来说确实如此，但Pangram能够检测出写作中大量使用生成式AI辅助的情况。这意味着，虽然你写的论文确实是你自己的，但因为你使用了大量AI工具来“润色”它，所以会被标记为AI生成。我经常在学生身上看到这种情况。

Grammarly 已不再仅仅是一款语法检查工具。它是一款功能全面的人工智能辅助工具，能够利用大型语言模型彻底重写学生的论文。如果学生以这种方式使用 Grammarly，从而从根本上改变原文的结构和风格，Pangram 将检测到该论文是由人工智能生成的。

正因如此，我强烈建议教师制定一项人工智能政策，例如Pangram网站上的分级制度，以便明确在写作过程中允许使用哪些类型的人工智能工具辅助，以及何种行为构成学术不端。

误区6：AI检测工具会制造针对诚实学生的错误指控，从而造成伤害。

人工智能检测的反对者通常认为，错误地指控学生使用人工智能会对学生的声誉以及教师的公信力造成无法挽回的伤害和损害。

然而，全字母句本身并不是一种指责的工具。

根据我的经验，大多数情况下，如果检测到学生作业中存在AI痕迹，很可能是误判，或者仅仅是因为学生出于好意，却因交稿期限的压力而手忙脚乱。教师与学生之间的一番简单交谈，并不一定非要采取对峙的语气。 我们认为，教师应借此机会了解学生的写作过程：询问学生对基础材料的掌握程度，查看学生的修订记录以了解文档的成文过程，并请学生说明在编辑过程中是否以及如何使用了AI辅助工具，而不是立即断定学生有意作弊。

Pangram 常将 AI 检测器比作金属探测器：当金属探测器发出警报时，你并不会立即被逮捕。相反，检测结果呈阳性只是一个契机，以此展开进一步的对话，并更深入地了解事情的真相。

结论

与任何工具一样，教师必须既要了解人工智能检测的优势，也要了解其局限性，这一点至关重要。

尽管像Pangram这样的系统在检测AI生成的文本方面极其准确，但偶尔也会出现错误。

正因如此，教师必须在课堂上就允许使用何种人工智能辅助工具制定明确的指导方针、政策和界限，并且应当严肃对待Pangram的检测结果；但在讨论人工智能的使用时，应秉持同理心和好奇心。在未深入了解学生的写作过程之前，绝不能仅凭Pangram的检测结果就单独将其作为依据，以此惩罚学生或指控其存在学术不端行为。

想继续交流吗？杰森很乐意与您探讨，并就如何为您的课堂制定人工智能政策提供进一步的指导。您可以通过jason@pangram.com 联系他。