关于AI检测的误解与偏见

杰森是洛杉矶新道路学校的英语和哲学教师。

引言

人们常问我人工智能检测器能做什么、不能做什么。今天，我们将探讨关于人工智能检测的一些最常见的误解和谬论。让我们深入探讨吧！

误区一：与其使用AI检测工具，不如将人工智能融入教学，教导学生如何运用它。

我们应当将人工智能融入教学，并教导学生如何运用人工智能！但将人工智能整合与使用人工智能检测对立起来，实则是将两种并不冲突的理念强行对立。人工智能检测是整合人工智能的必要前提，它能为这项技术设置合理的防护栏，确保其以辅助而非滥用的方式被运用。

每当新技术出现时，若有人提出任何限制措施，便会出现某种卢德主义谬误——例如所谓"检测即威慑"的说法，这实属谬误。

实际上情况恰恰相反。那些寻求强大AI检测工具的人，往往正是最渴望在课堂上运用AI的人群。他们既想使用这些工具，又担心工具被滥用。另一方面，也有人对AI的未来充满热忱，秉持"这就是未来"的理念，希望在课堂上毫无保留地使用AI工具，对任何限制都持排斥态度。 当然也存在厌恶AI的"纸笔派"——无论是个人还是学校，他们认定唯一正当的AI态度就是彻底拒绝。 当课堂回归计算机化之前的时代，检测便毫无必要。但现实是，寻求AI检测的人往往正是最渴望在课堂学习中最大化运用AI的人群。他们希望在探索和拓展AI教学实践时，避免不必要的限制因素。这在我们看来才是正确的做法。

误区二：人工智能检测器如同黑匣子，不公开其运作机制，因此不可信。

虽然其他AI检测工具确实未公开其检测方法，但Pangram已公开分享了其检测原理。Pangram之所以公开方法，是因为他们认为赢得研究界的信任至关重要，并需要通过事实证据证明软件的准确性。Pangram在其官网上提供了关于检测原理的交互式动画演示。

Pangram还在人工智能会议和期刊上发表了部分技术创新成果。例如，他们最近在COLING会议上展示了系统如何有效抵御人化器和改写器的研究成果。

误区三：人工智能检测尚未经过学术界的同行评审或验证。

庞格拉姆的作品不仅经过同行评审，任何人都可以随时对其进行评审。

Pangram近期在多篇同行评审论文中被重点介绍并作为基准进行测试。在COLING共享任务竞赛中，Pangram荣获最精准且最稳健的检测器奖项，该竞赛汇集了多款开源及商用AI检测器。

Pangram最近还出现在马里兰大学的研究中，该研究表明它是唯一在检测AI生成文本方面优于训练有素的人类专家的自动化AI检测器；而休斯顿大学的另一项研究论文则证明，Pangram是唯一能够有效应对翻译挑战的AI检测器。

常被引用的早期研究，如2023年的韦伯-伍尔夫研究和梁的研究（该研究表明AI检测器对非母语者存在偏见），均未将Pangram纳入基准测试。这些研究不仅已过时，我们还证明Pangram在这些基准测试中表现优异，而其他检测器则不然。

Pangram 毫不畏惧研究人员的压力测试，因此他们为希望研究 Pangram 人工智能检测器准确性的学术研究人员提供无限免费访问权限。

误区四：AI检测器不够准确。

我经常遇到有人声称自己的作品被标记为AI生成，但实际上是由人类撰写的。遗憾的是，我认为这里存在几个问题。

有人认为AI检测器根本不可靠，因为作者和机构们毫无顾忌地反复声称如此，却毫无证据支撑。例如这篇文章 声称"截至2024年中期，没有任何检测服务能以高于随机概率的准确率识别AI生成内容，伊利诺伊州立大学与这些服务均无合作关系"——这纯属捏造，毕竟即便是最差的AI检测器仍能识别部分AI内容。 Pangram宣称其误报率仅为万分之一，因为在其开发方法论（详见白皮书）中，实际检测错误数据量确为该数值，这比市面上次优的商业软件准确率高出约100倍。

没有任何检测软件能做到100%准确。这是不可能的。AI检测器通常表现良好；而全字母句检测效果更佳。 没有任何AI检测能达到100%准确。假设将两篇自称人工撰写的文本输入全字母句检测器（或其他检测工具），若两者均被错误标记为AI生成，则检测器出错的概率统计上远低于文本实际由AI生成的可能性。这正是学校亟待解决的问题——如何确信某文本确系AI所作，而非人为声称。 通过全字母句检测，我们能比那些声称非AI生成的文本更确信某篇作品出自AI之手。

误区五：AI检测工具无法识别Grammarly等写作辅助工具

存在一种误解，认为诸如Grammarly之类的生成式AI辅助工具不会被检测出来。或许其他检测工具确实如此，但Pangram能检测到写作中大量使用生成式AI辅助的情况。这意味着，虽然你撰写的论文确实出自你手，但因使用大量AI进行"润色"而被标记为AI生成。我经常在学生作品中看到这种情况。

Grammarly已不再仅仅是语法检查工具。它已成为一款全面的人工智能辅助工具，能够利用大型语言模型彻底重写学生论文。若学生以此方式使用Grammarly——即根本性地改变其原始写作的结构与风格——Pangram将检测出该论文为人工智能生成。

正因如此，我强烈建议教师们制定人工智能政策，例如Pangram网站上的分级制度，以此明确写作过程中哪些人工智能工具的辅助是被允许的，哪些行为则构成学术不端。

误区六：人工智能检测器会对诚实的学生提出错误指控，从而造成伤害。

反对人工智能检测的人常说，错误指控学生使用人工智能会对学生的声誉造成不可挽回的损害，同时也会损害教师的信誉。

然而，Pangram本身并非一种指控工具。

根据我的经验，大多数情况下，在学生写作中检测到AI痕迹很可能是误判，或是学生出于善意却因截止日期压力而手忙脚乱所致。师生之间的简单对话本不必充满对抗性。 我们认为教师应借此机会了解学生的写作过程：询问学生对基础材料的掌握程度，查阅学生的修订记录以了解文档的形成过程，并请学生说明是否在编辑过程中使用了AI辅助及其具体方式——而非直接断定学生存在作弊意图。

庞格拉姆常将AI检测器比作金属探测器：当金属探测器发出警报时，你不会立即被逮捕。相反，阳性检测结果是开启进一步对话的契机，有助于更深入地理解实际情况。

结论

与任何工具一样，教师必须充分理解人工智能检测技术的优势与局限性。

尽管诸如Pangram之类的系统在检测AI生成的文本时极为精准，但错误仍偶有发生。

正因如此，教师必须在课堂上明确规定允许使用何种人工智能辅助工具，并建立清晰的指导方针、政策和边界。虽然应严肃对待Pangram的检测结果，但围绕人工智能使用的讨论应当以同理心和好奇心为出发点。在未深入了解学生写作过程的情况下，绝不应仅凭Pangram的检测结果就惩罚或指控学生存在学术不端行为。

想继续交流吗？杰森很乐意为您提供关于制定课堂人工智能政策的进一步指导。您可通过jason@pangram.com联系他。