如果你对学术诚信领域稍有了解,那么你很可能听说过Turnitin。它是学术界的一家龙头企业,在抄袭检测方面占据主导地位,这绝非偶然。
全国各地的学校都使用Turnitin来检查学生作业是否存在剽窃——你可能会认为,既然它已经成为工作流程中不可或缺的一部分,那么利用其人工智能检测功能自然就是下一步的顺理成章之举。
不过,尽管Turnitin的AI检测系统在紧急情况下或许能派上用场,但AI生成的内容的影响范围早已远远超出了课堂。我们发现,67%的网络读者曾遇到过具有误导性的AI生成信息——然而,这群人仍然对误报率感到担忧。
无论是在课堂内还是课堂外,准确性都至关重要。
正因如此,当我们将Pangram和Turnitin进行直接对比时,准确性是我们评估的最重要指标。
今天,我将带大家详细了解我们的研究内容,涵盖检测性能、误报率、语言支持、易用性、定价以及部署选项,以帮助您确定哪款平台最适合您的需求。
虽然乍看之下相似,但Pangram和Turnitin在处理AI检测时所侧重的重点却截然不同。Turnitin是一个更广泛的生态系统,许多学术机构已经采用了该系统,其中也包含AI检测功能。
另一方面,Pangram 则是专门为优先考虑 AI 检测而设计的。
| 全字母句 | Turnitin | |
| 检测精度 | 总体准确率为99.26%;在GPT-4上的准确率超过99.9% | GPT-4上的准确率为76.8% |
| 假阳性率 | 万分之一(经芝加哥大学核实)简体中文(大陆) | 200分之1 |
| ESL偏见 | 经过训练,可在24种以上语言中最大限度地减少偏见 | 公众对非英语母语者偏见的担忧 |
| 定价模式 | 提供免费套餐;付费套餐每月15美元起 | 机构授权 |
| 语言支持 | 24种语言 | 英语、日语和西班牙语 |
| 学习管理系统(LMS)集成 | Canvas、Blackboard、Google Classroom | Canvas、Moodle、Blackboard、Google Classroom |
| 最适合 | 教育工作者、出版商、高等教育机构、企业团队 | 已采用Turnitin的K-12及高等教育机构 |
| 来源 | Pangram 2024年技术报告 | Turnitin 2024 年技术报告 |
Pangram 是一个专为教育工作者、出版商、招生团队以及任何需要评估文章来源的个人或组织打造的 AI 检测平台。如果您需要了解某篇作品是否由 AI 生成,我们可以为您提供帮助。
正是我们的方法让我们与其他检测器区别开来。早期的AI检测工具过分关注困惑度和突发性等表面层面的指标。
正因如此,我们开发了Pangram,旨在解决AI检测中的两大难题:误报和拟人化AI内容。
我们的模型是在数百万条人类和AI生成的文本示例上进行训练的,这使得它们能够准确识别生成文本,同时避免错误地将人类作品标记为生成内容。
结果如何?一款旨在分析整个文档而非仅关注零星信号的检测器。
目前,Pangram 支持 24 种语言的检测功能,并为需要大规模验证内容的组织提供网络平台、Chrome 扩展程序、学习管理系统(LMS)集成以及企业级 API。

如果你在过去二十年间曾接受过大学教育,肯定对这个名字不陌生!Turnitin 是一个以剽窃检测软件而闻名的学术诚信平台。该公司的最新产品于 2023 年推出,当时公司业务范围扩展至人工智能写作检测领域(这一举措可谓顺理成章)。
许多学校此前就已经在使用Turnitin,通过将其与包含已发表及已提交作品的大型数据库进行比对,来检查学生的作业。添加AI检测功能后,各院校便能够同时评估剽窃情况和AI生成的内容。
因此,Turnitin通常被作为更广泛的学术诚信计划的一部分来采用,而非作为独立的人工智能抄袭检测工具。
其主要目标受众仍是需要集中式系统来大规模管理学术诚信的K-12学校和大学。
对于任何正在评估人工智能检测工具的人来说,准确率是必须重点关注的指标。幸运的是,对于本文中提到的这两款工具,大家无需对准确率进行猜测。Pangram和Turnitin都已发布了技术报告,因此我们可以直接对比相关数据。
在深入探讨这些内容之前,有必要先澄清一下这里“准确率”的含义,因为在AI检测领域,这个术语常被随意使用。实际上,这里只有两个相关的指标,因此很容易理解。
召回率:检测器能多频繁地正确识别出由人工智能生成的内容?
误报率:检测器将人工书写错误地标记为AI生成的频率有多高?
目前市面上大多数AI检测工具都略微偏向某一方。在某个方面取得优势并不难,但要在两个方面都表现出色则要困难得多。幸运的是,Pangram和Turnitin在这方面都表现得相当不错。
| 全字母句 | Turnitin | |
| GPT-4检测率 | >99.9% | 76.8% |
| 假阳性率 | 万分之一 | 200分之1 |
根据Turnitin的技术报告,我们得知研究人员在测试其工具时发现,针对GPT-4生成的内容,其召回率为76.8%。这意味着在技术测试中,Turnitin每检测到四份由AI生成的提交内容,就会漏检一份。
同样,Pangram的技术报告显示,在同一模型家族中,Pangram的检测率超过了99.9%。对于需要审核大量学生作业的机构而言,这两款工具之间的差距相当显著,Pangram检测出的生成内容比例要高得多。
像上文讨论的那类准确率声明,只有在能够接受审查并定期进行测试和评估的情况下,才具有实际意义。正因如此,我们公开发布基准测试数据,并通过学术合作及研究人员访问计划支持独立评估。多项第三方研究已直接对Pangram的性能进行了测评。
如果再看看误报情况,这个故事就变得更有意思了。Turnitin报告的误报率约为0.51%,即每200份文档中约有1份被误报。Pangram的基准测试显示,总体误报率为1/10,000,而学术论文的误报率表现更佳,约为1/25,000。
在对比现有的基准测试数据后,准确率方面的赢家显而易见。Pangram 不仅能检测出更高比例的 AI 生成的内容,而且产生的误报数量也少得多。
遗漏AI生成的文本固然令人沮丧,但在我看来,在学术诚信案件中错误地指控学生作弊,情况要严重得多。
无论是在教室、新闻编辑室还是工作场所,误报都可能带来切实的后果。学生可能会被指控学术不端,作家的作品可能会受到质疑,或者编辑可能会对一篇合法投稿失去信心。如果用户无法信任检测结果,那么检测器的准确性也就大打折扣。
据Turnitin平台称,其误报率为0.51%,即大约每200份文档中就有1份被错误标记。这意味着,每评估200份文档,大约会有1份真实的文档被错误地标记为剽窃。
Pangram 公布的基准测试报告显示,其总体误报率为 1/10,000。在与 Turnitin 评估相类似的学术论文数据集上,该误报率进一步降至 1/25,000。
| 全字母句 | |
| 总体假阳性率 | 万分之一 |
| 学术论文的假阳性率 | 25,000分之1 |
这些数据已由芝加哥大学进行了独立验证,因此当各院校使用Pangram来评估学生作业时,我们能够对这些数据负责。
关于人工智能检测的一个主要且持续存在的担忧是,非英语母语的作者是否更容易被错误地标记为使用了人工智能。由于非英语母语者写作时往往会产生较低的困惑度得分,因此人类撰写的文本在统计上有时会与人工智能生成的文本显得相似。
每款AI检测工具都声称,减少英语作为第二语言(ESL)带来的偏见是其首要任务。但真正的问题在于,数据能否佐证这一说法。
在我们的ESL评估过程中,该模型在ESL和非ESL数据集上均保持了极低的误报率:
| 数据集 | 全字母表FPR | Turnitin FPR |
| L2英语(ESL)300+词 | 0.02% | 1.4% |
| L1 英语(非ESL)300+词 | 0.00% | 1.3% |
这些结果与Pangram在AI检测方面采取的更广泛方法一致,该方法评估的是文档层面的模式,而非依赖于个别词汇的选择或僵化的写作模板。
如果您想更深入地了解相关研究,请参阅我们关于AI在ESL写作中检测准确率的分析,以及我们的多语言AI检测能力。

虽然这可能显而易见,但如果无法使用,AI检测工具也就毫无用处!这是Pangram与Turnitin之间最大的区别之一,值得在此提及,因为许多教育工作者确实需要一款独立的解决方案。
Pangram 面向所有人。无论是个人教育工作者、出版商、法务团队还是企业内容审核人员,应有尽有。注册一个账号即可立即开始使用该平台,每天可享受四次免费扫描。如果您还没试用过,现在就赶紧去体验一下吧。
另一方面,除非在机构层面获得了授权,否则很难访问Turnitin。对于个别教育工作者来说,这基本上是无能为力的。Turnitin的访问权限仅限于持有机构许可证的用户,该许可证通常由学校或大学管理。
不过,Pangram 不仅面向个人用户。大学和学区也可以通过机构授权大规模部署 Pangram,让教职员工享受无限次访问权限,并实现与学习管理系统的集成。
换句话说,Pangram 既可供个人使用,同时也支持 Turnitin 专为机构部署而设计的部署模式。
| 全字母句 | Turnitin | |
| Web 仪表盘 | 是的 | 不 |
| Chrome 扩展程序 | 是的 | 不 |
| 企业级 API | 是的 | 不 |
| Canvas | 是的 | 是的 |
| 黑板 | 是的 | 是的 |
| Google Classroom | 是的 | 是的 |
| Moodle | 是的 | 是的 |
| 全校范围内的使用 | 是的 | 是的 |
同样,Turnitin 在定价方面也同样含糊其辞。如果你不是教育机构,就无法获得任何定价信息。
Pangram 让我们的定价方案一目了然、便于比较。个人用户可免费使用,每天享有 4 次扫描机会;付费套餐起价为每月 15 美元,最多可进行 600 次 AI 扫描。此外,我们还为需要更广泛访问权限的学校和组织提供机构授权方案,从而满足各类需求。
不过,Turnitin并未公开其定价信息。机构授权需通过报价获取,价格通常由学校直接与该公司协商确定。该平台既没有个人套餐,也没有面向希望在做出购买决定前先试用该检测工具的用户提供的自助试用选项,因此我们无法对其定价进行全面说明。
| 全字母句 | Turnitin | |
| 免费套餐 | 是,每天4个学分 | 不 |
| 个人付费套餐 | 每月15美元,每月600积分 | 暂无 |
| 机构授权 | 有货 | 必填 |
| 公开定价 | 是的 | 不 |
语言支持是这两个平台之间较为显著的实际差异之一。
Pangram支持 24 种语言,包括英语、阿拉伯语、中文、荷兰语、捷克语、法语、德语、希腊语、印地语、匈牙利语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、瑞典语、土耳其语、乌克兰语、乌尔都语和越南语。
另一方面,Turnitin支持三种语言:英语、日语和西班牙语。不过,我们的 AI 改写和绕过检测功能仅适用于英语提交的作业。
对于服务于国际学生群体的机构,或是需要审核多种语言内容的企业团队而言,这一差距意义重大。仅支持三种语言的检测工具会造成“盲区”,导致以未支持语言生成的AI内容无法纳入审核范围。
Pangram 相较于 Turnitin 的一个优势在于其灵活性。Pangram 并不局限于单一的工作流程,而是可以根据您审阅内容的方式,以多种不同方式使用:
仪表盘:您可以使用 Pangram 的免费仪表盘粘贴文本或上传文档,以检查其中是否包含 AI 生成的内容。在仪表盘中,您可以查看一份关于 AI 写作的详细报告,其中包括显示 AI 内容出现位置的图表,以及常见 AI 短语的标注。
Chrome 扩展程序:您可以使用 Pangram Chrome 扩展程序检查任何文本中是否包含 AI 生成的内容,方法是选中该文本,然后从右键菜单中选择“检查 AI 内容”。该功能在互联网上的任何地方均可使用,包括 Canvas Speedgrader 和讨论板。该扩展程序还会在Google 文档中添加一个按钮,可立即检查文档中是否包含 AI 生成的内容。
学习管理系统(LMS)集成:Pangram 提供多种集成方案,包括 Canvas 和 Google Classroom。这些功能仅通过机构许可证提供
总体而言,Pangram和Turnitin都提供了大量证据来支持其关于准确性的主张,但与其他AI检测工具相比,Pangram的准确性比Turnitin高出两个数量级。
如果您想亲自体验其中的差异,Pangram 提供免费试用。您可以在我们的AI 检测器上进行首次扫描,使用Chrome 扩展程序在浏览时检查内容,或者探索我们的企业级 API 以了解其工作原理。

马克斯是一位经验丰富的机器学习工程师。他最近在Nuro从事自动驾驶汽车相关工作,负责领导该公司的主动学习项目。此前,他在谷歌、Two Sigma和Yelp拥有丰富的成功部署机器学习产品的经验。
马克斯拥有斯坦福大学理论计算机科学学士学位和人工智能硕士学位。除了对游戏开发的热情外,他还是《万智牌》Cube社区的活跃成员。