我经常被问到这样一个问题:“Pangram 与 Turnitin 的 AI 写作检测器有什么不同?”毕竟,许多学校都在使用 Turnitin的传统抄袭检测器。Turnitin 的 AI 写作检测器虽然操作简单,但许多教育工作者却更倾向于选择 Pangram。这是为什么呢?在我看来,主要有两个因素:准确性和可用性。
Pangram 和 Turnitin 的准确率究竟如何?两家公司都发布了各自的技术报告,详细说明了准确率情况,而且两者的准确率都在不同的学术研究中得到了验证。
| 全字母句 | TurnItIn | |
|---|---|---|
| GPT-4检测率 | >99.9% | 76.8% |
| 假阳性率 | 万分之一 | 200分之1 |
在Turnitin发布的2024年9月技术报告中,该平台报告称其对GPT-4生成的文本的检出率为76.8%。这意味着Turnitin能够检测出其所检测到的约77%由GPT-4生成的AI文本。
相比之下,Pangram的技术报告显示,其对AI生成的文本以及GPT-4生成的文本的总体召回率均达到99.9%。这些数据得到了第三方学术研究的支持,三项 独立 研究均发现Pangram的准确率超过99%。
误报率是准确率的重要组成部分,在课堂环境中,它甚至可以说是至关重要的。如果无法信赖检测器的结果,那么它到底有多大用处呢?
Turnitin的技术报告显示,其误报率为0.51%,即大约每200份中有1份。
Turnitin 网站上报告的误报率
另一方面,Pangram 的总体误报率经充分验证为 0.01%,即每 10,000 次检测中仅有 1 次误报。在与 Turnitin 评估类似的学术论文数据集上,Pangram 的误报率为每 25,000 次检测中仅有 1 次误报。
| 全字母句 | |
|---|---|
| 总体假阳性率 | 万分之一 |
| 学术论文误报率 | 25,000分之1 |
Pangram 和 Turnitin 都声称对非英语母语者不抱偏见。
Pangram 在四个保留的ESL数据集上测得的假阳性率为0.032%。
Turnitin对该系统在ESL写作中的表现进行了研究,测得其在ESL写作中的误报率为1.4%,而非ESL写作中的误报率为1.3%。
Pangram 成功对同一数据集进行了直接对比测试,结果显示其在英语作为第二语言(ESL)写作中的假阳性率(FPR)显著降低至 0.02%,而在非 ESL 写作中则降至 0.0%。
| 数据集 | 全字母表FPR | TurnItIn 格式规范 |
|---|---|---|
| ESL英语 300+单词 | 0.02% | 1.4% |
| 非英语作为第二语言的英语 300+ 词 | 0.00% | 1.3% |
所有教师均可使用Pangram,无论其所在学校是否持有机构许可证。教师每天可免费进行五次检测,但也可订阅服务以进行大量使用。如果学校购买了机构许可证,所有教师和教职员工都将享有Pangram的无限使用权限。
Turnitin 仅通过机构许可证提供。如果不订阅其机构许可证,就无法免费试用 Turnitin 的 AI 检测产品。
使用“全字母句”主要有三种方式:
Pangram支持 24 种语言,包括英语、阿拉伯语、中文、荷兰语、捷克语、法语、德语、希腊语、印地语、匈牙利语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、瑞典语、土耳其语、乌克兰语、乌尔都语和越南语。
Turnitin支持三种语言:英语、日语和西班牙语。
总体而言,Pangram和Turnitin都提供了大量证据来支持其关于准确性的主张,但与其他AI检测工具相比,Pangram的准确性比Turnitin高出两个数量级。Pangram支持24种语言,而Turnitin仅支持3种语言。Pangram提供免费仪表盘、Chrome扩展程序以及个人或机构许可证,而Turnitin仅提供机构许可证。
正在评估高等教育领域更广泛的检测工具?看看高校应该使用哪种AI检测工具。

马克斯是一位经验丰富的机器学习工程师。他最近在Nuro从事自动驾驶汽车相关工作,负责领导该公司的主动学习项目。此前,他在谷歌、Two Sigma和Yelp拥有丰富的成功部署机器学习产品的经验。
马克斯拥有斯坦福大学理论计算机科学学士学位和人工智能硕士学位。除了对游戏开发的热情外,他还是《万智牌》Cube社区的活跃成员。