宣布与Proofig建立全新合作伙伴关系!了解更多
我经常被问到这样一个问题:"Pangram与Turnitin的人工智能写作检测器有何不同?"毕竟,许多学校都在使用Turnitin的传统抄袭检测工具。Turnitin的人工智能写作检测器操作简便,但许多教育工作者却更倾向于选择Pangram。这是为什么呢?在我看来,主要有两大因素:准确性和可用性。
Pangram和Turnitin的准确性如何?两家公司均发布了详细说明准确性的技术报告,且其准确性已在多项学术研究中得到验证。
| 全字母句 | TurnItIn | |
|---|---|---|
| GPT-4检测率 | >99.9% | 76.8% |
| 假阳性率 | 万分之一 | 200分之1 |
在Turnitin的2024年9月技术报告中,他们报告称对GPT-4生成的文本检测率为76.8%。这意味着Turnitin能够检测到其遇到的GPT-4生成文本中约77%的内容。
相比之下,Pangram的技术报告显示其在AI生成的文本以及GPT-4文本上均实现了99.9%的整体召回率。这些数据得到了第三方学术研究的支持——三项 独立 研究均证实Pangram的准确率超过99%。
误报率是准确度的重要组成部分,在课堂环境中堪称最关键的指标。若无法信赖检测器的结果,那么它究竟有多大用处?
Turnitin的技术报告显示其误报率为0.51%,即每200份作业中约有1份被误判。
Turnitin在其官网上报告的误报率
另一方面,Pangram的整体误报率有明确记录,为0.01%,即每10,000次检测出现1次误报。在与Turnitin评估数据集相似的学术论文数据集上,Pangram的误报率为每25,000次检测出现1次。
| 全字母句 | |
|---|---|
| 总体假阳性率 | 万分之一 |
| 学术论文误报率 | 25,000分之1 |
Pangram和Turnitin都声称对非英语母语者保持中立。
Pangram在四个保留的ESL数据集上测得假阳性率为0.032%。
Turnitin对非母语英语写作的检测表现进行了研究,测得其在非母语英语写作中的误报率为1.4%,而普通英语写作的误报率为1.3%。
Pangram能够对同一数据集进行直接对比测试,结果显示其在ESL文本中误报率显著降低至0.02%,而在非ESL文本中误报率为0%。
| 数据集 | 全字母表FPR | TurnItIn 格式规范 |
|---|---|---|
| ESL英语 300+单词 | 0.02% | 1.4% |
| 非英语作为第二语言的英语 300+ 词 | 0.00% | 1.3% |
Pangram向所有教师开放,无论其所在学校是否持有机构许可证。教师每日可免费进行五次检测,但可订阅服务以实现高频率使用。若学校购买机构许可证,全体教师及教职员工将获得Pangram的无限次访问权限。
Turnitin仅通过机构许可提供服务。若未订阅其机构许可,则无法免费测试Turnitin的AI检测产品。
使用全字母句主要有三种方式:
Pangram支持24种语言,包括英语、阿拉伯语、中文、荷兰语、捷克语、法语、德语、希腊语、印地语、匈牙利语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、瑞典语、土耳其语、乌克兰语、乌尔都语和越南语。
Turnitin支持三种语言:英语、日语和西班牙语。
总体而言,Pangram和Turnitin都提供了大量证据来支持其准确性主张,但Pangram的准确性比Turnitin高出两个数量级。Pangram支持24种语言,而Turnitin仅支持三种语言。Pangram提供免费仪表盘、Chrome扩展程序以及个人/机构许可证,而Turnitin仅提供机构许可证。
若您对从Turnitin转向Pangram感兴趣,欢迎随时联系我们。我们期待您的来信!
立即注册,免费试用Pangram,每日可享5次信用额度。若您目前使用Turnitin并有意探索其他选择,欢迎随时联系我们!