你正在批改作业,一篇篇地阅读,直到其中一篇引起了你的注意。你无法确切说出是哪里不对劲,但这篇作业听起来不像你学生的风格,倒像是人工智能写的。于是你把它输入到Pangram中,结果显示:99%是AI生成的。面对这种情况,你会怎么做?
理解其含义
Pangram 结果中显示的百分比指的是被标记文本所占的比例。当 Pangram 的检测结果显示“该文本中 95% 由 AI 生成”时,指的是文本中被标记为由 AI 生成的单词数量,而非 Pangram 对这些内容是否由 AI 撰写所持的确定程度。
Pangram 对文本由 AI 生成还是人类撰写的判断程度会单独以“高”、“中”或“低”的置信度评级形式呈现,并在评分面板顶部的“详细信息”选项卡中按文本段落分别显示。对于某个文本段落,高置信度的 AI 预测比低置信度的预测更能证明该段落使用了 AI;反之,在一份整体置信度较高且被判定为人类撰写的文档中,若出现一个低置信度的“人类撰写”段落,则可能是经过某种创意编辑的结果。
教师在做出决定前,应同时核对百分比和置信度。
与您的学生交谈
我总是建议采取一个简单的做法,那就是和你的学生聊聊。
你可以询问他们的写作过程,以此判断他们对自己提交的作业了解程度。或者,你也可以直接问他们是否使用了人工智能。他们可能会承认——可能是因为工作量太大,不得不选择一项作业走捷径。也可能是他们写了初稿后对结果不满意,于是请ChatGPT帮忙修改。
这是一个绝佳的机会,可以探讨哪些行为构成学术诚信的违背,哪些则不构成。您可以提醒学生,今后遇到类似情况时该如何处理。他们应该申请延期吗?还是直接提交那份经过AI初步处理但质量不佳的初稿?
您还可以引导学生使用适合学校环境且有助于促进学习的人工智能工具,而不是走捷径。
检查是否有误解
有时,教师认为的作弊、学生认为的作弊,以及触发AI检测器的情况之间会存在差异。以下是一些可能触发AI检测的常见AI使用方式。
- 像Grammarly这样的语法检查工具,能在写作过程中提供人工智能辅助
- 翻译工具:这些工具通常基于大型语言模型(LLMs)构建
- Google 文档的 AI功能,例如“帮我写”
- 与ChatGPT对话以进行头脑风暴和研究,并复用AI生成的短语
- 使用 ChatGPT 获取措辞建议
我们建议采用类似这种分级制度的AI政策,以确保师生在允许使用的辅助工具方面达成共识。这样可以避免出现这样的误解:教师允许使用Grammarly,却未意识到Grammarly如今已发展为一款完整的AI写作助手,而学校使用的AI检测工具会将使用Grammarly AI功能的学生标记出来。
查看写作过程的成果
假设你的学生承认借鉴了ChatGPT中的一些表述。或者,他们声称自己的情况属于罕见的误判。要洗清他们的嫌疑并确认他们确实完成了作业,最好的下一步措施就是查看写作过程中的相关记录。他们为这次作业做了哪些研究?有没有做笔记?是否保存了早期草稿?
如果他们是在 Google 文档中完成的,请选择“文件”→“版本历史记录”→“查看版本历史记录”,以查看其写作过程的完整记录。这样就能清楚地看出,他们是直接从 ChatGPT 复制粘贴到文件中,还是从头到尾一气呵成地输入的(后者表明他们虽然使用了 AI 辅助,但试图伪装写作过程)。 如果文件中存在长达数小时的完整写作记录,那便是极具说服力的证据,证明该作品确系其独立完成。
权衡利弊
德里克·牛顿(Derek Newton)是学术诚信通讯《作弊指南》(The Cheat Sheet)的作者,他经常将人工智能检测工具比作金属探测器。当你走过金属探测器时,如果警报响起,并不会立即被逮捕并送进监狱。相反,他们会进行进一步调查。 你是真的试图携带枪支通过安检,还是仅仅因为腰带扣是金属制的?同样,我们认为人工智能检测是标记作业问题的绝佳方式,但在采取任何惩戒措施之前,检测结果需要进一步调查。非零的误报率意味着,任何检测结果呈阳性,既可能是真实的,也可能是Pangram出现错误的、统计学上极为罕见的万分之一的情况。
如果学生能提供写作过程的证据,我会倾向于相信他们。最坏的情况下,他们也会从中吸取教训,今后不会再使用AI辅助工具,哪怕只是稍微用一下。
如果该学生此前曾有作业被检测出为AI生成的记录,这一点也应予以考虑。虽然可以给予一次宽容对待,但此类情况发生得越多,就越能表明确实存在问题。
希望这份指南能对正在处理AI剽窃这一复杂问题的各位有所帮助。这确实是一个棘手的情况,因此,当此类情况发生时,教师掌握相应的AI工具和信息来妥善处理至关重要。

马克斯是一位经验丰富的机器学习工程师。他最近在Nuro从事自动驾驶汽车相关工作,负责领导该公司的主动学习项目。此前,他在谷歌、Two Sigma和Yelp拥有丰富的成功部署机器学习产品的经验。
马克斯拥有斯坦福大学理论计算机科学学士学位和人工智能硕士学位。除了对游戏开发的热情外,他还是《万智牌》Cube社区的活跃成员。





