如何为人工智能学术诚信案件收集证据

我们要感谢加州大学戴维斯分校学生支持与司法事务处副主任玛丽莲·德比（Marilyn Derby），感谢她为本文提供的思路以及部分图片资料。同时，也要感谢加州Viewpoint学校英语系主任阿曼达·克拉克（Amanda Clarke），感谢她就如何区分学生写作与AI写作的特征所提供的精彩参考。

也许你收到了一篇作文，直觉告诉你这篇作文并非出自你班上学生的笔下。你用Pangram进行检测，结果显示该作文有99.9%的概率是由AI生成的。

或者，也许您是一名学术诚信专员，某位教授举报一名学生的作业存在AI生成的剽窃行为，然而该学生及其家长却坚称这完全是学生自己写的。

你读了这篇文章，其中处处可见人工智能写作的典型特征。文章开头写道：“在当今这个科技时代……”。学生解释说，作者“通过丰富多样的视角，将细节巧妙地编织在一起”。这篇语法完美、结构工整的作文，结尾处总是用“总而言之……”或“总体而言……”这类经典句式收尾。

你内心深处知道你的学生并没有自己完成作业，但就是无法证明这一点。当你试图说服的人表示“AI检测工具不管用，不可信”，或者“根本无法确定”时，你会怎么做？

正如我们之前所讨论的，AI检测结果呈阳性仅仅是讨论的开端，在考虑对学生采取惩戒措施时，绝不能仅凭这一结果作为依据。尽管我们坚信产品的准确性，但我们也认为，在涉及重大利益时，应采取全面的评估方法；在AI检测结果出炉后，还需收集更多证据，以便在排除合理怀疑的情况下，证明学生的作业存在造假或缺乏原创性。

今天，我们将探讨7种策略，用于为这类案件收集更多证据。

1. 收集更多详细的文本证据

AI生成的文本绝不会因某个特定的短语或词汇选择而被“识破”：Pangram 是基于文本中大量微弱信号的累积来做出判断的。同样，你可以寻找 AI 生成的文本中存在的诸多信号，并将它们综合起来，以此证明这些 AI 信号不可能是随机出现的。 你应首先寻找常见的AI短语，并观察它们是否频繁出现。在情况明确的案例中，AI生成的文本中包含如此多的此类短语，以至于很难辩称它们是巧合，如下面的示例所示。

常见的人工智能术语和词汇

您可以在珍娜·罗素（Jenna Russell）的指南中查看常用人工智能词汇和句式模式的完整列表。

Pangram也能自动提取这些短语及其出现频率。需要注意的是，单个短语并不能证明文本是由 AI 生成的，但如果这些短语大量出现，就构成了非常有力的证据，因为所有这些短语同时出现的概率微乎其微。

AI短语频率分析示例

除了单个词汇和短语层面之外，你还可以关注AI写作的高层次特征。

区分学生写作与AI写作的指南

阿曼达·克拉克（Amanda Clarke）撰写的这篇精彩指南，展示了学生写作与人工智能生成的写作在风格和语气上的部分差异。简而言之，该指南的要点包括：

• AI写作通常不愿涉及具体证据，更倾向于使用模糊的概括性表述。即便涉及，这些细节也可能是它凭空杜撰的。学生对作品的直接反思以及具体的文本引用，是学生写作的特征，而AI聊天机器人目前尚无法模仿这些特点。
• 人工智能写作无法真正从学生的角度出发来探讨一个主题。
• AI写作始终采用完美的语法，并以流畅、中立的语气行文。

另外值得注意的是，当学生的原创写作与人工智能生成的内容混杂在一起时，语气和风格往往会出现突兀的转变。

2. 收集诉讼证明

当学生自己撰写作品时，这是一个完整的写作过程：包括头脑风暴、列提纲、起草、修改和校对。而从生成式人工智能那里剽窃作品时，往往只是简单的复制粘贴。

要检查学生写作过程的证据，一个简单的方法就是直接要求他们提供相关材料：请他们出示笔记、头脑风暴记录和提纲。如果是最终定稿，则要求查看草稿。很多时候，这些材料就足以证明写作过程：诚实的学生不会害怕提供这些证据，而作弊的学生往往根本无法拿出这些材料。

此外，还有一些工具可用于查看学生的写作过程。例如，Draftback是一款 Chrome 扩展程序，可用于在 Google 文档中回放学生的写作历史。我们还了解到Brisk Teaching、Cursive Technologies和Visible AI 等工具。若与 Pangram 结合使用，这些工具将发挥强大的作用。

Draftback 回放数据示例

在上面的 Draftback 追踪记录中，您可以查看学生是在哪里修改了文章，还是直接进行了大段复制粘贴。

仅凭写作过程工具本身，不应被视为铁证。鉴于教师如今会通过查看修订历史来核查学术诚信，学生们深知复制粘贴会让自己陷入风险。有些学生会直接将ChatGPT生成的内容抄写到文档中，使其看起来像是自己写的。

更糟糕的是，现在已经出现了能够伪造修订历史的软件工具，例如这款名为“Human Auto Typer”的Chrome扩展程序。

“Human Auto Typer” Chrome 扩展程序示例

请注意，虽然审查学生的写作过程和修改记录很有帮助，但如今学生已经找到了绕过这些简单检查的方法。

3. 核查引用的有效性

生成式人工智能经常会编造引用、曲解来源，并在作品归属方面犯下其他显而易见的错误。当AI聊天机器人不知道哪些来源能支持其主张时，大多数情况下，它们会很乐意直接编造一个虚构的引用。请参见下文来自Claude的示例。

克劳德编造引用例

在学术不端案件中，引用错误往往是最有力的证据之一，因为故意伪造研究来源本身就构成学术诚信违规。通常只需查阅参考文献或引文列表，核实其中列出的条目是否为真实论文。如果通过谷歌搜索第一篇论文发现其并不存在，这便是违规行为的极强证据。

再次提醒，必须谨慎对待：真实的引用并不能完全证明学生没有使用人工智能。像Deep Research和Perplexity这样的新工具实际上确实能引用正确的来源，而且聊天机器人在避免虚构虚假来源方面也在迅速进步。

4. 确认学生是否理解自己的写作内容

判断学生作业是原创还是剽窃的最简单方法之一，就是直接就论文内容向他们提问。如果提交的作业写作水平与该学生的实际水平不符，那就请他们解释文中最复杂的部分。 对于低年级学生，有时只需询问ChatGPT常用的某个复杂词汇（例如“公理性的”）的含义——而该年级学生通常根本不会使用这类词汇——往往就足以让学生坦承自己使用了AI。

在大学阶段，学生通常需要提出新颖、独到的想法，因此你可以询问他们这些想法是如何产生的。这往往能引出关于写作过程的讨论，让你能够收集到关于文章如何成型的信息，正如我们在第2点中所描述的那样。

保持同理心并营造安全的讨论环境至关重要。与学生就学术诚信问题进行讨论可能会带来极大的压力，当面对证据时，学生可能会采取防御姿态。与学生沟通的最佳方式，是力求对事件经过达成实质性的共识，从而尽最大努力帮助学生在未来取得成功。 请给学生机会改正错误，并解释他们为何不得不借助人工智能而非独立完成作业。我们也建议保持开放态度，承认使用人工智能可能是出于误解，而非蓄意作弊。关于如何进行此类对话，我们在之前的博客文章中已有详细探讨。

5. 将该作业与学生以往的作业样本进行比较

人工智能写作尤其适用于年轻或正在成长的学生，其水平往往远超人们对学生写作水平的预期。

我们建议调取学生以往的写作作品。大学通常设有中央数据库，可以从中调取其他课程的论文。如果该学生是您刚接触的新生，请随时向其前任老师索取该学生的几篇写作样本。

如果一个原本写作水平很差的学生，写作水平突然跃升至拼写和语法都完美无缺的程度，这反而值得警惕。

6. 将该作品与ChatGPT的回复进行对比

ChatGPT 的输出结果通常差异不大。当你将同一条提示语两次粘贴到 ChatGPT 中时，它返回的文本虽不会完全相同，但往往存在许多高度相似之处，这种相似性很难仅靠巧合产生。

与ChatGPT的并排对比示例

借助 Pangram 的“并排显示”功能，您可以自动将您的提交内容与 ChatGPT 的提交内容并排显示。虽然两者的短语可能并非完全一致，但我们会突出显示并关联那些含义非常相似的短语。

另一种方法是让ChatGPT生成多个回答，然后比较它们的相似度。如果提交的内容无法轻易从这些回答中辨别出来，那么它很可能也是由AI生成的。

如果了解作业要求会很有帮助：这样你就可以直接将作业要求作为提示词输入到ChatGPT中。但如果不知道作业要求，你仍然可以设计出一个合理的提示词。尽量设计一个足够具体的提示词，使其生成的文章能与你参考的范文相似，但又不能过于具体，以免直接复制粘贴导致完全相同。 ChatGPT本身可以成为有用的辅助工具：将文章粘贴到ChatGPT中，询问文章涉及的主要观点、主题和问题，并尝试多种提示语，观察哪些能生成语义上较为相似的文章，从而检查它们在文风上是否一致。

7. 收集更多意见

根据我们此前讨论过的马里兰大学Russell等人进行的研究，专家在判断一段文本是否由人工智能生成时，准确率可达92.7%。然而，由5位专家组成的评审团，若以多数票为准，其判断结果几乎可以达到完美（在研究人员研究的300段文本中，多数情况下的准确率恰好为100%）。

我们建议您向本部门或学校的其他同事传授如何通过肉眼识别AI生成的文本，这样在遇到棘手案例时，您就能获得多方意见。通过讨论每位评判者所捕捉到的不同线索，是增强对文章真实性判断信心的绝佳方式。

此外，正如所有涉及法律的案件一样，个人在决策过程中可能会因学生无法控制的原因而产生无意识或有意识的偏见。在判定学生是否违反学术诚信时，采用多人评审小组的方式，不仅有助于提高判定准确性，从长远来看，也有助于使整个流程更加公平。

人工智能案件中补充证据的重要性

在这篇博文中，我们探讨了多种方法，帮助您超越分数的局限，利用Pangram及其他工具，为您的论点提供证据——无论是针对AI的不当使用，还是为被指控使用AI作弊但实际上无辜的学生进行辩护。

虽然没有任何一项证据能绝对确保案件结果，但收集和积累的证据越多，学术诚信处理程序就越公平、越有说服力。