《2025年学术诚信与AI检测现状报告》

Pangram Labs 的首席技术官布拉德利·埃米（Bradley Emi）在 ICAI 会议上发表了一场关于人工智能检测现状的演讲。

学生们既在使用ChatGPT，也在滥用它。大多数学生经常使用人工智能工具，并认为这些工具能帮助他们提高成绩。即使有明确禁止使用人工智能的政策，学生们很可能仍会继续使用。

与普遍看法相反：人工智能是可以被识别出来的。无论是人类还是经过充分训练的自动化软件，都能辨别出其语言、风格和语义选择。

为什么人工智能的声音是那样的？

大型语言模型（LLMs）是通过海量数据进行学习的概率分布。它们绝非所有人类写作内容的平均值。这是由于模型的训练方式所致。

模型的训练分为三个阶段：预训练、指令微调和对齐。

在预训练阶段，模型会分析大型数据集中的统计模式。训练数据集包含一些偏见，这些偏见会体现在统计模式中。例如，互联网上频繁出现的数据在数据集中占比过高。 在《卫报》的一篇文章中，亚历克斯·赫恩（Alex Hern）揭露了肯尼亚和尼日利亚的劳动者如何被剥削，被迫为OpenAI提供训练数据。这些劳动者经常使用的词汇，如“delve”（深入探究）和“tapestry”（织锦），恰好也是AI生成的文本中频繁出现的词汇。

在“指令微调”中，模型经过训练以响应提示。模型学会了遵循指令比提供准确、正确的信息更为重要。即使实施了安全过滤机制，由于AI写作试图取悦用户，虚假信息仍然困扰着这一领域。

在对齐过程中，模型会学习提示词所引发的优质响应与劣质响应之间的差异。偏好数据可能存在极大的偏见，因为它基于训练者的观点，而不一定基于事实。

我们提供了一份人工智能写作中最常用的词汇和短语示例。这些词汇和短语源于预训练阶段引入的偏见。

人工智能以高度结构化的语言和排版著称。由于处于“对齐”阶段，过渡短语、项目符号列表和整洁的行文在人工智能生成的文本中十分常见。

AI生成的文本往往比较正式，因为互联网上正式文本的比例过高，因此在AI训练数据集中也占了很大比例。在对齐过程中，积极性和实用性得到了强化。

注意：Pangram 不会仅仅因为文本中包含常见的 AI 术语和格式就推断出该文本使用了 AI。

学术界的人性化倡导者

我们研究了19种不同的人类化工具，并开发了自己的工具。我们发现，AI人类化工具在保留原文含义方面表现各异（从轻微修改到完全无法理解的文本不等）。有些人类化工具虽然能很好地进行改写，但无法逃过检测。人类化文本越流畅，就越难逃过检测。 这些“人性化”工具能够去除谷歌的SynthID水印（该水印用于标记Gemini生成的文本）。

自动化与人工AI检测

第一代AI检测工具及其缺陷，塑造了公众对AI检测的看法。这些工具依赖于与AI使用的相关性，而非因果信号。它们声称准确率高达99%，但这并不适合学术用途。

这一代检测工具的准确率高达99.9%以上，且误报率（FPR）极低！它们还能有效应对改写工具和自然化处理工具。

不过，AI检测工具并非都一样！由于训练方式的不同，它们的准确率也各不相同。

Pangram、TurnItIn 和《捉鬼敢死队》都采用了基于学习的检测技术。在基于学习的检测中，模型通过分析大量样本，学习识别哪些内容是由人工智能生成的、哪些不是，从而进行训练。虽然

拥有使用大型语言模型（LLM）进行写作任务经验的人类专家，能够以92%的准确率识别出AI生成的内容。而没有使用ChatGPT等工具经验的语言学家则无法达到相同的准确率。人类检测者能够详细说明他们为何选择针对文本的特定预测。虽然Pangram的准确率和假阳性率更高，但它无法对文本进行语境分析。

建立公平的人工智能学术诚信流程

在制定关于人工智能使用的政策或标准时，必须确保表述清晰。人工智能可用于撰写提纲、生成创意、修正语法错误、开展研究、起草文稿或完成实质性写作任务。必须落实关于允许或禁止使用人工智能的程度的相关指南。如需参考，您可以浏览Gradpilot收录的170多所高校的真实人工智能政策目录。

学生和教师必须了解常见工具如何随着人工智能的发展而演变。Google Docs 的“帮我写作”功能所生成的内容源自 Gemini。Grammarly 目前已包含人工智能生成和改写功能。翻译工具可能也在利用大型语言模型（LLMs）来实现其功能。直接摘取人工智能生成的研究内容或头脑风暴素材也会触发检测。

我们建议同时采用人工判断和自动检测。仅凭AI检测来评估学生的作业对学生而言极不公平，因为其误报率（FPR）高达0.01%。在收到阳性预测结果后，下一步应评估学生的写作过程，并将被标记为剽窃的文本与学生以往的作品进行对比。请务必用几篇文本对检测器进行测试，并考虑在作业中使用大型语言模型（LLM）时可能获得的结果。

如果越来越明显地表明某位学生提交了由人工智能撰写的作业，这或许是一个教育良机。重要的是要以尊重的态度对待学生，避免过度惩罚。让学生重新完成作业，并就导致使用人工智能的原因进行交流，这对他们大有裨益。

有关本文的更多信息，请观看完整网络研讨会：https://www.pangram.com/resources/the-state-of-ai-detection-in-2025。