如何检测AI写作

ChatGPT能在几秒钟内写出2000字的垃圾内容

ChatGPT及其他大型语言模型（LLMs）——统称为"AI"——正成为日益流行的工具。其最常见的应用场景是作为助手，用户可直接与语言模型对话。然而，LLMs正越来越多地被用于制造垃圾内容，这个术语指代那些不受欢迎或偷工减料生成的AI内容。 此类垃圾内容的典型案例包括：由ChatGPT全自动撰写的博客文章被发布至网络以获取搜索流量；或企业利用AI生成大量溢美之词的评论来提升评分。

Pangram Labs训练了一个高精度机器学习模型来识别AI生成的文本。在训练结束时，该模型已处理了数亿条人类撰写与AI生成的文本样本。本文将帮助您建立识别AI文本的直觉，理想情况下只需更少的训练样本。

我接触过教育工作者、招生顾问和出版商，他们都在过去一年因人工智能应用的激增被迫掌握这项技能。本文综合了从他们那里获取的信息，以及Pangram内部用于帮助新员工快速上手的技术方法。毕竟，若连任务本身都不熟悉，就无法训练出优秀的机器学习模型。

简而言之

• 寻找常见的人工智能短语。
• 请ChatGPT生成多个你试图检测的文档类型，并寻找相似之处。
• 尝试让AI写作难以被识别，并找出那些引人注目的内容。
• 使用AI写作检查工具来磨练你的直觉。

写作的组成部分

主题

通常，人工智能无法自主选择主题——它会被要求撰写特定内容。即便如此，人工智能仍会在自行选择的子主题中显露偏见。 例如，若我要求ChatGPT撰写《白鲸》象征意义的论文，它很可能选择同一组最显而易见的主题。但任何学生都能引导ChatGPT聚焦书中特定象征形式进行写作，它完全能够完成此类任务。正因如此，在判断文本是否由AI生成时，我不会过多关注主题本身。

结构

当被要求撰写完整文档时，AI通常会采用某种默认结构。 要求它撰写博客文章时，它会以引言开头，接着是3-4段正文，辅以要点列表，最后用总结性结论收尾。同样地，若让AI撰写餐厅点评，它常会以"我最近有幸在____用餐"开篇，随后评述菜品、氛围与服务，最终以热情洋溢的"强烈推荐"作结。 虽然默认结构可通过提示词调整（如"写一篇20段落的博客"、"简短点评且不提及店名"），但这种操作需要额外精力，多数用户并不愿为此付出。当AI生成的内容结构与其他AI作品高度相似时，这往往是需要深入探究的强烈信号。

风格

在扑克游戏中，"tell"指的是玩家在虚张声势时无意间透露的线索。例如，紧张的人可能会摆弄眼镜，从而泄露其下注意图。同样地，在Pangram平台上，我们把某些词汇或短语称为"AI tell"——这些是ChatGPT等语言模型过度偏好的词汇，一旦注意到它们，便能强烈暗示内容出自AI之手。

"深入探究"是人工智能特征的极端例证，因为ChatGPT使用该词的频率远高于正常美式英语中的使用频率。

我还注意到"我最近有幸"是餐厅点评中常见的套话，而ChatGPT在撰写求职信时总会自动插入"热切"一词。即便经过大量提示，大型语言模型仍会强烈受其内在风格倾向驱动。正因如此，风格成为我重点关注的强信号。

以下是一些常用的人工智能短语列表，可作为起点参考。（来源：reddit、aiphrasefinder.com）

• "需要注意的是"
• 深入探索
• "挂毯"
• "充满活力"
• "熙熙攘攘"
• 总而言之或总之
• "记住……"
• "深入探索"
• "导航"，即"导航地形"、"导航复杂性"
• "景观"，即"……的景观"，尤其是"不断演变的景观"
• "见证"，即"对...的见证"
• 在……的世界里
• "领域"
• 启程
• "交响乐"
• 拥抱
• 无论你是X还是Y
• "说到……"

提升直觉的技巧

短语虽是不错的基准，但人工智能生成的文本常会明显暴露其人工智能属性，却完全不使用这些短语。要提升这项技能，我们需要花时间深入研究人工智能的写作方式。

研究人工智能写作

对某些人而言这或许令人反感，对另一些人则充满刺激，但若想识别AI文本，你必须先了解AI写作的特征。若能锁定特定类型的文本进行识别训练，效果会更显著。 假设我想精通识别AI邮件。首先要让ChatGPT撰写冷门介绍邮件、感谢邮件和营销邮件。重复几次，每次改变提示词并记录不同版本的相似之处。接着尝试用Claude和Gemini重复操作，持续寻找规律。

主题：探索与OpenAI的合作机遇

尊敬的[创始人姓名]：

希望您一切安好。我是[您的姓名]，现任[您的公司/机构]的[您的职位]，我们专注于[简要描述您的领域或专业]。我一直关注OpenAI在人工智能领域的突破性进展，贵公司对伦理人工智能开发的坚定承诺以及项目带来的变革性影响令我深感钦佩。

我致函贵方，旨在探讨双方机构潜在的合作机遇。我坚信，将OpenAI的人工智能能力与贵方在[贵方特定领域或技术]的专长相结合，必将催生创新解决方案，推动该领域持续发展并创造显著价值。

我希望能有机会进一步探讨此事，并共同探索实现共同目标的合作途径。请问您方便安排一次简短的电话沟通或面谈吗？我时间灵活，很乐意配合您的日程安排。

感谢您考虑此次机会。我期待着与您共事的可能性，并为OpenAI激动人心的发展贡献力量。

诚挚问候，

[您的全名]

[您的位置]

[贵公司/贵机构]

[联系方式]

[领英个人资料或个人网站](可选)

玩对抗性游戏

在创立Pangram实验室之初，我们进行了大量名为"人类基准测试"的实验。规则很简单：选择一个主题。我们的首个测试对象是大学入学申请文书。参与者A收集五篇人类撰写的申请文书，再用ChatGPT或其他大型语言模型生成五篇AI文书。将十篇文书打乱后，由参与者B进行分类识别AI文书。 受试者B可参与测试并阐述判断依据。这为论文的可识别性建立了基准，并有助于开发启发式方法。

更进一步，B方可以利用这些发现设定更严苛的人类基准，通过增加输入内容来挑战大型语言模型，或要求其避免使用那些暴露其身份的措辞。这种反复较量的过程不仅能深化你的直觉认知，还能帮助你识别哪些AI特征会反复出现。

作为人类基准的示例，请看这两条评论。一条来自Yelp，另一条来自GPT-4。

示例 1	示例 2
教科书咖啡馆是令人愉悦的瑰宝！这家温馨小店氛围宜人，堪称享受宁静午后的绝佳去处。这里的三明治堪称一绝，新鲜食材与创意搭配既满足传统口味，也迎合冒险家般的味蕾。服务热情周到，每次光临都能收获愉悦体验。无论是匆匆来份快餐，还是捧着好书悠然小憩，教科书咖啡馆都是放松身心、品味美馔的理想之选。	我们分食了梅尔盖兹早餐三明治、鱼肉三明治和薯条。早餐三明治相当扎实，不过我觉得如果把梅尔盖兹肉饼捣碎成小块，再和鸡蛋一起炒散，让肉味更均匀地分布，味道会更好。有些口里全是香肠没有其他配料，我觉得混合起来会更美味。鱼肉三明治相当不错，和许多同类三明治相比，份量特别大。 面包量是否过多？但比起份量不足的三明治，这反而是个更令人欣慰的烦恼。薯条裹着突尼斯风味调料，却未能打动我——香气诱人，口感却略带苦涩，且调料附着不均，有些薯条被厚厚覆盖，有些则毫无沾染。

如果不明显的话，第一个例子是AI生成的，第二个是人类写的。我既指定了主题（布鲁克林的教科书咖啡馆），也规定了结构（一段式），但ChatGPT的风格如此鲜明，生成的内容依然能明显区分。试试自己创作一个，和朋友分享吧！

使用专为检测AI而构建的工具

Pangram Labs投入了无数时间训练机器学习模型，这些模型通过学习数亿份文档，已能精准区分人工智能与人类撰写的内容。既然如此，我也不妨自我宣传一番。 我们的分析面板支持粘贴文本或上传文档。若您心存疑虑，需要超越直觉的实证依据，该工具将提供分类结果及置信度评分。面板还包含深度分析功能，可揭示哪些词汇或短语在分类过程中提供了最关键的信号。每当我在网络上发现令人警觉的内容时，都会使用这个工具进行验证，希望它也能为您所用。

有疑问？有意见？发现AI生成的糟糕内容想分享？欢迎在推特/X平台@max_spero_联系我。