AI 检测是如何工作的？

要点：

1. 大型语言模型（LLMs）会呈现出某些特征模式，这使得各种人工智能检测工具能够识别其内容是由人类还是人工智能生成的。
2. 旧的检测器依赖于突发性和困惑度，但这些指标并不可靠。新的检测器效果要好得多，它们基于更大的数据集并采用主动学习。
3. 在选择检测工具时，用户应先确定自己能接受的误报率和漏报率。此外，在选择工具之前，还应确定是否需要抄袭检测功能或其他功能。
4. 未接受过人工智能检测培训的人通常不太擅长此道。然而，那些接受过相关培训或经常接触人工智能生成文本的人，识别人工智能内容的能力要比未经培训的人更强。这种检测方法与软件相结合，效果会非常显著。

什么是AI检测工具？

人工智能是可以被识别出来的。这并非什么玄学，而是建立在大量研究基础之上的技术。 在人工智能生成内容日益普及于学术界、媒体界和商界的时代，区分人类与机器撰写的文本已成为一项关键技能。人工智能在语言、风格和语义上的选择，均可被训练有素的观察者或性能足够优秀的自动检测软件识别出来。这是因为我们能够理解人工智能为何会以特定方式表达，并掌握可用于识别其特征的规律。

大型语言模型是如何工作的？

在探讨AI检测软件的工作原理之前，我们需要先理解一点：人工智能模型本质上是概率分布。像ChatGPT这样的大型语言模型（LLM），就是这种概率分布的极其复杂的变体，它会不断预测序列中下一个最可能出现的单词或“令牌”。这些概率分布是通过海量数据训练而成的，通常涵盖了互联网公开数据中的相当大一部分。

人们常会听到这样一种说法：“人工智能语言模型是否等同于人类写作内容的平均值？”答案显然是否定的。语言模型并非仅仅是对人类所说内容的简单取平均值。首先，语言模型会做出极具个性化的选择。此外，由于训练数据集及其创建者的偏见，它们也存在严重的偏见。 最后，现代大型语言模型（LLMs）经过优化，旨在遵循指令并说出用户想听的话，而非追求正确性或准确性。这一特性使它们成为有用的助手，却无法成为可靠的真理来源。

这是现代大型语言模型（LLM）训练流程的结果，该流程分为三个阶段：

1. 预训练：在此训练阶段，模型学习语言的统计规律。训练数据中的偏见会体现在这些规律中。 例如，维基百科等在互联网上频繁出现的数据在训练集中占比过高，这正是人工智能生成的文本常带有正式、百科全书式语调的原因。此外，由于训练数据通常由廉价的外包劳动力生成，因此“delve”、“tapestry”和“intricate”等词汇在人工智能生成的文本中极为常见，这反映的是数据创建者的语言规范，而非最终用户的语言习惯。
2. 指令调优：在此阶段，模型学会遵循指令和服从命令。 其结果是，模型学会了遵循指令比提供准确、正确的信息更为重要。这导致了阿谀奉承或“讨好用户”的行为，即AI优先生成听起来有用且令人愉悦的回应，即使为此必须编造事实或“产生幻觉”。对它们而言，讨好用户比确保信息准确更为重要。
3. 对齐：在此阶段，模型学习如何表达人们喜欢和偏好的内容。它学会了哪些话是“好”的，哪些是“坏”的。然而，这些偏好数据可能存在极大的偏见，往往倾向于中立、安全且无伤大雅的回应。这一过程可能会剥夺模型独特的表达风格，导致其回避争议或强硬观点。大型语言模型（LLM）在真理或正确性方面缺乏根本依据。

生成式人工智能模型是科技公司推出的产品，这些模型在设计时就刻意植入了某些偏见和行为，这些偏见和行为会体现在其生成的结果中。

人工智能语言中存在哪些模式？

一旦了解了大型语言模型（LLM）的训练原理，你就能识别出AI写作工具的“破绽”。通常并非某个单一的“铁证”，而是这些词汇的组合才会触发检测机制。

语言与风格

• 词汇选择：AI内容生成器有其偏爱的词汇，例如：方面、挑战、深入探讨、提升、织锦、见证、真实、全面、关键、重要、变革性，以及“此外”和“而且”等副词。这种现象源于预训练数据集中的偏见。频繁使用这些词汇会营造出过于正式或浮夸的语气，在普通学生论文或非正式交流的语境中往往显得格格不入。
• 措辞模式：AI写作常使用诸如“当我们[动词]该话题时”、“值得注意的是”、“不仅……而且……”、“为……铺路”以及“说到……”等措辞模式。这些短语虽然在语法上正确，但往往被用作口语中的填充词，容易使文章显得千篇一律且公式化。
• 拼写与语法：AI生成的文本通常拼写和语法都无可挑剔，且倾向于使用复杂句式。人类撰写的文本则兼具简单句和复杂句，即使是专家级写作者，有时也会出于风格考虑而使用不符合“教科书标准”的语法结构，例如为了强调而使用句子片段。

结构与组织

• 段落与句子结构：AI写作通常倾向于使用结构非常规整的段落，这些段落长度大致相同，且多采用列表式结构。这可能会导致行文节奏单调，缺乏人类写作中自然的变化。这一点同样适用于句子的长度。
• 引言与结论：人工智能生成的文章通常拥有非常工整的引言和结论，其中结论往往篇幅较长，常以“总体而言”或“综上所述”开头，并重复了前文的大部分内容，本质上只是对论点和要点进行了改写，而未提供新的见解或综合分析。

宗旨与个性

• 目的与意图：生成的文本通常非常模糊且充满笼统表述。出现这种情况的原因在于，在训练过程中过分强调了对提示的严格遵循；为了确保内容不偏离主题，模型学会了采用极其模糊和笼统的表述，以此来最大限度地降低生成错误答案的风险。
• 反思与元认知：人工智能在反思以及将写作与个人经历联系起来方面表现得很差……因为它根本没有可以联想到的个人经历！人类的写作能够展现作者的独特风格和个人经历，建立联系并产生新颖的想法，而不仅仅是现有信息的重新组合。
• 风格和语气突兀的转变：有时，文章的语气和风格会出现非常突兀且令人不适的转变。这种情况通常发生在学生写作时部分内容使用了AI辅助，但并非全部，从而导致最终作品风格不一、行文割裂。

AI 检测的工作原理：三个步骤

1. 训练人工智能检测模型：首先，对模型进行训练。早期的AI检测器效果并不理想，因为它们试图检测具有高困惑度或高突发性的文本片段。 困惑度（Perplexity）指大型语言模型对文本中每个单词的意外性或惊讶程度。突发性（Burstiness）则指整个文档中困惑度的变化情况。然而，这种方法存在若干缺陷，往往 无法检测出AI生成的内容。此外，它们仅使用有限的文本数据集进行训练。像Pangram这样的现代成功模型，则利用更广泛的数据集，并采用主动学习等技术来获得更准确的结果。
2. 输入待分类的文本并将其分词：用户提供输入。当分类器接收到输入文本时，会对其进行分词。这意味着它会将整个文本分解为一系列数字，以便模型能够理解。随后，模型将每个词汇转换为嵌入向量，即一个由数字组成的向量，用于表示每个词汇的含义。
3. 将令牌分类为人类 或AI：将输入数据输入神经网络，生成输出嵌入向量。分类器头将输出嵌入向量转换为0或1的预测结果，其中0表示人类标签，1表示AI标签。

那么，假阳性与假阴性又如何呢？

人工智能检测工具的价值取决于使用该工具时产生的假阳性率（FPR）和假阴性率（NPR） 。假阳性是指检测器错误地将人工撰写的内容样本判定为人工智能生成的内容。相反，假阴性是指将人工智能生成的样本错误地判定为人工撰写的文本。

人工检测与自动检测

如果你选择仅凭肉眼来识别AI，就必须经过专门培训。非专家的识别准确率不会高于随机猜测。即使是资深语言学家，如果没有经过专门培训，也无法识别AI。我们建议同时采用这两种方法以获得最佳效果，从而建立一个更可靠、更公平的评估流程。

虽然人工智能内容检测工具可以判断某份内容是否由人工智能工具生成，但人类不仅能判断内容是否出自人工智能之手，还能在判断过程中融入额外的背景信息和细微差别。人类了解相关背景：学生以往的写作样本、该年级水平的写作应有的样子，以及学生完成作业时的典型表现。这些背景信息至关重要，因为根据作业要求的不同，人工智能使用的恰当性可能会有天壤之别。

人工智能检测工具仅仅是第一步。这并不能作为学生违反学术诚信的决定性证据，而只是一个初步的数据点，需要结合具体情况进行进一步调查。人工智能的使用可能是无意的、偶然的，甚至在特定作业的范围内是被允许的：这要视具体情况而定！

附赠：那“人性化者”呢？！

“人性化工具”是一种用于 将AI生成的内容“人性化”以规避AI检测的工具。内容撰写者常使用这些工具来改变AI生成的文本外观。 “人性化工具”会对文本进行改写、删除特定词汇，并在内容中添加类似人类的“错误”。有时这会导致文本几乎无法阅读，或显著降低内容质量。许多AI检测工具会训练其软件来识别经过“人性化处理”的文本。使用这类工具往往存在风险，因为它可能大幅降低文本质量，这对学生作业而言尤为令人担忧。

既然你已经了解了它们的工作原理，不妨试着提交自己的内容。是AI生成的，还是人类写的？