我们如何追踪人工智能留下的痕迹。
你大概已经发现了那些破绽。比如“delve”这个词,零星出现的破折号,令人反感的表情符号,或者不该出现的地方却用了复杂的格式设置。又或者,你虽然说不上来具体哪里不对,但就是觉得这份文档透着一股AI的味道。
你说的可能没错。研究表明,人们可以通过训练自己的直觉,仅凭肉眼就能识别出由人工智能生成的文本。但有时,这个过程既费时费力,又容易让人感到困惑,而且难以向他人说明清楚。
“支持证据”是一套旨在揭示这些AI特征的工具。通过对数百万份人类和AI文档组成的语料库进行基于证据的特征提取,我们识别出了AI输出中常见的九种模式。
没有任何单一的佐证能一锤定音。仅仅因为某段文字中出现了特定的AI用语或表情符号,并不意味着它是AI写的。
Pangram 的旗舰检测模型对文档进行全面分析,并采用基于深度学习的检测器,该检测器能综合分析关于特定文本的数百万条信号。提取出的佐证片段并非我们模型的输入。
只要有足够的证据,我们希望让您对 Pangram 的 AI 预测有更深入的理解、更清晰的认识,并充满信心。以下是我们追踪的九种模式的详细分析,按其在 AI 生成的文本中出现的频率比人类文本高出多少的程度排序。
| 信号 | 示例 | 人类每1万字 | AI每1万字 | 乘数 |
|---|---|---|---|---|
| Markdown | **淀粉酶**佐证材料Markdown在纯文本环境中插入的 Markdown 格式 | 8 | 90 | 12× |
| AI 短语 | 45x深入探索佐证材料AI短语在人工智能生成的文本中出现频率明显更高的词汇模式 | 3 | 30 | 12× |
| 长破折号 | 佐证材料长破折号在通常情况下人类作者不会使用长破折号的地方却过度使用 | 2 | 17 | 10× |
| 项目符号列表 | - 唾液腺佐证材料项目符号列表结构化列表用于系统地组织信息 | 3 | 28 | 9× |
| 黑社会 | 三合会1过去, 2现在 以及 3未来佐证材料黑社会将想法三组为一,这是人工智能中一种常见的修辞模式 | 5 | 19 | 4× |
| “不仅是X,还有Y” | 不只是生存 而是蓬勃发展佐证材料对比图案“不仅是A,还有B”的句式在AI写作中很常见 | 1 | 3 | 3× |
| 不寻常的Unicode | ≈佐证材料Unicode一些不寻常的Unicode字符,可能表明有人试图对其进行拟人化处理 | 28 | 71 | 3× |
| AI风格的标题 | 当然!这里是佐证材料AI 标题AI生成的内容中常见的过度热心的标题和引言 | 1 | 2 | 2× |
| 表情符号 | 🚀佐证材料表情符号在人类作者通常不会插入表情符号的地方插入了表情符号 | 0.1 | 0.2 | 2× |
Markdown 是一种通过字符来编码格式的方法。它会显示为 **粗体**、## 标题、```行内代码``` 或 *斜体*。大型语言模型通常会采用花哨的可视化效果来强调某些内容或吸引人们对特定短语的注意。而在 Google 文档、电子邮件客户端或论坛输入框中输入内容的人,却很少这样做。
人类和人工智能对不同 Markdown 符号的使用频率各不相同。
| 变体 | 人类 / 10k | AI / 10k | 乘数 |
|---|---|---|---|
| 粗体 (**文本**) | 2 | 65 | 43× |
| 标题(#) | 0.5 | 11 | 23× |
| 内联代码 | 0.2 | 0.8 | 5× |
| 斜体 | 5 | 13 | 2× |
AI短语是我们最初提供的佐证。有时不难发现,AI往往会过度使用某些词汇和短语。但若仔细观察,你会发现有成千上万个短语被AI过度使用,且这种现象在统计学上具有显著性。在此,我们将重点列出这些短语。
这些词在AI生成的文本中出现的频率远高于人类撰写的文本。由于不同模型偏好的词汇各不相同,因此我们为每个模型家族分别维护了词汇表。
长破折号是一种正规的标点符号,用于表示停顿、强调,或替代其他标点符号以营造更强烈的语气。出于一些难以立即理解的原因,AI使用长破折号的频率是人类的10倍。
人类平均每10,000个单词使用5个长破折号。大多数模型家族的使用量是这一数字的7到9倍,而Gemini 3 Pro使用长破折号的数量却少于人类写作者。
| 产品系列 | 每10,000 | 乘数 |
|---|---|---|
| 人类基线 | 5 | 1× |
| OpenAI | 45 | 9× |
| 开源 | 37 | 8× |
| Anthropic | 32 | 7× |
| 谷歌(Gemini 3 Pro) | 3 | 0.7× |
有一种理论认为:在大型语言模型(LLMs)初次兴起后,2024年AI长破折号的滥用现象激增,这促使一些人推测,这种现象源于基础模型公司用于扫描和训练书籍及其他长篇印刷文档的文档解析器。
“三元结构”是一种存在了数百年的语言模式。许多三元短语已融入我们的共同词汇中,例如“血、汗与泪”、“过去、现在与未来”,甚至还有“减少、再利用、回收!”但人工智能将其运用得比人类更自然,其使用频率大约是人类的四倍。
“非典型 Unicode 字符”是指任何键盘上都没有的字符:装饰性破折号、数学运算符、箭头图标、绘制方框的字符,或是 UI 风格的标记。这些字符可能会出现在自然文本中,但较为罕见。此外,在原本毫无关联的文本中出现此类非典型 Unicode 字符,有时可能表明有人试图对文本进行“人性化”处理。
| Char | 代码点 | 姓名 | 乘数 |
|---|---|---|---|
| ─ | U+2500 | 盒子图 浅色 水平 | 940× |
| ≈ | U+2248 | 几乎等于 | 241× |
| ⚠ | U+26A0 | 警告标志 | 57× |
| → | U+2192 | 向右箭头 | 48× |
“当然!这里有……” “没问题!这里有一个……” “我很乐意……” 这种开场白是聊天机器人训练模型响应提示词时留下的痕迹。这些内容往往会暴露文本是由人工智能生成的,但更老练的造假者通常会将其删除。
这是模型在训练过程中如何响应提示的产物。
| 短语 | 人类 / 10k | AI / 10k | 乘数 |
|---|---|---|---|
| “当然!这是” | 0 | 94 | 70× |
| “当然!这里有一份” | 0 | 23 | 18× |
| “以下是您需要了解的内容” | 5 | 85 | 11× |
| “我很乐意” | 54 | 358 | 5× |
零名人类写道:“当然!这里有一个”。AI写了94次。
在AI生成的文本中,表情符号的总体使用频率仅略有上升;人类使用它们的频率与之相当。但具体到哪些表情符号,差异却极为显著。勾号、警告标志和键盘数字的出现频率比人类的基准水平高出数百倍,而人类使用表情符号来表达情感的频率则远高于AI。
在AI生成的文本中,表情符号的总体使用量几乎没有增加。但某些表情符号的使用情况却大相径庭——由用户界面编码生成的图标出现频率比人类的基准水平高出数百倍。
| 表情符号 | 姓名 | 乘数 |
|---|---|---|
| ✅ | 白色粗体勾号 | 167× |
| 2️⃣ | 键帽二 | 129× |
| 4️⃣ | 键帽四 | 98× |
| 3️⃣ | 键帽三 | 86× |
| ✔️ | 复选标记 | 64× |
| 1️⃣ | 键帽一 | 61× |
| 🚀 | 火箭 | 26× |
| ❌ | 对勾 | 24× |
在人类这一侧,日常社交表情符号出现的频率略高一些:
| 表情符号 | 乘数 |
|---|---|
| 😊 | 0.6× |
| ❤️ | 0.2× |