关于支持性证据的一切

我们如何追踪人工智能留下的痕迹。

你大概已经发现了那些破绽。比如“delve”这个词,零星出现的破折号,令人反感的表情符号,或者不该出现的地方却用了复杂的格式设置。又或者,你虽然说不上来具体哪里不对,但就是觉得这份文档透着一股AI的味道。

你说的可能没错。研究表明,人们可以通过训练自己的直觉,仅凭肉眼就能识别出由人工智能生成的文本。但有时,这个过程既费时费力,又容易让人感到困惑,而且难以向他人说明清楚。

“支持证据”是一套旨在揭示这些AI特征的工具。通过对数百万份人类和AI文档组成的语料库进行基于证据的特征提取,我们识别出了AI输出中常见的九种模式。

没有任何单一的佐证能一锤定音。仅仅因为某段文字中出现了特定的AI用语或表情符号,并不意味着它是AI写的。

Pangram 的旗舰检测模型对文档进行全面分析,并采用基于深度学习的检测器,该检测器能综合分析关于特定文本的数百万条信号。提取出的佐证片段并非我们模型的输入。

只要有足够的证据,我们希望让您对 Pangram 的 AI 预测有更深入的理解、更清晰的认识,并充满信心。以下是我们追踪的九种模式的详细分析,按其在 AI 生成的文本中出现的频率比人类文本高出多少的程度排序。

九项佐证

信号乘数
Markdown12×
AI 短语12×
长破折号10×
项目符号列表
黑社会
“不仅是X,还有Y”
不寻常的Unicode
AI风格的标题
表情符号

Markdown(12×)

人类
8
AI
90
每10,000字

Markdown 是一种通过字符来编码格式的方法。它会显示为 **粗体**、## 标题、```行内代码``` 或 *斜体*。大型语言模型通常会采用花哨的可视化效果来强调某些内容或吸引人们对特定短语的注意。而在 Google 文档、电子邮件客户端或论坛输入框中输入内容的人,却很少这样做。

实际案例
人体内一种非常重要的酶是 淀粉酶. 淀粉酶有助于分解淀粉(如面包、面食、米饭)……
兰格-吉迪翁综合征(LGS),又称Ⅱ型鼻趾骨综合征……

按标记折价的乘数

人类和人工智能对不同 Markdown 符号的使用频率各不相同。

变体人类 / 10kAI / 10k乘数
粗体 (**文本**)26543×
标题(#)0.51123×
内联代码0.20.8
斜体513

AI短语(12条)

人类
3
AI
30
每10,000字

AI短语是我们最初提供的佐证。有时不难发现,AI往往会过度使用某些词汇和短语。但若仔细观察,你会发现有成千上万个短语被AI过度使用,且这种现象在统计学上具有显著性。在此,我们将重点列出这些短语。

实际案例
35x在当今快节奏的世界里,是 22x必须注意的是 我们必须 45x深入探索 不断演变的信息环境以及 18x穿梭于这幅织锦之中 现代挑战。

部分AI短语示例

这些词在AI生成的文本中出现的频率远高于人类撰写的文本。由于不同模型偏好的词汇各不相同,因此我们为每个模型家族分别维护了词汇表。

  • “适应能力”
  • “即便是那些人也能轻松使用”
  • “任何希望提升自己的人”
  • “成为焦点”
  • “成为不可或缺的一部分”
  • “模糊……之间的界限”
  • “可能因具体情况而异”
  • “休闲之夜”
  • “错综复杂的图景”
  • “引人入胜的叙述”
  • “引人入胜且错综复杂”
  • “感觉重复”
  • “一直猜到最后”
  • “他以……而闻名”
  • “强烈推荐给所有人”
  • “他的表现能力”
  • “我写这封信是为了提供”
  • “我点了他们的招牌菜”
  • “是一部引人入胜的读物”
  • “这是一个很好的问题”
  • “其紧凑的设计”
  • “以……能力著称”
  • “如果你愿意的话,请告诉我”
  • “为复杂性点亮明灯”
  • “让……变得简单”
  • “明显的延迟”
  • “提供深刻的”
  • “……之间的深刻联系”
  • “感兴趣的人可以读一读”
  • “最近有幸”
  • “光洁处的倒影”
  • “尽管有震动,依然稳如泰山”
  • “人类的见证”
  • “适应不同”
  • “对细节的关注与全心投入”
  • “慢悠悠地抿了一口”
  • “未言之重”
  • “感谢您一直以来的奉献”
  • “你或你认识的人”
  • “你提到了”

长破折号(10个)

人类
2
AI
17
每10,000字

长破折号是一种正规的标点符号,用于表示停顿、强调,或替代其他标点符号以营造更强烈的语气。出于一些难以立即理解的原因,AI使用长破折号的频率是人类的10倍。

实际案例
我的生活很无聊 应该说,我曾经是。白天是会计,晚上是Netflix的狂热追剧者。
密歇根州发生了不可逆转的变化。那三家大型汽车制造商 福特、通用汽车和克莱斯勒 使密歇根州成为世界汽车之都。

每10,000字中的破折号数量,按模型系列划分

人类平均每10,000个单词使用5个长破折号。大多数模型家族的使用量是这一数字的7到9倍,而Gemini 3 Pro使用长破折号的数量却少于人类写作者。

产品系列每10,000乘数
人类基线5
OpenAI45
开源37
Anthropic32
谷歌(Gemini 3 Pro)30.7×
有一种理论认为:在大型语言模型(LLMs)初次兴起后,2024年AI长破折号的滥用现象激增,这促使一些人推测,这种现象源于基础模型公司用于扫描和训练书籍及其他长篇印刷文档的文档解析器。

项目符号列表(9×)

人类
3
AI
28
每10,000字

当人类会写“苹果、橙子和香蕉”时,模型却倾向于使用换行符和连字符,这主要是为了在快节奏的聊天界面中更好地组织文本。这并非错误,而更多是一种结构上的习惯。模型生成此类表达的速度大约是人类的九倍,且往往出现在本应使用连贯句式会更自然的语境中。

实际案例
你在以下部位产生淀粉酶: - 唾液腺——位于口腔内 - 胰腺——将其分泌到小肠中

而人类可能会这样写:淀粉酶由唾液腺和胰腺分泌,并被释放到小肠中以分解淀粉。

三和弦(4×)

人类
5
AI
19
每10,000字

“三元结构”是一种存在了数百年的语言模式。许多三元短语已融入我们的共同词汇中,例如“血、汗与泪”、“过去、现在与未来”,甚至还有“减少、再利用、回收!”但人工智能将其运用得比人类更自然,其使用频率大约是人类的四倍。

实际案例
我需要确保内容简洁,并包含目标, 三合会1方法, 2结果3结论 没有多余的冗余内容。
……彼此相连的纽带 三合会1过去, 2现在 以及 3未来 在这个神圣的地方。
……一部探讨……主题的电影 三合会1, 2失去 以及 3身份.

不仅是 X,还有 Y(3×)

人类
1
AI
3
每10,000字

“不仅是X,更是Y”是人工智能中一种难以解释的模式,它指的是一种极其常见的表达模板。人工智能特别喜欢告诉你,某件事物不仅仅是一种东西,而是一种完全不同的东西!人工智能使用符合这一模板的短语的频率是人类的三倍。

实际案例
……一个能够指引方向的天体罗盘 不仅是海洋 不仅是大海更是命运本身的织锦.
……婴儿象征着 不仅是脆弱性 不仅存在脆弱性,而且在灾难之后还有重生的可能.

不寻常的Unicode(3×)

人类
28
AI
71
每10,000字

“非典型 Unicode 字符”是指任何键盘上都没有的字符:装饰性破折号、数学运算符、箭头图标、绘制方框的字符,或是 UI 风格的标记。这些字符可能会出现在自然文本中,但较为罕见。此外,在原本毫无关联的文本中出现此类非典型 Unicode 字符,有时可能表明有人试图对文本进行“人性化”处理。

实际案例
近似等宽字形
胜算在于 在我们进行的所有实验中,该数值均为0.73。
数学运算符
任意基地 从数学角度来看,第2种方法是可行的。如果我们采用12进制作为标准,那么……
箭头符号
在与淀粉酶反应之前:淀粉 + 碘 深蓝色或黑色

AI文本中出现频率最高的特殊Unicode字符

Char代码点姓名乘数
U+2500盒子图 浅色 水平940×
U+2248几乎等于241×
U+26A0警告标志57×
U+2192向右箭头48×

AI风格的标题(2个)

人类
1
AI
2
每10,000字

“当然!这里有……” “没问题!这里有一个……” “我很乐意……” 这种开场白是聊天机器人训练模型响应提示词时留下的痕迹。这些内容往往会暴露文本是由人工智能生成的,但更老练的造假者通常会将其删除。

实际案例
当然!以下是一个全面的概述 探讨飞机为何有时会失踪,以及在转发或搜索此类话题时面临的挑战……
没问题!以下是简要概述 关于美国参议院、国会和众议院之间的区别……
我很乐意帮你理清《盗梦空间》的剧情。

《开场白:那个开朗的助手》

这是模型在训练过程中如何响应提示的产物。

短语人类 / 10kAI / 10k乘数
“当然!这是”09470×
“当然!这里有一份”02318×
“以下是您需要了解的内容”58511×
“我很乐意”54358
零名人类写道:“当然!这里有一个”。AI写了94次。

表情符号(2×)

人类
0.1
AI
0.2
每10,000字

在AI生成的文本中,表情符号的总体使用频率仅略有上升;人类使用它们的频率与之相当。但具体到哪些表情符号,差异却极为显著。勾号、警告标志和键盘数字的出现频率比人类的基准水平高出数百倍,而人类使用表情符号来表达情感的频率则远高于AI。

实际案例
以下是一个简要的决策框架: ### 何时可能适用: 1. 利率较低……
### ⚠️ 应避免的主要风险 - 逃税:少报现金支付可能导致……
太空真是太神奇了——谢谢你的关心! 🚀

用哪些表情符号,而不是用多少

在AI生成的文本中,表情符号的总体使用量几乎没有增加。但某些表情符号的使用情况却大相径庭——由用户界面编码生成的图标出现频率比人类的基准水平高出数百倍。

表情符号姓名乘数
白色粗体勾号167×
2️⃣键帽二129×
4️⃣键帽四98×
3️⃣键帽三86×
✔️复选标记64×
1️⃣键帽一61×
🚀火箭26×
对勾24×

人类展开反击

在人类这一侧,日常社交表情符号出现的频率略高一些:

表情符号乘数
😊0.6×
❤️0.2×
该功能

全字母句中的佐证

立即尝试
    关于支持性证据的一切 | Pangram