Pangram在人性化工具上的表现如何？（2025年8月更新）

Pangram在人性化工具上的表现如何？（2025年8月更新）

人工智能检测常被描述为大型语言模型、检测器与"人性化工具"之间的"军备竞赛"。这类在线工具旨在混淆人工智能生成的文本，并引入人为错误，使最终文本听起来更具人性化特征。

在Pangram，我们始终致力于保持领先地位，积极响应新型模型和人性化工具领域的最新技术进展。这使我们能够打造持续可靠的人工智能检测方案。

2025年1月，我们发布了技术报告的更新版本，其中对19种不同的人性化处理工具和改写工具进行了审计。核心发现如下：

• 全字母句对人化器和改写器具有鲁棒性
• 部分人工处理者会手动添加空格和标点错误，并进行一对一的同义词替换。
• 其他人性化工具本身就是经过精细调优的大型语言模型，它们经过训练能够以人类风格对文本进行改写。
• 人化文本的可读性/流畅度越高，被Pangram检测到的可能性就越大。
• 换言之，从流畅度角度看，"优质"的人化处理更易被察觉，而"劣质"的人化处理则更难被发现。

然而，人化工具领域正在快速演变，因此我们希望发布最新人化工具基准测试的更新数据。

Pangram更新版人性化处理结果

人性化处理器	准确性
Ahrefs	100.0%
aihumanizer.com	100.0%
绕过GPT	99.7%
勺子	97.6%
幽灵人工智能	100.0%
GPTinf	99.2%
Grammarly	100.0%
人性化人工智能humanizeai.io	93.8%
人性化人工智能.pro	100.0%
刚刚完成	93.5%
Quillbot	100.0%
Scribbr	99.0%
类人人工智能	100.0%
斯莫丁	100.0%
隐形GPT	95.6%
冲浪者SEO	100.0%
surgegraph.io	100.0%
马克·吐温GPT	92.7%
无法检测的人工智能	90.3%
Writesonic AI	98.1%

在我们测试的所有知名人性化工具中，Pangram的表现均超过90%。

在检测人性化AI文本方面，Pangram与其他AI检测器相比表现如何？

在Russell等人的研究中，Pangram模型与GPTZero及若干开源方法在人化文本检测领域进行了基准测试。Pangram最优模型在人化文本检测中准确率达97%，而GPTZero仅为46%，FastDetectGPT为23%，Binoculars则仅有7%。

Pangram在人化文本检测中的表现与其他检测器的对比

贾巴里安和伊马斯最近的一项研究发现，在四款商业检测器中，Pangram是唯一能有效识别人化文本的检测器：

对于较长的文本段落，Pangram能检测出近100%的AI生成文本。随着段落长度缩短，其漏报率略有上升，但仍保持在较低水平。其他检测器对人性化处理的抗干扰能力较弱。 Originality.AI的FNR值在长文本中升至约0.05，但短文本中可能高达0.21（具体取决于文本类型和LLM模型）。GPTZero在多数文本类型和LLM模型中几乎丧失检测能力，FNR值普遍超过0.50。RoBERTa同样表现欠佳，始终呈现高FNR值。

如何判断文本是否经过人性化处理？

通过肉眼观察，可以从以下几个方面判断文本是否经过人性化处理：

扭曲的短语

识别文本生成器最简单的方法之一，就是寻找那些"生硬的措辞"——这些不合语境的同义词替换正是为了掩盖抄袭而设计的。诸如Grammarly和Quillbot等改写工具，早在人工智能出现之前就已采用同义词替换算法来掩盖抄袭行为。

扭曲的措辞实例包括用"伪造意识"代替"人工智能"，或用"胸膛危机"代替"乳腺癌"。去年我们听闻一桩趣闻：某学生作文中竟将"小马丁·路德·金"写成"小马丁·路德·尺"。

在识别拟人化AI文本时，切忌仅凭生硬措辞作为唯一依据，因为这类措辞同样常见于非母语者的英语写作中——当非母语者误用或曲解某些词汇的直接含义或典型用法时，往往会产生此类生硬表达。

不自然的间距错误

人类化者常通过添加或删除空格来欺骗AI检测器的分词器。尤其常见的是删除句子间的空格。

重复短语

人化处理后的AI文本仍会出现与未经人化处理的AI文本相同的重复短语。尤其值得注意的是，当同一篇文档中出现两次扭曲的短语时，这往往表明该文本经过了人化处理——这正是人化工具系统性应用相同同义词替换的证据。

非标准字符

人化工具通常还会使用非标准Unicode字符来欺骗AI检测器的标记器。例如，某款流行的工具会使用"U+2009"——即Unicode中的"细空格"字符替代普通空格。 我们推荐使用网站https://www.soscisurvey.de/tools/view-chars.php，该工具可检测复制粘贴文本中隐藏的所有不可打印字符。

人化文本中不可打印字符的示例

写作过程工具

通过 Pangram 在 Google 文档中推出的全新写作回放功能，您还能检测文档中是否存在大量内容系复制粘贴而非手动输入。有关 Google 文档中 AI 检测功能的详细说明，请参阅此处。

播放示例展示复制粘贴功能

为什么Pangram在处理人性化AI文本时无法达到100%准确？

Pangram之所以无法成为检测拟人化AI文本的完美工具，主要有以下几个原因：

1. Pangram 绝不愿在误报率上妥协。我们内部的若干模型虽能以近乎完美的精度检测人化生成器，却存在较高的误报率。我们拒绝推出这些模型，因为对我们而言，确保真实人类文本永不被误判为 AI 生成的内容，远比捕捉所有人化生成器输出的重要性更高。

2. 极低质量的"垃圾"文本肉眼即可轻易识别。当Pangram未能检测到人化文本时，通常是因为文本已被严重篡改和混淆，几乎不似英语。这类情况肉眼可辨，但算法难以捕捉——因为制造无意义文本的方式存在无限可能。 我们宁可放弃对无意义文本的检测，也不愿尝试区分人为编造的无意义文本与文本生成器生成的无意义文本——这种区分本身就存在定义不清的问题。

我能否期待Pangram的人性化处理性能会随着时间推移而提升？

是的，人化器检测是Pangram当前重点研究领域，我们计划持续探索此类人化器的特性，并公开发布关于检测人化器产出内容的研究成果。若要使Pangram成为学术诚信领域值得信赖的工具，我们必须能够识别由作弊工具生成的文本，同时也能检测直接从大型语言模型复制粘贴的内容。