第三方研究表明，Pangram 是最强大的 AI 检测工具

第三方研究表明，Pangram 是最强大的 AI 检测工具

来自休斯顿大学、加州大学伯克利分校、加州大学尔湾分校以及初创公司Esperanto AI的研究人员发现，在众多商业和开源方法中，Pangram是鲁棒性最强的AI文本检测器。在题为《Esperanto：通过评估合成短语来增强AI文本来源检测的鲁棒性》的论文中，研究人员探讨了语言翻译对AI检测器性能的影响。

利用翻译工具绕过AI检测器

众所周知，有一种规避AI检测的漏洞：将AI生成的文本通过Google翻译转换为外语，再将其重新翻译回英语，这有助于攻击者（或只是时间紧迫的机灵学生）躲过AI检测程序。在Pangram，我们内部将这种攻击称为“双重翻译”，而研究人员则称之为“回译”。 以下是一个双重翻译的示例。我们让ChatGPT为我们生成一段文本。首先将该文本翻译成日语，然后再将其译回英语。我们会发现，由于翻译软件并非完美无缺，且表达同一意思往往有多种方式，因此部分短语发生了变化。这种效果类似于Quillbot等改写工具所产生的效果。

许多竞争对手的产品对此类攻击手段都难以招架。上图展示了市场上一种较为常见的竞争对手AI检测器。我们可以看到，该模型能够直接识别出ChatGPT生成的内容，但一旦经过两次翻译，其AI识别率便降至15%。

然而，Pangram 能够将原始的 ChatGPT 文本和经过两次翻译的文本均判定为 99.99% 的 AI 生成内容。我们不仅能够判断这是 AI 生成的文本，还能确信其原始来源是 GPT-4。研究人员旨在从宏观层面、大规模地研究这一现象。

研究反向翻译对72万份文档的影响

仅凭一个例子不足以证明我们的检测器是可靠的，而其他检测器则不然。在这项研究中，研究人员收集了数千篇经确认由人类撰写的新闻文章、科学论文摘要、Reddit帖子和产品评论。随后，他们利用GPT-3.5-Turbo、LLaMA 3、Mistral、Phi3和Yi生成了若干AI示例。

总体而言，即使在尚未采用翻译攻击之前，许多开源方法和商用检测器实际上也完全无效。

首先，我们设定了一个阈值：这意味着选择一个百分比临界值，超过该值，我们将认为该文档是AI生成的。大多数AI检测器都会以百分比作为最终输出结果。为了使所有检测器处于可比状态，阈值设定为使每个模型的假阳性率均为1%。然后，就可以通过真阳性率来比较检测器的准确性：在该阈值下，每个检测器能识别出多少个AI生成的文本？

该论文研究的其他许多方法完全无法检测出AI生成的内容。例如，在某些领域，ZeroGPT和GPTZero无论采用何种阈值，其误报率甚至无法达到1%；而像RADAR和LLMDet这样被广泛引用的学术论文，其准确率也不到50%。

建议采用的性能评估指标是“1% 假阳性率下的真实阳性率”（TPR @ 1% FPR）：即在假阳性率固定为1%的情况下，模型能以多高的频率检测出由AI生成的文本。在多数领域中，ZeroGPT在任何阈值下都无法达到1%的假阳性率，而像RADAR和LLMDet这样广受引用的学术论文，在此指标上的表现也远低于50%。

与此同时，Pangram 在所有领域均实现了 96% 以上的召回率（假阳性率为 1%），甚至在难度较高的评论数据集上也达到了 85% 的召回率——该数据集包含仅有 40 至 50 个单词的评论（这远低于我们针对商业环境中 AI 检测所推荐的字数阈值）。

经过双重翻译攻击后，许多检测器完全失效。以GPTZero为例，其准确率在新闻领域从97%骤降至仅42%，在评论领域则从65%降至9%。研究人员得出结论：“GPTZero和ZeroGPT的测试结果表明，它们在面对反向翻译技术时缺乏鲁棒性……而Pangram表现出一定的鲁棒性，特别是在处理较长文本时。”

完整结果如下。Pangram 在所有类别中均表现优异。

结论

这项研究进一步印证了我们的观点：Pangram 是目前市场上唯一一款可靠性足够高、可用于学术和商业场景的人工智能检测软件，且无法通过双重翻译等手段加以规避。

这绝非偶然或巧合。Pangram 的稳健性证明了它是一个强大的模型，既具备泛化能力，又依托于海量数据集以及我们针对性的主动学习方法。虽然任何人都能开发出在某些情况下甚至大多数情况下都能正常运行的 AI 检测工具，但唯有我们这种可扩展的方法，才能实现可靠且稳定的准确率，即使文本被修改或篡改，系统也不会完全失效。

我们始终致力于提升人工智能检测模型的性能和鲁棒性。我们密切关注对抗性机器学习领域的最新研究动态，并不断对我们的模型进行测试，以应对潜在的攻击和规避手段。

关于这个话题，更多内容即将发布！