第三方全字母句评估

我们认为，机构能够信赖 Pangram 的高准确度至关重要，因此我们鼓励对我们的质量指标（误报率和漏报率）进行第三方验证。下文将重点介绍芝加哥大学（UChicago）、马里兰大学（UMD）的研究人员以及商业评审人员对 Pangram 的评估结果。

关键要点：Pangram 的内部测试经得起第三方审查。

潘格拉姆的可靠性与准确性（芝加哥大学）

实验

在芝加哥大学贝克尔-弗里德曼经济学研究所，研究人员对比了四种AI检测工具：Pangram、GPTZero、Originality AI以及RoBERTa（一款开源AI检测工具）。该研究使用每种检测工具，分析了1,992篇2020年前撰写的人类文本和1,992篇AI生成的文本，涵盖不同体裁和字数范围。 他们考察了AI检测中的两种错误类型：假阳性率（FPR）和假阴性率（FNR）。研究人员针对多个阈值对这些率进行了比较。这些检测器还对来自ChatGPT、Claude和Gemini等流行大型语言模型（LLMs）的AI生成文本进行了分类。研究人员在各检测器中设置了多种FPR策略上限，以观察FNR的变化情况。

结果

摘自布莱恩·贾巴里安（Brian Jabarian）和亚历克斯·伊马斯（Alex Imas）于2025年8月发表的论文《人工书写与自动检测》：

在所有阈值下，Pangram 都表现优于其他检测器。

Pangram 是唯一一款既能满足严格的政策上限（FPR ≤ 0.005），又不影响准确检测 AI 文本能力的检测器。

Pangram 依然是所有类别中成本最低的检测工具，平均每段正确标记的 AI 文本仅需 0.0228 美元，而 OriginalityAI 和 GPTZero 分别为 0.0416 美元和 0.0575 美元，这使得 Pangram 成为检测完整段落和短文时最具成本效益的工具。

该研究表明：

在处理中长至长篇段落时，Pangram 的误报率和漏报率基本为零。

Pangram 在各类文本中均展现出极高的准确率，包括博客、评论、简历、新闻和小说等。在短篇文本中，其误报率和漏报率虽略有上升，“但仍远低于合理的政策阈值”。

芝加哥大学的研究人员指出，与其他现有的AI检测器相比，Pangram表现更胜一筹。当将假阳性率（FPR）上限设为0.0001时，“无论是GPTzero还是Originality.AI，在最严格的FPR政策限制下都表现不佳……而Pangram在大多数大型语言模型（LLM）上仍能保持约0.01的假阴性率（FNR）。”

Pangram 不再对少于 50 个单词的文本进行预测，但正如该研究中指出的，

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Pangram 与 Humanizers（马里兰大学）的对决

实验

在这项马里兰大学（UMD）研究的实验1中，研究人员邀请了具备不同大语言模型（LLM）知识水平的标注员，让他们预测一段文本是否由AI生成。 在发现一名标注员在识别AI文本方面表现近乎完美后，研究人员又邀请了四名具有相似LLM使用背景的专家标注员，对同一组60个样本进行分类。专家投票的结果与Pangram、PangramHumanizer和GPTZero等商业检测器，以及Fast-DetectGPT等开源工具进行了对比。在此过程中，Pangram与其他检测器进行了比较。

潘格拉姆词在面对改写文本和拟人化文本时的表现

结果

Pangram 能够准确识别经过“人性化”处理的 AI 生成的文本。马里兰大学（UMD）的计算机科学家证实了这一点，他们指出，在检测“人性化”文本和改写文本方面，Pangram 的综合得分最高，其准确率达 99.3%，表现优于其他 AI 检测软件。

了解有关“Pangram”在与“humanizers”的对比中表现如何

研究机构以外的全字母句评估

《Tom’s Guide》的阿曼达·卡斯韦尔在一篇文章中指出，在试用了数十款AI检测工具后，Pangram“表现优于我试用的其他工具”。此外，Pangram还被证实正在努力降低本已较低的误报率。

ZDNET的DavidGewirtz将Pangram描述为“我们测试中的新秀，一经亮相便跻身优胜者之列。”

由于研究论文中人工智能的使用日益增多，人们担心这可能预示着学术不端行为。 亚当·戴（Adam Day）在Medium上发表的文章利用Pangram的AI检测功能，获得了关于AI内容普及率的可靠结果，同时也得出结论：生成式AI在研究中存在正当的应用场景。戴建议使用Pangram进行研究，他表示：“如果有人想对已发表文献中生成式AI的使用情况进行调查，我认为利用Pangram的工具来完成这项工作是一个绝佳的机会。”

在权威研究中使用Pangram的结果（马里兰大学）

马里兰大学的研究人员（与微软和Pangram合作）在最近的一项研究中，利用Pangram的人工智能检测结果，通过18.6万篇报纸文章的样本，分析了新闻中是否存在人工智能生成的文本。虽然研究发现只有极少数新闻是由人工智能生成的，但这些新闻并未披露其使用了人工智能。 研究人员利用Pangram识别出“《纽约时报》、《华尔街日报》和《华盛顿邮报》的评论版中，共有219篇包含AI内容的文章”。

该研究指出了人工智能应用中的细微差别，例如：

那些亲自撰写报道的记者可能并不知道，他们在报道中引用的那些人，其实是用人工智能生成的回应。

利用全字母句检测技术分析新闻中的AI相关报道

结论

在 Pangram，我们坚信透明度是建立信任的基础。我们期待与您携手合作，为您的组织带来人工智能透明度。