“Pangram”的说法准确吗？
Pangram 如何衡量准确性，以及 Pangram 4 在不同写作领域、AI 模型、混合作者、多样化作者和文本长度等场景下，针对假阳性与假阴性基准测试的表现如何。
准确率是衡量Pangram在将文本正确标记为“AI生成”、“AI辅助”或“人工撰写”方面效果如何的指标。准确率由两种不同的错误类型决定，每种错误均单独进行衡量：
- 假阴性率：Pangram 漏判由 AI 撰写或 AI 辅助撰写的文档，并错误地将其标记为人工撰写的文档的频率
- 误报率：Pangram将人工撰写的文档错误地标记为AI生成或AI辅助生成的频率
Pangram 是一款用于进行统计预测的工具。我们特意对 Pangram 进行了调整，使其更倾向于产生假阴性结果，而非假阳性结果；之所以做出这一选择，是因为虽然偶尔出现的假阴性结果可能会令人烦恼，但假阳性结果却可能造成实际危害。
如果您遇到误报或漏报，可以通过我们的反馈表单进行报告。用户报告仅用于人工审核和诊断——我们绝不会利用用户数据进行训练或基准测试。
Pangram 的准确性是如何衡量的？
为了衡量Pangram的准确性，我们使用包含大量文档的大型数据集对其进行测试，其中每篇文档的作者身份均已知，作者可能是人类、AI，或是两者的结合。为了确保基准测试能产生可靠的结果，我们绝不会使用基准测试集来训练模型，也不会对真实标签不明确的文本进行基准测试。
Pangram 的准确性既由我们内部进行测试，也由 第三方研究人员进行测试。我们一直在寻找更多的独立评估者——如果您是对此感兴趣的研究人员，欢迎来测试我们的系统，我们将提供积分奖励！请联系我们了解 API 积分奖励的相关信息。
基准测试集
我们使用多种不同类型的数据对Pangram进行了测试，包括人工撰写的内容、AI生成的内容、AI辅助生成的内容，以及人工与AI混合生成的内容。
我们的人工撰写基准测试数据由商业授权和专有文本组成，涵盖了广泛的体裁和领域。我们绝不会使用用户提交的文本或盗版内容作为基准测试数据。
我们希望由人工智能生成的基准测试集能尽可能广泛地反映现实世界中各种人工智能写作应用。正因如此，我们用于生成标题的人工智能基准测试，所采用的提示词来自LMSYS-Chat-1M数据集——该数据集包含经过匿名处理的大型语言模型（LLM）对话，其中包含一系列开放式写作请求。
我们还针对外部研究人员汇编的若干公开数据集进行了基准测试；更多信息请参阅Pangram 4 模型卡中的第三方基准测试结果。
全字母句在不同类型写作中的表现
Pangram 的目标假阳性率为 0.01%，即每 10,000 个文档中出现 1 个。在我们的内部基准测试中，Pangram 4 的表现略优于此，每 1,000,000 个文档中出现约 41 个假阳性，观测到的假阳性率为 0.0041%。 我们基于近 520,000 份 AI 生成的文档测得的主要漏检率为 0.3396%。
| 基准测试 | 已检测的样本 | 测量 | 全字母句 4 的结果 |
|---|---|---|---|
| 人工撰写的文件 | 2,046,273 | 假阳性率 | 0.0041% |
| 由人工智能生成的文档 | 519,993 | 假阴性率 | 0.3396% |
我们所有的基准测试都采用严格的“误报”和“漏报”定义：任何被标记为“AI生成”或“AI辅助”的人工撰写段落——即使仅占文本总量的很小一部分——都会被记录为误报。同样，对于AI生成的文档，如果其中任何部分被标记为“人工撰写”或“AI辅助”，则该文档整体将被记录为漏报。
为了确保基准测试的可靠性，我们针对各种由人类和人工智能生成的文本对Pangram的性能进行了评估。下文将介绍Pangram在不同领域和体裁、不同AI模型以及各类文本中的表现情况。
领域与流派
不同类型的写作（如论文、小说或新闻报道）在写作风格、技巧和结构上各不相同，而高层次的基准测试可能会掩盖特定领域中的错误率。正因如此，我们将基准测试分解为针对特定领域的子集，并分别考察这些子集中的假阳性率和假阴性率。
按域划分的假阳性率
我们测试了各种由人类撰写的文本片段，以检验其中是否存在假阳性率过高的情况。总体而言，我们在主要应用场景（包括创意写作、学术写作和科学写作）中的表现相当不错。
| 写作领域 | 人工撰写的示例 | 假阳性率 |
|---|---|---|
| 学术写作 | 62,971 | 0.019% |
| 创意写作 | 10,495 | 0.000% |
| 亚马逊评论 | 10,425 | 0.000% |
| 新闻 | 100,199 | 0.003% |
| 生物医学研究论文 | 65,053 | 0.002% |
| 操作指南文章 | 166,194 | 0.016% |
| AWS 文档 | 11,652 | 0.017% |
| 演讲 | 1,058 | 0.000% |
| 诗歌 | 12,769 | 0.078% |
| 电影剧本 | 9,989 | 0.010% |
| 食谱 | 22,421 | 0.049% |
在此领域分类中，亚马逊评论、新闻和教程文章均包含多语言数据。
在各个领域中，诗歌的误报率最高——诗歌通常篇幅较短且格式严格，因此更难进行分类。尽管误报率仍然较低，但我们建议对这类作品进行更仔细的审查。
按领域划分的假阴性率
Pangram 4 已针对其检测各类人工智能生成文本的能力进行了评估，其中包括论文、研究论文和科学论文等学术写作，以及创意写作和小说。
| 写作领域 | AI示例 | 假阴性率 |
|---|---|---|
| 学术写作 | 48,443 | 0.000% |
| 创意写作 | 41,940 | 0.269% |
| 现实世界中的随机样本 | 2,536 | 0.315% |
此外，该模型还针对LMSYS-Chat-1M数据集中源自真实世界大型语言模型（LLM）提示词的、针对匿名用户提示生成的AI响应随机样本进行了测试。这些提示词涵盖了科学技术写作、创意写作和商务写作。
不同且全新的AI模型
并非所有 AI 模型的生成方式都相同。在 Pangram 4 发布时，我们利用 LMSYS-Chat-1M 数据集，从 26 个主流语言模型中生成了 20,000 个示例，共计 520,000 个样本。下表展示了其中 15 个模型的漏检率，您可以在Pangram 4 模型卡片上查看完整表格。
| 公司 | 发电机型号 | 全字母句 4 |
|---|---|---|
| Anthropic | 克劳德·法布尔 5 | 0.255% |
| Anthropic | 克劳德·作品第5号 | 0.195% |
| Anthropic | 克劳德·索内特 第5首 | 0.140% |
| Anthropic | 克劳德 作品4.8 | 0.235% |
| DeepSeek | DeepSeek V4 闪电版 | 0.455% |
| DeepSeek | DeepSeek V4 Pro | 0.320% |
| 谷歌 | Gemini 3.1 Pro 预览版 | 0.555% |
| 谷歌 | Gemini 3.5 Flash | 0.440% |
| 元数据 | Llama 3.3 70B 说明文档 | 0.550% |
| Mistral AI | Mistral 中号 3.5 | 0.400% |
| OpenAI | GPT-5.6 Sol | 0.450% |
| OpenAI | GPT-5.6 Terra | 0.345% |
| OpenAI | GPT-5.5 | 0.345% |
| OpenAI | GPT-5.4 | 0.270% |
| OpenAI | GPT-5.4 Mini | 0.330% |
| 总体而言 | 所有型号 | 0.3523% |
AI 模型同样并非一成不变。新的 AI 模型层出不穷，AI 公司也正致力于提升新版本的写作风格和质量，因此可以合理地预期，这些模型的风格和语调将持续演变。为了紧跟最新动态，我们会在每个新模型发布时对其进行小规模的基准测试，并在我们发布自家模型的间隙将测试结果发布在博客上。
| 公司 | 型号 | 假阴性率 | 博客 |
|---|---|---|---|
| OpenAI | GPT-6 Astra | 0.41% | 9月4日 |
| Anthropic | 克劳德·法布尔 5.1 | 0.36% | 9月3日 |
| Anthropic | 克劳德作品 5.5 | 0.30% | 9月23日 |
| Anthropic | 克劳德·索内特 5.5 | 0.29% | 9月28日 |
Pangram 即使在未见过的模型上也表现优异，因为新模型在很大程度上继承了其前辈的写作风格。您可以在此阅读我们最新的模型基准测试文章《Pangram 能否检测到 Claude Sonnet 5.5？》，并在此了解Pangram 如何在未见过的模型上实现较低的漏检率。
合著
文本并非非此即彼：并非所有文档都是完全由人工智能生成或完全由人类撰写的。通常情况下，人工智能与人类创作会通过迭代编辑、润色以及其他反复往来的过程交织在一起。理想情况下，Pangram 应当能够区分协作文档与几乎未经人类监督生成的文档，并在检测结果中体现出这种差异。
目标标签将取决于该文档在制作过程中涉及的人工智能使用程度。例如，轻微的人工智能介入（如校对或文稿编辑）通常应保留“完全由人工完成”的标签；而较为实质性的改写（如为提高清晰度而建议修改措辞和表述）则通常应标注为“人工智能辅助”。另一方面，大规模的人工智能改写则可标注为“人工智能生成”。
该标签还应取决于人工智能与人类写作的结合方式。例如，与人工智能反复沟通以重写一段文字应被标记为“辅助生成”，而要求人工智能将人类撰写的论点扩展为包含支持证据的较长段落，则应被标记为“人类与人工智能混合生成内容”，以反映不同部分由不同作者撰写这一事实。
为了全面涵盖利用人工智能进行写作的各种不同方式，我们针对人工智能参与程度各异的数据集对Pangram进行了评估。
| 混合作者基准测试 | 文件 | 被识别为人类 | 检测结果为混合型 | 被检测为人工智能 |
|---|---|---|---|---|
| AI校对或润色 | 11,363 | 99.45% | 0.54% | 0.0088% |
| 大量由人工智能进行的编辑 | 14,990 | 41.37% | 55.01% | 3.62% |
| 基于WildChat的编辑 | 4,826 | 27.85% | 65.17% | 6.98% |
Pangram 在处理由 AI 辅助生成和 AI 编辑的文本时表现良好。出于谨慎考虑，当遇到混合文本时，Pangram 会倾向于采用人工处理方式。
多位作者
我们对Pangram是否存在针对不同背景作者的偏见进行了评估。在一份包含25,996篇由不同残疾状况、性别、年级、族裔、英语学习者身份及经济背景的学生撰写的作文的数据集中，Pangram未出现任何误报。请参阅关于不同背景学生作文的完整结果细分。
一项研究考察了Pangram 4在143,755份文档中的表现，其中包括85,887份来自自闭症作者的文档，结果发现Pangram 4未表现出明显的偏见。在89,903份由神经多样性作者和对照组作者共同撰写的2022年前文档中，Pangram 4的假阳性率为0.0011%。 您可以阅读这篇关于神经多样性作家的完整独立研究报告。
除了英语外，Pangram 还支持阿拉伯语、中文、捷克语、荷兰语、法语、德语、希腊语、印地语、匈牙利语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、瑞典语、土耳其语、乌克兰语、乌尔都语和越南语。
有关各语言的基准测试结果，请参阅Pangram 按支持语言划分的误报率。
限制
短文
Pangram 旨在检测自然语言散文中由人工智能生成的文本，这些文本通常由 50 个单词或更多单词组成，且多为完整句子。在较长的文本片段中，Pangram 的检测效果最为可靠，因为较长的文本能为该人工智能检测器提供更多信息，从而做出更准确的预测。
下文列出了Pangram在不同长度文本上的性能分析。由于假阳性权衡问题，在短文本中观察到的许多错误实际上是假阴性。
| 字数 | 假阳性率 | 假阴性率 |
|---|---|---|
| 50-99 | 0.02% | 1.29% |
| 100-249 | 0.009% | 0.41% |
| 250-499 | 0.004% | 0.21% |
其他限制
目前，有些类型的文本我们认为不在分析范围内，Pangram 对这些文本生成的结果可靠性较低。其中包括：
- 代码、标记语言或 Markdown
- AI翻译和机器翻译，例如谷歌翻译
- 文档的前言部分，包括目录和标题页
- 文档的尾部内容，如索引或参考文献列表
- 图注，例如坐标轴标签或表格数据
- 数学符号
- 格式复杂的文本，如诗歌或食谱
最佳实践
- 为了获得最佳效果，在扫描文档之前，应删除人工填写的页眉、页脚、说明及其他无关内容。
- 在条件允许的情况下，建议优先使用原始文本和 .docx 文件，而非 PDF 文件，因为解析 PDF 文件有时会引入意想不到的错误。对 PDF 文件的解析结果应始终进行复核。
常见问题解答
为什么要把假阳性率和假阴性率分别计算出来？
准确率是通过在一组示例文本上运行 Pangram，并将生成的标签与我们已知的文档标签进行比较来衡量的。因此，假阴性率和假阳性率分别衡量的是两项不同的指标：
- 假阴性率想知道：给定一篇AI生成的文档，Pangram将其标记为“人类所写”的概率有多大？
- 假阳性率想知道：给定一份人类撰写的文档，Pangram将其标记为AI的概率有多大？
在一组由人工智能撰写的文档中，不存在假阳性率，因为Pangram为其中任何项目分配的阳性（AI）标签都不会是假阳性——根据定义，它必然是真阳性。这就是为什么必须分别测量和报告假阳性率与假阴性率。
既然 Pangram 在分析短文本时的准确率较低，为什么还要对它们进行扫描呢？
在50至100个单词的文本中，Pangram的误报率为0.02%，即大约每5,000个单词中出现1次。虽然这一误报率已足够高——且网络上的短文本数量也相当庞大——以至于普通用户在正常使用过程中可能会遇到短文本的误报，但该误报率仍足够低，因此我们相信Pangram在大多数情况下都能提供有用的信息。
我们始终建议扫描文档中可用的最长连续段落。词汇量越大，Pangram 获得的预测信息就越多，这就是为什么词汇量越高，预测准确率就越高。
