照片由瓦伦丁·安东努奇拍摄。
我们很高兴宣布，我们的旗舰AI检测模型Pangram Text迎来了一次重大更新。Pangram Text现已能够检测西班牙语、法语、意大利语、葡萄牙语、德语、俄语和普通话的AI生成文本，其准确率与检测英语文本时一样，均处于行业领先水平。我们正在立即推出这款新的多语言模型，以保护在线平台免受AI垃圾信息的侵害。
基准测试
为了测试我们的模型在非英语语言上的准确性，我们使用了来自不同领域的3个规模庞大且内容丰富的多语言语料库：亚马逊多语言评论、维基百科以及XLSum（BBC国际新闻）。
在基准测试的人工部分，我们从通过基本有效性检查过滤器的文档中随机抽取样本。在基准测试的AI部分，我们混合使用了GPT-3.5、GPT-4和GPT-4o。首先，我们要求大型语言模型（LLM）对真实文档进行摘要，例如“这篇评论讲的是什么？”；然后，我们要求它根据摘要生成评论、文章或新闻报道。 通过这种方式构建基准测试，既消除了标签噪声的可能性，也确保了人类数据与AI数据的分布尽可能接近。
| 语言 | 亚马逊评论准确性 | 维基百科的准确性 | XLSum（BBC新闻）准确性 |
|---|---|---|---|
| 西班牙语 | 99.59% | 99.75% | 99.75% |
| 法语 | 98.84% | 99.33% | 98.50% |
| 意大利语 | 不适用 | 99.82% | 不适用 |
| 德语 | 99.44% | 99.95% | 不适用 |
| 葡萄牙语 | 不适用 | 99.83% | 99.70% |
| 俄罗斯 | 不适用 | 98.34% | 99.35% |
| 中文 | 99.70% | 99.54% | 98.10% |
常见问题解答
- 你是如何更新模型以支持这些语言的？
由于我们的模型架构与现代大型语言模型相似，因此我们在对AI检测头进行微调之前，会通过大规模预训练确保我们的骨干网络已在庞大的多语言语料库上完成训练。此外，我们还采用了一种支持多种语言（包括俄语和中文）的分词器。
- 你为什么选择这些特定的语言？
我们选择了能代表互联网上使用最广泛的语言。
- 如果我提交的文本使用的是未受支持的语言，会怎样？
我们使用 Amazon Comprehend 来识别输入文本的语言。如果该语言不受支持，则会返回“不受支持的语言”作为预测结果。
- 该模型会随着时间的推移而得到改进吗？
是的，随着我们通过主动学习不断扩充多语言数据集，我们预计未来发布的更新将提升非英语语言的性能。
- 其他语言呢？
我们计划在未来支持更多语言。如果您希望我们支持某一种语言，请告诉我们！
如需了解有关多语言AI检测的更多信息，请通过info@pangram.com联系我们。
布拉德利是一位人工智能研究员，也是工业领域深度学习产品开发的专家。他最近曾领导生成式人工智能药物发现公司Absci的深度学习研究团队，此前曾是特斯拉Autopilot核心计算机视觉团队的成员。
