Pangram的人工智能检测器在20多种语言中表现出色

两个月前，Pangram 发布了首个多语言 AI 检测模型。如今，我们准备宣布一项更新！Pangram 现已正式支持互联网上使用最广泛的 20 种语言，并在更多语言上表现出色（虽未正式支持）。我们发现，该模型在阿拉伯语、日语、韩语和印地语上的表现尤为突出，且性能有了显著提升。

结果

在我们的官方训练集里，每种语言大约评估了2,000份文档。人工生成部分包含真实的评论、新闻文章和维基百科条目；AI生成部分则是一组由我们引导GPT-4o撰写、涵盖不同长度、风格和主题的论文、新闻文章及博客文章。

我们做了哪些改动？

以下是我们为改进多语言支持所做的主要改动：

• 我们针对互联网规模的数据开展了一项主动学习数据项目，重点关注互联网上使用最广泛的20种语言。

• 我们更改了分词器，以便更好地支持非英语语言。

• 我们增加了基础模型和LoRA适配器的参数数量。

• 我们在训练前对数据集中的随机样本应用了数据增强技术，以进行机器翻译。

• 我们修复了一个词频统计中的错误，该错误曾导致东亚语言在训练集中的占比意外偏低。

主动学习活动

我们构建极低误报率模型的核心基础是主动学习：简而言之，我们从2022年之前的互联网数据中挖掘出模型表现不佳的样本（例如误报），将这些样本加入训练集，重新训练，并循环往复。我们在技术报告中详细阐述了该算法。

我们可以将主动学习方法应用于网络上的某些大型多语言数据集，以找出当前模型难以处理的多语言文本，然后利用这些数据进行迭代，并结合我们庞大的提示词库来生成合成镜像：即与我们发现的挖掘出的误报相似的AI文本。 虽然我们主要关注互联网上的前20种语言，但我们从数据处理流程中移除了语言过滤步骤：这意味着所有语言的文本都可作为困难负样本进行挖掘，并纳入我们的训练集。

我们主动学习方法的一大优势在于，它能根据模型的准确率自动重新平衡语言分布。低资源语言在网络上的数据量较少，但正因这种类不平衡，我们的初始模型在低资源语言上的表现较差，从而导致在“困难负样本挖掘”过程中，更多来自冷门语言的文本被筛选出来。 在主动学习过程中，我们观察到训练集中英语、西班牙语和汉语等高资源语言的数据比例逐渐降低，而较少见的语言比例则相应增加。我们认为这为多语言模型训练中天然存在的数据分布不平衡问题提供了一个相对优雅的解决方案。通过我们的主动学习算法，模型能够自主筛选出需要更多训练数据的语言样本。

架构变更

为了更好地支持输入域中的多语言文本，我们还希望确保用于构建分类器的基础大语言模型（LLM）也能流利地处理多种非英语语言。 我们针对数据集对多种大语言模型（LLM）的骨干架构和分词器进行了全面测试，以找出在广泛的非英语语言中表现最佳的方案。我们发现，模型在多语言基准测试中的表现似乎与它在我们的AI检测任务中的表现之间并无显著关联：换言之，即使基础模型能够解决推理任务并用其他语言回答问题，其技能向多语言AI检测的迁移效果却存在极大差异。

我们还发现，最初训练的模型往往对新的多语言分布存在欠拟合现象——起初观察到的训练损失较高。为此，我们不仅扩大了基础模型的规模，还增加了LoRA适配器的参数数量，并延长了模型的训练步数。 （由于我们处于主动学习/高数据量场景，训练时间几乎从未超过1个 epoch。在这种情况下，我们只需延长单个 epoch 的训练时长即可！）

数据增强

即使采用了主动学习，非英语语言的数据多样性仍明显低于网上英语数据的多样性和规模，而我们无法仅通过重新平衡训练集中的语言分布来完全解决这一问题。 简而言之，某些有价值的英语数据在其他语言中根本不存在，或者没有相应的原生对应数据。因此，我们决定对数据集的一小部分随机应用机器翻译增强（在本研究中，我们使用了Amazon Translate）。

虽然在大型语言模型（LLM）的训练中，通常不会对训练集应用机器翻译增强技术——因为机器翻译的数据往往不够自然，且存在“翻译腔”——但在我们的案例中，由于我们训练的并非生成式模型，这似乎并未影响输出质量，而且我们发现应用这种增强技术后，各项指标均有所提升。

基准测试：西班牙语

我们以西班牙语为例，说明这种高资源语言的典型特征：该语言此前已由Pangram Text提供支持，如今其支持能力已得到显著提升。我们在多个领域对误报率进行了评估。

我们还测量了各种大型语言模型的假阴性率（即AI生成的文本被错误地归类为人类创作的文本的比例）。在该实验中，我们设计了一系列提示词，让大型语言模型生成长度与风格各异的论文、博客文章和新闻报道，随后将这些提示词翻译成西班牙语。由于大型语言模型本身支持多语言处理，因此它们能够直接响应西班牙语指令。

如我们所见，我们更新后的模型在所有经过测试的大型语言模型（LLMs）上均实现了完美检测，较之前版本有了显著提升。

基准测试：阿拉伯语和日语

我们最着力改进的两种语言，虽然在世界上广泛使用，但在互联网上却并不常见——它们就是阿拉伯语和日语。

此前我们不支持这两种语言，因此误判率极高。如今，我们已能非常准确地识别由AI生成的阿拉伯语和日语。

如我们所见，我们的更新版模型在所有经过测试的大型语言模型（LLMs）上，无论是阿拉伯语还是日语，都实现了近乎完美的检测效果，仅在日语环境下，Gemini 1.5 Pro 的漏检率略高，为 0.21%。

如需完整的语言基准测试结果，请联系我们。

接下来呢？

虽然我们在原生网页文本上的表现强劲，但我们的模型有时难以识别“翻译体”——即翻译质量低劣或读起来不自然的文本。更棘手的是，如今许多人直接使用ChatGPT等大型语言模型（LLM）进行翻译任务。由LLM翻译的文本应归类为人类翻译还是AI翻译？这取决于翻译的生硬程度，以及下游应用的使用场景。 西班牙语教师可能会将作业中使用机器翻译视为学术不端行为，但出版商可能希望允许翻译作品通过其质量保证流程。Pangram 正积极致力于将翻译文本视为介于人类与 AI 之间的“第三种模式”，并为用户提供更多信息，以便我们模型的下游使用者能够根据自身需求做出判断。

还有其他问题吗？请通过info@pangram.com 联系我们！