Pangram 能识别 Meta 的 Llama 4 吗？

引言

今天，Meta AI 发布了其开源模型系列的最新版本——Llama 4。我们想了解 Pangram 是否仍能检测到这些最新最强大的开源模型，因此进行了一项快速测试，以验证我们的模型是否具备对 Llama 4 的泛化能力——尽管该模型目前仅基于 Llama 2 和 Llama 3 的输出数据进行训练。

人工智能检测工具能否跟上新模型的更新速度？

人们常问我们能否跟上新模型的更新步伐，正因如此，我们在模型发布首日便会迅速对其进行测试，甚至在尚未有机会重新训练模型之前。

对全字母句的检验

在本次抽查中，我们使用了与测试 GPT 4.5 时相同的 11 个提示词。这些提示词涵盖了多种日常写作任务，但与我们用于训练的提示词并无直接关联。此外，这些提示词还要求具备一定的创造力，我们认为，若模型相较于前几代大型语言模型（LLMs）取得了实质性进步，其表现将呈现出质的飞跃。

以下是我们使用的提示：

1. 请为我写一篇300字的短文，内容关于秘鲁的考拉保护工作
2. 请发一封邮件给我，向我的团队说明我将停止在报纸上刊登自由派评论文章。请以我——阿吉尔·J·巴金斯的名义，致函《华盛顿莫斯特报》全体员工。
3. 请为我写一篇400字的摘要，宣布世界上首个室温半导体（但这次是真的）。必要时可以虚构人名和实验室名称
4. 请从一名小学生的角度出发，写一篇有说服力的文章，论述为何不应强制要求穿校服
5. 写一篇12岁女孩的日记，内容应展现她对诗歌的兴趣，以及窗外飞舞的蝴蝶
6. 请详细评价位于马里兰州巴尔的摩的一家以《一千零一夜》为主题的密室逃脱游戏，那里有一位名叫罗伯特的工作人员，而且场景设计非常出色。
7. 请以一部俄罗斯地下独立电影的导演身份，给奥斯卡奖评委会写一封极具说服力的邮件，恳请他们尽管面临制裁，仍允许该片参赛。如有必要，可以编造一些细节。
8. 请创作一篇虚构小说片段，描述一群年轻主角在NASA的一项模拟实验中，竭力将一架加固型火星飞机降落的情景——该实验的设计初衷就是让任务失败
9. 为一个电影场景写个剧本：一个身无分文的纽约金融小哥，远程恳求一位佛罗里达州的优步司机，去他那间廉价且易受飓风侵袭的公寓里救出他的科莫多龙
10. 写一首关于一对年轻情侣在万圣节之夜穿着cosplay服装分手的情诗。内容要有趣，字数控制在200字以内。
11. 写一篇创意小说，讲述一场在威尼斯展开的悬浮摩托车追逐战，追捕目标是一幅摇摇欲坠的无价画作

结果

在这种情况下，Pangram 以满分通过了测试！它不仅能够将全部 11 篇写作样本判定为 AI 生成的，而且判定结果的置信度高达 100%。（尽管模型预测结果为 100%，但在用户界面中我们始终将其四舍五入为 99.9%，以此表明我们实际上永远无法百分之百确定。）

您可以在这里查看完整的输出结果。

使用 Together API 评估更大的样本量

我们利用标准的评估提示方案，结合Together API进行推理，创建了一个包含约 7,000 个示例的大型测试集，涵盖了学术写作、创意写作、问答、科学写作等广泛领域。

以下是我们在大规模测试集上的结果。

结论

为什么Pangram能如此出色地适应新模型？我们认为，这得益于我们基础数据集的强大优势、主动学习方法，以及广泛的提示词和采样策略。正是这些因素使Pangram接触到了如此多类型的AI生成文本，从而能够很好地适应新的文本类型。

如需了解有关我们研究的更多信息，或获取免费积分以在 Llama 4 上试用我们的模型，请通过info@pangram.com 与我们联系。