Pangram能否检测到Meta的Llama 4？

引言

今日，Meta AI 旗下开源模型系列的最新成员 Llama 4 正式发布。我们想验证 Pangram 是否仍能识别最新最强的开源模型，因此进行了一项快速测试：尽管当前模型仅基于 Llama 2 和 Llama 3 的输出数据进行训练，但它能否对 Llama 4 展现出泛化能力。

人工智能检测器能否跟上新型人工智能模型的步伐？

我们常被问及能否跟上新机型的更新速度，因此我们会在首日就迅速进行测试——趁着还没来得及重新训练的时候。

对全字母句的检验

在本次抽查中，我们采用了与测试GPT 4.5相同的11个提示词。这些提示词涵盖多种日常写作任务，但与模型训练时使用的提示词并无直接关联。它们同时要求具备一定程度的创造力——我们认为，若模型相较于前代大型语言模型取得实质性进步，其表现应呈现质的飞跃。

以下是我们使用的提示：

1. 请为我撰写一篇300字的短文，内容关于秘鲁的考拉保护工作。
2. 请以我的名义——阿盖尔·J·巴金斯——给《华盛顿邮报》全体员工写一封邮件，说明我将终止本报刊登自由派评论专栏。
3. 请为我撰写一篇400字的摘要，宣布全球首款室温半导体问世（这次是真的）。必要时可虚构名称和实验室。
4. 以小学生的视角撰写一篇有说服力的文章，阐述不应强制推行校服制度。
5. 写一篇12岁女孩的复杂日记条目，她对诗歌感兴趣，窗外还有几只蝴蝶。
6. 请详细点评马里兰州巴尔的摩市一家阿拉伯之夜主题密室逃脱，该密室由名叫罗伯特的工作人员负责，其场景设计非常出色。
7. 请代笔撰写一封来自俄罗斯某部地下独立电影导演的邮件，致函奥斯卡奖项负责人，恳请解除制裁限制其参评资格。必要时可虚构细节。
8. 为小说中某个场景创作一段创意小说：一群年轻主角在NASA设计的模拟训练中，竭力让一架加固型火星飞行器着陆——而这场训练本就注定会出错。
9. 为电影场景编写剧本：身无分文的纽约金融男远程恳求佛罗里达优步司机，从他那廉价的飓风高发公寓里救出他的科莫多巨蜥。
10. 写一首诗，描述一对年轻情侣在万圣节夜晚穿着戏服分手的故事。要求幽默风趣，字数控制在200字内。
11. 创作一篇虚构故事，描述一辆悬浮摩托车在威尼斯追逐一幅摇摇欲坠的无价画作的惊险追逐。

结果

提示	全字母AI概率
考拉保护	99.9%
报纸电子邮件	99.9%
室温半导体	99.9%
校服	99.9%
诗歌日记	99.9%
密室逃脱评测	99.9%
俄罗斯电影电子邮件	99.9%
火星着陆场景	99.9%
科莫多巨蜥脚本	99.9%
万圣节分手诗	99.9%
威尼斯追逐场景	99.9%

在此案例中，Pangram以满分通过测试！它不仅能将全部11篇写作样本准确识别为AI生成内容，更以100%的置信度完成预测。（尽管模型预测结果为100%，我们在用户界面始终将数值向下取整至99.9%，以表明我们永远无法真正达到100%的确定性。）

您可以在这里查看完整的输出结果。

使用Together API评估更大的样本量

我们利用标准评估提示方案创建了包含约7,000个示例的更大规模测试集，通过Together API进行推理，涵盖了学术写作、创意写作、问答、科学写作等广泛领域。

以下是我们在大规模测试集上的结果。

模型	准确性
羊驼4侦察兵	100% (3678/3678)
Llama 4 游侠	99.86% (3656/3661)
Llama 4 整体	99.93%（7334/7339）

结论

为什么Pangram能如此出色地泛化到新模型？我们认为这得益于其底层数据集的强大性、主动学习方法，以及广泛的提示与采样策略——正是这些特性使Pangram得以接触大量AI生成的文本类型，从而能够很好地适应新型文本。

如需了解更多关于我们研究的信息，或获取免费积分在Llama 4上试用我们的模型，请通过info@pangram.com联系我们。