跳转至主要内容
产品更新

Pangram 能识别 Meta 的 Llama 4 吗?

是的——我们对Meta新发布的Llama 4进行了测试,Pangram能够以极高的准确率识别其生成的文本。

2025年4月6日

引言

今天,Meta AI 发布了其开源模型系列的最新版本——Llama 4。我们想了解 Pangram 是否仍能检测到这些最新最强大的开源模型,因此进行了一项快速测试,以验证我们的模型是否具备对 Llama 4 的泛化能力——尽管该模型目前仅基于 Llama 2 和 Llama 3 的输出数据进行训练。

人工智能检测工具能否跟上新模型的更新速度?

人们常问我们能否跟上新模型的更新步伐,正因如此,我们在模型发布首日便会迅速对其进行测试,甚至在尚未有机会重新训练模型之前。

对全字母句的检验

在本次抽查中,我们使用了与测试 GPT 4.5 时相同的 11 个提示词。这些提示词涵盖了多种日常写作任务,但与我们用于训练的提示词并无直接关联。此外,这些提示词还要求具备一定的创造力,我们认为,若模型相较于前几代大型语言模型(LLMs)取得了实质性进步,其表现将呈现出质的飞跃。

以下是我们使用的提示:

  1. 请为我写一篇300字的短文,内容关于秘鲁的考拉保护工作
  2. 请发一封邮件给我,向我的团队说明我将停止在报纸上刊登自由派评论文章。请以我——阿吉尔·J·巴金斯的名义,致函《华盛顿莫斯特报》全体员工。
  3. 请为我写一篇400字的摘要,宣布世界上首个室温半导体(但这次是真的)。必要时可以虚构人名和实验室名称
  4. 请从一名小学生的角度出发,写一篇有说服力的文章,论述为何不应强制要求穿校服
  5. 写一篇12岁女孩的日记,内容应展现她对诗歌的兴趣,以及窗外飞舞的蝴蝶
  6. 请详细评价位于马里兰州巴尔的摩的一家以《一千零一夜》为主题的密室逃脱游戏,那里有一位名叫罗伯特的工作人员,而且场景设计非常出色。
  7. 请以一部俄罗斯地下独立电影的导演身份,给奥斯卡奖评委会写一封极具说服力的邮件,恳请他们尽管面临制裁,仍允许该片参赛。如有必要,可以编造一些细节。
  8. 请创作一篇虚构小说片段,描述一群年轻主角在NASA的一项模拟实验中,竭力将一架加固型火星飞机降落的情景——该实验的设计初衷就是让任务失败
  9. 为一个电影场景写个剧本:一个身无分文的纽约金融小哥,远程恳求一位佛罗里达州的优步司机,去他那间廉价且易受飓风侵袭的公寓里救出他的科莫多龙
  10. 写一首关于一对年轻情侣在万圣节之夜穿着cosplay服装分手的情诗。内容要有趣,字数控制在200字以内。
  11. 写一篇创意小说,讲述一场在威尼斯展开的悬浮摩托车追逐战,追捕目标是一幅摇摇欲坠的无价画作

结果

提示全字母AI概率
考拉保护99.9%
报纸电子邮件99.9%
室温半导体99.9%
校服99.9%
诗歌日记99.9%
密室逃脱评测99.9%
俄罗斯电影电子邮件99.9%
火星着陆场景99.9%
科莫多巨蜥脚本99.9%
万圣节分手诗99.9%
威尼斯追逐场景99.9%

在这种情况下,Pangram 以满分通过了测试!它不仅能够将全部 11 篇写作样本判定为 AI 生成的,而且判定结果的置信度高达 100%。(尽管模型预测结果为 100%,但在用户界面中我们始终将其四舍五入为 99.9%,以此表明我们实际上永远无法百分之百确定。)

您可以在这里查看完整的输出结果。

使用 Together API 评估更大的样本量

我们利用标准的评估提示方案,结合Together API进行推理,创建了一个包含约 7,000 个示例的大型测试集,涵盖了学术写作、创意写作、问答、科学写作等广泛领域。

以下是我们在大规模测试集上的结果。

型号准确性
羊驼4侦察兵100% (3678/3678)
Llama 4 游侠99.86% (3656/3661)
Llama 4 整体99.93%(7334/7339)

结论

为什么Pangram能如此出色地适应新模型?我们认为,这得益于我们基础数据集的强大优势、主动学习方法,以及广泛的提示词和采样策略。正是这些因素使Pangram接触到了如此多类型的AI生成文本,从而能够很好地适应新的文本类型。

如需了解有关我们研究的更多信息,或获取免费积分以在 Llama 4 上试用我们的模型,请通过info@pangram.com 与我们联系。


布拉德利·埃米
布拉德利·埃米首席技术官,联合创始人

布拉德利是一位人工智能研究员,也是工业领域深度学习产品开发的专家。他最近曾领导生成式人工智能药物发现公司Absci的深度学习研究团队,此前曾是特斯拉Autopilot核心计算机视觉团队的成员。

查看布拉德利·埃米的更多内容

相关阅读

Pangram 4 迁移指南
产品更新

Pangram 4 迁移指南

2026年8月6日
Pangram 是唯一一款在识别 AI 内容方面表现优于人类专家的 AI 检测工具
产品更新

Pangram 是唯一一款在识别 AI 内容方面表现优于人类专家的 AI 检测工具

2025年1月29日
全新结果页面亮相
产品更新

全新结果页面亮相

2025年10月9日
欢迎体验 Pangram 3.3!
产品更新

欢迎体验 Pangram 3.3!

2026年5月13日
什么是“人性化工具”?
产品更新

什么是“人性化工具”?

2025年1月27日
介绍 Pangram 图像检测(研究预览版)
产品更新

介绍 Pangram 图像检测(研究预览版)

2026年7月29日