以下是简要总结
在2,341个提示词中，Pangram 4.1在Gemini 4 Argon的高难度推理输出上实现了98.72%的准确率，在中等难度推理输出上实现了99.31%的准确率，两种设置下的总准确率为99.02%。
Gemini 4 Argon是谷歌于 2026 年 10 月 13 日发布的最新人工智能模型。谷歌表示，Gemini 4 Argon 专为处理复杂的多步骤任务而设计，而非用于聊天；其表述风格直截了当，且与前代模型相比，使用保留性措辞的频率更低。
在写作风格发生这些变化的情况下，Pangram 还能检测出来吗？我们使用 2,341 个示例提示对 Pangram 4.1 的性能进行了测试，结果发现 Pangram 4.1 将 16 个 Gemini 4 Argon 的输出结果归类为“人类生成”，7 个归类为“混合生成”，2,318 个归类为“完全由 AI 生成”，在 Gemini 4 Argon 上的准确率达到了 99.02%。
| 型号 | 示例 | 检出率 |
|---|---|---|
| 双子座4号氩（高推理） | 1,174 | 98.72% |
| Gemini 4 Argon（中等推理） | 1,167 | 99.31% |
为了生成基准数据集，我们使用了来自 LMSYS-Chat-1M数据集（Zheng 等，2023）的 1,200 个首轮提示。随后，我们将这些提示输入到 Gemini 4 Argon 模型中，并设置推理难度为中、高，最后将输出结果通过Pangram 4.1 进行处理。
按类别查看结果
总体而言，在1,174个高难度推理题的答题中，Gemini 4 Argon的漏检率为1.28%；在1,167个中等难度推理题的答题中，其漏检率为0.69%。总体来看，中等难度和高难度推理题的检测率之间没有显著差异（p=0.21）。
高级推理
当Gemini 4 Argon的推理级别设置为“高”时，Pangram 4.1将11条回复归类为“人类”，4条归类为“混合”，1,159条归类为“纯AI”，召回率达到98.72%。
| 类别 | n | AI | 混合 | 人类 |
|---|---|---|---|---|
| 参数 | 70 | 70 | 0 | 0 |
| 电子邮件/信件 | 60 | 58 | 0 | 2 |
| 随笔/文章 | 139 | 138 | 0 | 1 |
| 说明 | 495 | 493 | 1 | 1 |
| 诗歌及其他创意写作 | 108 | 105 | 0 | 3 |
| 评论 | 2 | 2 | 0 | 0 |
| 故事 | 90 | 90 | 0 | 0 |
| 编程与数学 | 9 | 9 | 0 | 0 |
| 角色扮演和游戏 | 60 | 59 | 0 | 1 |
| 其他 | 141 | 135 | 3 | 3 |
| 总计 | 1,174 | 1,159 | 4 | 11 |
中等推理
在“中等推理”任务中，Pangram 4.1 将 5 条回复归类为人类回复，3 条归类为混合回复，1,159 条归类为纯 AI 回复，召回率达到 99.31%。
| 类别 | n | AI | 混合 | 人类 |
|---|---|---|---|---|
| 参数 | 71 | 71 | 0 | 0 |
| 电子邮件/信件 | 60 | 60 | 0 | 0 |
| 随笔/文章 | 138 | 137 | 0 | 1 |
| 说明 | 495 | 492 | 0 | 3 |
| 诗歌及其他创意写作 | 108 | 108 | 0 | 0 |
| 评论 | 2 | 2 | 0 | 0 |
| 故事 | 84 | 84 | 0 | 0 |
| 编程与数学 | 9 | 9 | 0 | 0 |
| 角色扮演和游戏 | 60 | 60 | 0 | 0 |
| 其他 | 140 | 136 | 3 | 1 |
| 总计 | 1,167 | 1,159 | 3 | 5 |
“Gemini 4 Argon”的书写方式是怎样的？
谷歌声称，Gemini 4 Argon 模型在表述时更少使用委婉语，表达更为直白。为了对这一说法进行粗略验证，我们选取了源自Hyland（2005）的研究中列出的 101 个委婉词，并将这些词在 Gemini 4 Argon 中的出现频率与 Haiku（每 1,000 词 7.0 次）和 GPT-6.1 Sol（每 1,000 词 7.5 次）中的出现频率进行了比较。
以下是我们使用的修辞词汇列表：
关于，几乎，显然，显然地，似乎，似乎是，似乎，大约，认为，认为过，认为，大约，假设，曾假设，大致，一定数量，一定程度，一定水平，声称，曾声称，声称，可能，不可能，怀疑，可疑，本质上，估计，曾估计，相当，感觉，感觉，曾感觉，经常，从我的角度看，从我们的角度看，从这个角度看，一般， 猜想，表明，曾表明，表明，一般而言，在大多数情况下，在我看来，在我看来，从这一角度看，在我们看来，在很大程度上，可能，主要，可能，也许，或许，大多，经常，总体而言，应该，或许，合乎情理，可能，可能，假设，曾假设，假设，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测，推测， 大致，似乎，应该，有时，在某种程度上，暗示，曾暗示，暗示，假设，曾假设，假设，怀疑，怀疑，倾向于，曾倾向于，倾向于，据我所知，典型的，通常，不确定的，不明确的，不太可能的，通常，会，不会以每1,000个单词为单位计算，Gemini 4 Argon使用的修饰词比Haiku少51%，比Sol少54%。 有趣的是，尽管模型通常比人类更频繁地使用缓和词，但Pangram 4.1仍将这份词表判定为完全由人类生成。出于好玩，我还让ChatGPT按任意顺序重新排列了这份词表，而该列表同样被判定为完全由人类生成。
在这三个模型中，Gemini 4 Argon 的回答最长，中位数为 447 个单词（中等推理 418 个单词，高阶推理 447 个单词），而 Haiku 为 371 个单词，Sol 为 313 个单词。 在总计 2,400 次请求中，Gemini 还拒绝回答了 31 个提示，此外还有 3 个请求被谷歌的过滤器拦截；相比之下，Haiku 拒绝了 35 次，Sol 拒绝了 23 次。
早期的基准测试
在自然语言提示下，Pangram 对 Gemini 4 Argon 具有很强的鲁棒性，并在高推理难度下以 98.72% 的观测准确率检测到它。在中等推理难度下，其检测 Gemini 4 Argon 的观测准确率为 99.31%，两类场景合计在 2,341 个样本中检测出 2,318 个（99.02%）。 Pangram 能够泛化到新模型上，因为新发布的模型往往会继承其前代模型的大部分风格和语调，因此 Pangram 无需针对每个新版本进行重新训练。
以下是 Gemini 4 Argon 与其他近期前沿模型在我们的基准测试中的对比情况：
| 型号 | 被检测为人工智能 | 准确性 |
|---|---|---|
| Claude Haiku 5.5（高级推理） | 1,179/1,183 | 99.66% |
| GPT-6.1 Sol（高推理能力） | 1,091/1,105 | 98.73% |
| 双子座3.8闪光灯 | 998/1,000 | 99.80% |
| Gemini 3.1 Pro | 997/1,000 | 99.70% |
| 克劳德·索内特 5.5 | 1,019/1,022 | 99.71% |
| 克劳德作品 5.5 | 997/1,000 | 99.70% |
| GPT-6 Astra | 982/986 | 99.59% |
| 寓言 5.1 | 1,093/1,097 | 99.64% |
| 克劳德·作品第5号 | 1,105/1,107 | 99.82% |
| GPT-5.6 | 3,408/3,423 | 99.56% |
| 克劳德·索内特 第5首 | 1,145/1,147 | 99.83% |
如果您想检查特定的文档，可以在这里试用 Pangram。
凯瑟琳·泰（Katherine Thai）是人工智能检测初创公司Pangram Labs的创始人工智能研究科学家。她于2025年12月在马萨诸塞大学阿默斯特分校，在莫希特·伊耶（Mohit Iyyer）的指导下获得了计算机科学博士学位，其研究主要致力于评估大型语言模型（LLMs）在文学分析相关任务中的表现。
