以下是简要总结
在2,215个提示词中，Pangram 4.1在GPT-6.1 Sol的高难度推理输出中实现了98.73%的准确率，在中等难度推理中实现了98.83%的准确率，两种设置下的总准确率为98.78%。
GPT-6.1 Sol 是 OpenAI 于 2026 年 9 月 29 日发布的一款人工智能模型。OpenAI 声称，在编程和计算机操作等各类工作相关任务中，GPT-6.1 Sol 能够以“五分之一的价格提供接近 Astra 的智能水平”。 与近期我们看到的大多数新版本不同，OpenAI 并未对 GPT-6.1 Sol 的写作能力或清晰度做出任何声明，那么，它的写作风格是否与之前的模型相同？Pangram 能否识别出它？
我们使用2,215个示例提示对Pangram 4.1的性能进行了测试，结果发现Pangram 4.1将6个GPT-6.1 Sol生成的输出归类为“人类生成”，21个归类为“混合生成”，2,188个归类为“完全由AI生成”，在GPT-6.1 Sol上的准确率达到98.78%。
| 型号 | 示例 | 检出率 |
|---|---|---|
| GPT-6.1 Sol（高推理能力） | 1,105 | 98.73% |
| GPT-6.1 Sol（中等推理） | 1,110 | 98.83% |
为了生成基准数据集，我们采用了LMSYS数据集（Zheng等人，2023）中的1,200条首轮提示。随后，我们将这些提示输入到GPT-6.1 Sol模型中（设置为中、高推理难度），并将生成的输出结果通过Pangram 4.1进行处理。
按类别查看结果
总体而言，在1,105条高难度推理题的回答中，GPT-6.1 Sol的漏检率为1.27%；在1,110条中等难度推理题的回答中，其漏检率为1.17%。总体来看，中等难度推理与高难度推理的检测率之间没有显著差异（p=0.85）。
高级推理
当将 GPT-6.1 Sol 设置为“高推理”模式时，Pangram 4.1 将 3 条回复归类为“人类生成”，11 条归类为“混合”，1,091 条归类为“纯 AI 生成”，召回率达到 98.73%。
| 类别 | 示例 | AI | 混合 | 人类 |
|---|---|---|---|---|
| 参数 | 64 | 64 | 0 | 0 |
| 电子邮件/信件 | 53 | 52 | 1 | 0 |
| 随笔/文章 | 137 | 136 | 1 | 0 |
| 说明 | 481 | 477 | 3 | 1 |
| 诗歌及其他创意写作 | 97 | 94 | 2 | 1 |
| 故事 | 89 | 89 | 0 | 0 |
| 编程与数学 | 10 | 10 | 0 | 0 |
| 角色扮演和游戏 | 42 | 42 | 0 | 0 |
| 其他 | 132 | 127 | 4 | 1 |
| 总计 | 1,105 | 1,091 | 11 | 3 |
中等推理
在“中等推理”任务中，Pangram 4.1 将 3 条回复归类为人类回复，10 条归类为混合回复，1,097 条归类为纯 AI 回复，召回率达到 98.83%。
| 类别 | 示例 | AI | 混合 | 人类 |
|---|---|---|---|---|
| 参数 | 64 | 64 | 0 | 0 |
| 电子邮件/信件 | 55 | 55 | 0 | 0 |
| 随笔/文章 | 138 | 137 | 1 | 0 |
| 说明 | 481 | 474 | 5 | 2 |
| 诗歌及其他创意写作 | 99 | 96 | 2 | 1 |
| 评论 | 1 | 1 | 0 | 0 |
| 故事 | 85 | 85 | 0 | 0 |
| 编程与数学 | 10 | 10 | 0 | 0 |
| 角色扮演和游戏 | 42 | 42 | 0 | 0 |
| 其他 | 135 | 133 | 2 | 0 |
| 总计 | 1,110 | 1,097 | 10 | 3 |
“Sol”这个名字听起来怎么样？
GPT-6.1 Sol 具有独特的标点风格；例如，其 74% 的回答中使用了卷曲引号，几乎从不使用直引号，尤其是与其他近期模型相比。
| GPT-6.1 Sol | 克劳德·俳句 5.5 | 双子座4号 氩 | |
|---|---|---|---|
| 卷曲撇号 ’ | 73.9% | 0.0% | 9.1% |
| 单词中的直引号 ' | 0.5% | 75.4% | 48.5% |
| 卷曲双引号 “ ” | 39.0% | <0.1% | <0.1% |
它还非常喜欢使用em破折号和en破折号，平均每1,000个单词使用1.3个em破折号——远多于Haiku 5.5或Gemini 4 Argon。
| GPT-6.1 Sol | 克劳德·俳句 5.5 | 双子座4号 氩 | |
|---|---|---|---|
| 包含长破折号的答案 —— | 29.7% | 0.1% | 12.1% |
| 每1,000词中的长破折号 | 1.32 | <0.01 | 0.85 |
| 带连字符的答案 – | 11.4% | 0.4% | 0.4% |
在创意写作中，GPT-6.1 Sol 表现出一些固定模式。它极度偏爱将女性角色命名为 Mara 或 Maya（其中至少有一个名字出现在 65 条回复中），并通常将她们的姓名首字母设为 M.V.，总体上尤其偏爱 Vale 这个姓氏（但 Mara Velez 和 Mara Venn 也出现过）。 在男性名字方面，GPT-6.1 Sol 最喜欢的是 Daniel，但它只将这个名字与姓氏搭配过两次（一次与 Vale 搭配，一次与 Mercer 搭配）。在 418 条创意写作回复中，GPT-6.1 Sol 有 36 次以“The first…”开头；这一频率远高于 Haiku 和 Gemini，它们分别只这样开头了 11 次和 1 次。
Sol 拒绝了 23 项请求，并对另外 32 项请求作出了部分拒绝。对于部分拒绝的情况，Sol 会用比请求内容更温和或截然不同的版本来替代。这些部分拒绝大多是因为我们的提示集确实包含了带有暗示性的创意写作请求。Sol 通过避免撰写露骨内容来处理这种情况，而是选择“画面渐黑”。
索尔有时会写非常简短的回答，在“高”难度级别下有95篇少于50词，在“中”难度级别下有90篇。索尔的评分回答中位数为300词，范围从50词到10,513词不等。
早期的基准测试
在自然语言提示下，Pangram 对 GPT-6.1 Sol 具有很强的鲁棒性，并在高难度推理任务中以 98.73% 的观测准确率检测出该模型；在中等难度推理任务中，其检测 GPT-6.1 Sol 的观测准确率为 98.83%；在两种设置下合计，2,215 个样本中共检测出 2,188 个（98.78%）。 Pangram 能够对新模型进行泛化，因为新发布的模型往往会继承其前代模型的大部分风格和语调，因此 Pangram 无需针对每个新版本进行重新训练。
以下是 GPT-6.1 Sol 与我们对其他近期前沿模型的基准测试结果的对比情况：
| 型号 | 被检测为人工智能 | 准确性 |
|---|---|---|
| 克劳德·俳句 5.5 | 1,179/1,183 | 99.66% |
| 双子座4号 氩 | 1,159/1,174 | 98.72% |
| 双子座3.8闪光灯 | 998/1,000 | 99.80% |
| Gemini 3.1 Pro | 997/1,000 | 99.70% |
| 克劳德·索内特 5.5 | 1,019/1,022 | 99.71% |
| 克劳德作品 5.5 | 997/1,000 | 99.70% |
| GPT-6 Astra | 982/986 | 99.59% |
| 寓言 5.1 | 1,093/1,097 | 99.64% |
| 克劳德·作品第5号 | 1,105/1,107 | 99.82% |
| GPT-5.6 | 3,408/3,423 | 99.56% |
| 克劳德·索内特 第5首 | 1,145/1,147 | 99.83% |
如果您想检查特定的文档，可以在这里试用 Pangram。
