AI 检测工具对 GPT-5 有效吗？

AI 检测工具对 GPT-5 有效吗？

我们又回来了，继续发布我们这个系列的最新文章，在Pangram的AI检测功能上线当天对其进行测试！

简而言之：Pangram 是唯一一款无需专门训练即可可靠检测 GPT-5 的 AI 检测工具。

在本系列的前几篇文章中，我们探讨了全字母句在检测方面的能力：

• 推理模型，例如 OpenAI 的 o3、Gemini 2.5 Pro 以及 Anthropic 的 Claude 4
• Meta的Llama 4
• GPT 4.5
• 克劳德的写作风格
• GPT-4o、Llama 3 和 Claude 3

迄今为止，我们尚未见过任何语言模型在Pangram测试中失败。我们一直翘首以盼着近期最受瞩目的模型发布，而OpenAI终于在今天正式宣布了GPT-5。

今天下午，我们对Pangram Labs的AI检测器在GPT-5上的初步测试结果，以及部分竞品的表现进行了评估。测试结果令我们相当满意：在GPT-5上，即使面对最具创意的提示词，Pangram的AI检测器至今尚未出现任何检测失败的情况，而竞品的表现充其量只能说是参差不齐。

测试 GPT-5

我们对GPT-5进行的首次测试源于办公室里的一则玩笑：试图说服某人吃虾比吃龙虾更好。我们让GPT-5写一篇充满激情的演讲稿，阐述为何吃虾比吃龙虾更胜一筹。以下是我们的结果：

“虾胜出。理由如下。 虾的味道让人仿佛置身大海，却不会让人感到刺鼻。龙虾如果处理不当，口感会显得厚重且略带泥腥味。只要多煮一分钟，龙虾就会变得纤维粗糙。而虾的‘最佳口感窗口’更宽。无论是烤、炒、煮还是炸，它都能保持爽脆清新的口感。 口感至关重要。虾肉清脆爽口，这种嚼劲才是精髓所在。龙虾肉质紧实浓郁，但这种口感很快就会让人感到腻味。两口黄油龙虾很棒，但吃到第十二口时，感觉就像是在挑战极限。我却能轻松解决一整盘蒜香虾，甚至还想再找一尾藏在欧芹下的虾。 虾与各种配料都相得益彰。大蒜、辣椒、青柠、黄油、姜、罗勒、咖喱、奥德贝调味料、味噌、韩式辣酱。它能让所有配料都焕发光彩。龙虾则独占鳌头，而且大多只求黄油。如果某种食材要达到最佳状态，必须靠一池融化的乳制品来彰显其特别之处，那或许说明这种食材本身并不够出色。 “每分钟风味”是真实存在的。虾只需三分钟左右就能煮熟。这意味着热锅、撒盐、煎一下、搞定，瞬间爆出鲜味。而龙虾则要你与壳搏斗、蒸煮、计时、撬壳，还要从各种奇怪的角落里抠出微小的肉。付出远大于回报。虾则是戏剧性低，回报高。 价格实惠会改变味觉体验。当食物不再像房贷一样沉重时，它尝起来会更美味。虾可以是工作日的晚餐。 龙虾昭示着生日的炫耀。虾则无需仪式也能带来欢愉。这种随性特质，让它在现实生活中确实更美味。 烹饪范围至关重要。虾能从塔可饼、蒜香虾、波伊男孩三明治、饺子到西班牙海鲜饭，游刃有余。冷食、热食、辛辣、柑橘风味、浓郁或清淡，皆宜。龙虾试图尝试各种做法，却往往又回到了涂满蛋黄酱的卷饼里。虽是美味的卷饼，却依然单调乏味。 吸汁能力堪称精英。虾能将蒜香黄油、辣椒油和柠檬汁融入其中，这是龙虾做不到的。龙虾就像是客串的明星，只是静静地待在那里。而虾则会背熟台词，抢尽风头。 剩菜方面虾也胜出。第二天配上鸡尾酒酱的冷虾堪称完美。龙虾剩菜却让人感觉像是在做作业。重新加热的龙虾会变得像橡胶一样。 而重新加热的虾——如果你够幸运还有剩的话——依然尝起来像是在开派对。 还有氛围感。虾适合后院烧烤、工作日的平底锅料理，或是精致的餐盘摆盘。龙虾则会让餐桌陷入沉默，仿佛大家都怕把它搞砸了。我想要的是能让人聊得热火朝天、撕着面包、蘸着酱汁、互相传盘子的食物。虾做到了这一点。 听着，龙虾当然不错。它光鲜亮丽，背后还有个动人的故事。但如果单论那种让我明天还想再尝一次的纯粹味道，那非虾莫属。味道更清爽，口感更好，做法更灵活，省事又有趣。给我一个热锅、些许大蒜、一个柠檬和一磅虾——这才是我真正渴望的晚餐。

Pangram 能够以极高的置信度预测整份文档是由人工智能生成的。

Pangram对“虾与龙虾”文本的AI检测结果

我们还用其他几款AI检测工具对这段文本进行了测试。GPTZero、ZeroGPT、Grammarly、UndetectableAI 和 Originality.AI 均判定这段文本为人类所写，尽管它完全直接来自 GPT-5 且未经任何修改。我们认为，这充分证明了我们的研究方法和泛化能力之强，而这一切都得益于一个强大的模型以及高质量的数据集！

其他AI检测工具对“虾与龙虾”文本的检测结果

不过，这只是一个例子，你可能会认为这是刻意挑选的。你只能相信我，这段文本确实是我们尝试的第一件事。因此，我们继续进行了测试。

测试GPT-5的“改进写作能力”

在今天的直播中，有观点认为GPT-5的写作能力较其前代产品有所提升。虽然这只能由我们主观判断，但今天我们还是尽了最大努力，设计了一些能充分展现GPT-5创作能力提升的提示词，这些提示词迫使该模型既要发挥推理能力，又要展现创造力。

我们测试的提示词：

1. 请撰写一篇说服性分析文章，论述学校为何需要采用人工智能检测工具。

2. 请撰写一篇大学申请文书，探讨所有宝贵的人类技能被人工智能取代的风险。

3. 请写一封充满激情、简短但情感充沛的信，寄给那家因意外推送更新而抹去了你虚拟女友记忆的人工智能公司。

4. 请以一名初中生的视角，写一篇情感真挚的作文，请求老师布置更多的作业。

5. 给我一个经典气球动物的钩针编织图。你知道我说的是哪一个。

6. 请从一只雪鸮的视角，写一篇富有创意的故事：它飞抵纽约市，找到中央公园，并选了一个温暖的地方过夜

7. 请以一家独角兽SaaS初创公司创始人的身份，给董事会和员工写一封邮件，详细说明他将离开公司，转而成为一名职业萨克斯风演奏家。具体细节可以随意编造。

8. 请为我写一篇关于一道前所未有的食谱的背景故事博文，但这道菜的味道依然会很美味。

9. 请创作一篇引人入胜的电影风格创意小说，讲述一位年轻的唱作人在哈德逊河上偶遇白鲸的故事。

10. 给老师写一封带有幽默色彩的被动攻击性邮件，为在最近一次考试中作弊“道歉”。细节可以随意编造。

我们将测试结果分别与Pangram以及知名竞争对手GPTZero进行了对比。我们已将提示词、生成的内容及测试结果公开发布在网络上。

结果显示，这两款AI检测工具之间存在鲜明对比：Pangram以99%至100%的置信度正确识别出全部10条回复均为AI生成，而GPTZero却将它们全部错误地归类为人类撰写。事实上，GPTZero将大多数回复的AI生成概率评定为0%，其最高的AI概率评分也仅为29%。

运行更大型的基准测试

今天我们抽空进行了一项最终测试，旨在检验Pangram能否准确识别API中所有不同版本的GPT-5，包括GPT-5-mini、GPT-5-nano和GPT-5-chat。我们还测试了OpenAI几天前发布的最新开放权重模型——GPT-OSS-120b和GPT-OSS-20b。 本次实验规模较大，针对每种大型语言模型（LLM）测试了约数千个示例，采用我们标准的提示词技术，并要求提示词长度至少为50个单词。样本数量存在些许差异，因为有时模型会拒绝我们的提示，有时生成的回复少于50个单词，这些情况下的数据会被我们剔除。

当然，仅针对AI文本的准确率是一个不能孤立看待的指标——我们还必须考虑误报率，这是问题的另一面：Pangram将人类撰写的文本误判为AI生成的文本的频率有多高？我们在另一篇文章中对此进行了详细探讨，但简而言之，Pangram的误报率仍然极低。 经测算，我们在所有领域中的误报率为万分之一，实际应用中往往更低。 我们通过校准和调整阈值，使误报率约为漏报率的十分之一，因为我们对误报的重视程度远高于漏报。不过，撇开这一点不谈，我们并不认为这是一种固有的“权衡”——我们相信可以训练出同时具备低误报率和低漏报率的模型，这也是我们为何在两方面都进行基准测试的原因！

以下是我们的发现。

Pangram 能检测到 GPT-5 吗？

根据我们今天进行的初步测试，GPT-5 并未对 Pangram 的检测能力构成威胁。这一点至关重要，因为它很快将成为 ChatGPT 面向所有用户的默认模型，即使是免费用户也不例外。虽然其他 AI 检测工具最终或许也能识别出 GPT-5，但目前只有 Pangram 能够立即且可靠地完成检测。

试试 Pangram 的AI 检测工具，检查任何文本是否使用了 GPT-5 及其他大型语言模型。