宣布推出AI识别功能：Pangram能够区分不同的LLM

Pangram 是检测由 ChatGPT、Claude、Gemini 等生成的 AI 文本，并区分 AI 文本与人类文本的领先软件。

我们现在更进一步，推出了一款高级模型，它不仅能检测AI生成的内容，还能识别出某段AI生成的文本源自哪款大型语言模型（LLM）。我们将这项新技术命名为“AI识别”。

AI 识别

从直觉上讲，人们开始意识到不同的LLM具有不同的写作风格。例如，ChatGPT以直截了当著称，Claude以行云流水且富有对话感著称，Grok以毫无保留且富有挑衅性著称，而Deepseek-R1则逐渐以语无伦次、冗长繁琐而闻名。

格雷厄姆·纽比格调侃了不同大型语言模型的风格倾向

伊桑·莫利克谈到了克劳德·索内特讨人喜欢的性格。

加州大学伯克利分校的丽莎·邓拉普（Lisa Dunlap）及其合作者最近进行的一项研究，探讨了不同大型语言模型（LLM）在质上的差异（或通俗地说，就是“风格”）。他们发现许多有趣的现象，例如“与GPT和Claude相比，Llama更具幽默感、使用更多格式标记、提供更多示例，且对伦理问题的评论要少得多”。 这表明模型的性能并不总是与人类偏好一致：尽管GPT-4和Claude-3.5比Llama系列更先进，但在Chatbot Arena（一个基于对相同提示的回答偏好、采用众包Elo排名的LLM排行榜）上，Llama似乎总是表现得超乎其水平。 在Chatbot Arena上表现优异的模型，究竟是更聪明、能力更强，还是仅仅试图通过某种方式操纵人类心理，从而让自己显得更“讨人喜欢”？既然有些模型比其他模型更实用、更讨喜，那么它们在解决博士级推理问题上的能力稍弱，这真的重要吗？这些问题值得深入研究，对于理解Chatbot Arena等系统相较于传统模型评估方法的实用价值而言，更是至关重要。

在Pangram，我们曾思考：我们的模型是否能利用这些特征来识别并区分这些大型语言模型（LLMs）？

Pangram 人工智能识别系统

正如我们训练基础AI检测模型来区分AI生成的文本与人类撰写的文本一样，我们还利用一种名为多任务学习的技术，对同一检测模型进行训练，使其能够识别AI生成的文本。在实际操作中，我们将各种语言模型分为9大类，这一分类是通过大量实验确定的。

这些家庭如下：

1. GPT-3.5
2. GPT-4（包括 GPT-4o、GPT-4-turbo 和 GPT-4o-mini）
3. OpenAI推理模型
4. 克劳德
5. 谷歌（包括Gemini的两个版本和Gemma）
6. Grok
7. DeepSeek
8. 亚马逊Nova
9. 其他（包括 LLaMA、Mistral、Qwen 以及这些模型的其他开源衍生版本）

在实际操作中，我们通过在神经网络中添加另一个“头部”来实现这一点。在对AI检测任务进行监督时，我们还会通过将模型标签传递给网络，并对AI识别和检测预测的误差进行反向传播，从而对AI识别任务进行监督。

图片来源：GeeksForGeeks

该模型的几乎所有层在两个任务之间都是共用的，只有最终的预测层被拆分。

我们在多任务学习中发现，某些任务在共同学习时能相互促进，而另一些任务则会相互干扰。 在生物学中，一个类似的概念是共生与寄生的区别。例如，生活在海葵中的小丑鱼就是共生的典型例子：小丑鱼以可能危害海葵的捕食者为食，同时通过在海葵内伪装和藏身，得以躲避自身天敌的捕食。

我们发现，添加大语言模型（LLM）识别任务与大语言模型检测任务具有互补作用。换言之，要求我们的模型不仅要检测AI生成的文本，还要识别其来源模型，这对AI检测工作总体上大有裨益。其他研究人员也证实，各种大语言模型不仅能与人类撰写的文本区分开来，彼此之间也能相互区分。

嵌入是将一段文本表示为数值向量的方法。嵌入的实际数值本身并无特定含义，但当两个嵌入值彼此接近时，这意味着它们要么具有相似的含义，要么具有相似的风格。通过一种名为UMAP的技术，我们可以将这些高维度的嵌入可视化，并将其呈现在二维空间中。 这些作者发现，当人类和大型语言模型（LLMs）撰写的文档被转换为风格嵌入时，如上图所示，所有对应同一大型语言模型的文档在嵌入空间中都是可分离的！这意味着总体而言，由同一大型语言模型撰写的文档在风格上比由不同大型语言模型撰写的文档，或者比大型语言模型与人类共同撰写的文档更为接近。

这一结果让我们确信，开发出能够识别源大语言模型（LLM）的分类器是可行的。

AI识别准确率

我们的模型在识别一段AI生成的文本源自哪个LLM家族方面，准确率高达93%。 下图是混淆矩阵，它展示了模型正确识别各LLM家族的频率（对角线单元格）与将一种LLM误判为另一种的频率（非对角线单元格）。颜色越深，表示该单元格中的预测结果越多。一个完美的模型应仅在对角线上有深色方块，其余位置均为白色方块。

关于我们的混淆矩阵，有几点有趣的观察：

• 不同模型系列之间更容易产生混淆。例如，GPT-4经常被误认为是OpenAI推理系列的一部分。这并不奇怪，因为GPT-4很可能正是OpenAI推理模型的组成部分或起点！

• 该模型将大型语言模型（LLMs）归类为“其他”的情况，比归类为特定大型语言模型的情况更为频繁。这表明，当模型无法确定时，它更倾向于默认选择“其他”，而非明确归类为某个特定的大型语言模型。

虽然大型语言模型（LLM）分类器并非完美无缺，但其准确率通常较高；最重要的是，当该分类器出现错误时，它只会将某些人工智能系统与其他人工智能系统混淆，而不会将人工智能系统的输出结果与真实的人类写作混为一谈。

为什么人工智能识别很重要？

出于以下几个原因，我们认为不仅要实现AI检测，还要解决AI识别问题，这一点至关重要。

• 首先，我们认为，让模型学会区分不同大型语言模型（LLM）的写作风格——这比单纯判断某段文字是否由AI生成更为困难——有助于提升AI检测器本身的性能。通过要求模型超越常规任务，它在某种程度上获得了高级技能和潜在知识，这些能力有助于其以更高的准确率泛化到检测AI生成的文本。

• 可解释性是我们希望展示 LLM 分类器结果的另一个原因。我们希望让用户确信，该模型确实了解其内部运作机制，而不仅仅是随意猜测（就像许多其他随机检测器那样）。通过不仅显示 AI 评分，还显示文本源自哪个 LLM，我们希望让用户相信该模型能够理解 AI 写作风格中的细微差别。

• 最后，我们希望发现随时间变化的规律：哪些大型语言模型（LLMs）正在实际应用中被使用，使用频率如何？学生、诈骗者和程序员各自倾向于使用哪些大型语言模型？这些正是我们希望在未来研究中得以解答的问题。

结论

希望您能喜欢我们的AI识别功能，并希望它能帮助大家更好地了解不同LLM家族与生俱来的特质和风格。如需了解更多信息，请联系info@pangram.com！