深入解析Yelp评论

注意： 我们已更名为 Pangram Labs！详情请参阅我们的博客文章。

在 Checkfor.ai，我们致力于打造业界顶尖的 AI 文本检测工具，以践行我们的使命——保护互联网免受低质量 AI 生成内容的污染。用户评论平台是需要重点保护的领域之一。

虚假的在线评论最终会损害企业和消费者的利益，而ChatGPT的出现更是让大规模的评论造假变得更加容易。

ChatGPT在Yelp上生成的评论

维护用户对在线评论的信任，是Checkfor.ai使命的重要组成部分，我们的使命是保障网络上由用户生成内容的真实性。

关于我

我叫布拉德利·埃米（Bradley Emi），是 Checkfor.ai 的首席技术官。我曾在斯坦福大学担任人工智能研究员，在特斯拉自动驾驶团队担任机器学习科学家期间成功部署了生产模型，并在 Absci 领导了一个研究团队，利用大型神经网络构建了药物设计平台。 在自动驾驶汽车和药物研发领域，99%的准确率根本不够好。99%的准确率可能意味着每100名行人中就有1人被自动驾驶汽车撞倒，或者每100名患者中就有1人因设计不当的药物而出现危及生命的副作用。

虽然检测AI生成的文本未必是关乎生死的大事，但我们在Checkfor.ai仍希望设计出同样符合高标准质量要求的模型和软件系统。我们的检测器必须能够抵御诸如改写、高级提示工程等对抗性攻击，以及undetectable.ai等检测规避工具。 我们致力于彻底解决这一问题（例如，不满足于仅仅达到99%的准确率），因此，开发一个极其稳健的评估平台已成为我们工程团队的首要任务之一。

评估理念：测试集即单元测试

一家“软件 1.0”时代的网络安全公司，绝不会在没有单元测试的情况下发布产品。作为一家“软件 2.0”公司，我们需要相当于单元测试的机制，只不过这些测试需要针对拥有数百万甚至数十亿个参数的大型模型——这些模型可能表现出随机性，且必须在覆盖广泛的尾部案例分布的同时，确保运行正确。 我们不能仅仅达到“99%的测试集准确率”就自满：我们需要针对现实世界中可能遇到的具体示例进行专门的评估。

一套好的测试集应能回答具体问题，并尽可能减少混杂变量的数量。

针对性测试题及其对应试题集的示例包括：

• 我们的模型在Yelp评论上的表现如何？测试集包含一千条真实的Yelp评论和一千条由AI生成的Yelp评论。
• 我们的模型在处理改写文本时的表现如何？测试集包含数百篇真实学生作文、数百篇AI生成的作文，以及通过QuillBot或Undetectable.AI改写后的完全相同的作文。

有几个原因导致你不能简单地将测试集中的所有内容合并在一起，然后给出一个数值。

• 存在太多混杂变量——我们无法确定测试的通过或失败是源于数据分布，还是源于模型本身。
• 任何人都可以通过向测试集注入大量简单示例，从而人为地抬高准确率。
• 如果没有对测试集如何以无偏见的方式构建这一过程的公开且可复现的说明，我们就无法确定是否有人只是挑拣了那些模型能通过而基线模型会失败的示例。

正因如此，此类基准测试完全偏离了目标。它们缺乏针对性，未能检验我们希望模型能够实现的具体行为。带有偏见的测试集只会展示模型表现最佳时的面貌，而非其在面对真实世界案例时的表现。

一份客观的Yelp基准报告

人工智能文本检测在现实世界中的一个应用实例，就是检测Yelp上由人工智能生成的评论。Yelp致力于对其评论平台进行严格审核，如果你查阅其2022年《信任与安全报告》，就会发现Yelp显然非常重视打击虚假、付费、受激励或其他形式的不诚实评论。

幸运的是，Yelp 也发布了一个非常优秀的开源数据集。我们从该数据集中随机抽取了 1000 条评论，并利用目前最常用的 LLM——ChatGPT 生成了 1000 条合成评论。

需要特别指出的是，ChatGPT的评论数据源自其Kaggle数据集中的真实Yelp商家：这样可以防止模型通过过度拟合（例如针对商家分布差异等细节）来作弊。在评估过程中，我们会测试模型是否真正学会了利用文本中的正确特征来区分真实评论与虚假评论。

我们利用这组数据来确定，哪些AI检测模型真的能够区分ChatGPT生成的评论和真实评论！

模型准确率

我们最简单的评估指标是准确率：每个模型正确分类了多少个样本？

• Checkfor.ai：99.85%（1997/2000）
• Originality.AI：96.2%（1738/1806）（注：Originality.AI 拒绝对少于 50 字的文档进行分类）。
• GPTZero：90.8%（1815/2000）

虽然99.85%与96%之间的差异乍看之下似乎并不大，但若考虑到误差率，我们就能更清楚地理解这些数字的含义。

据估计，Checkfor.ai 每 666 次查询仅会出现一次错误，而 Originality.AI 每 26 次查询会出现一次错误，GPTZero 则每 11 次查询会出现一次错误。这意味着我们的错误率比 Originality.AI 低 25 倍以上，比 GPTZero 低 60 倍以上。

假阳性与假阴性

为了分析假阳性与假阴性（在机器学习术语中，我们会考虑非常相似的精确率和召回率这两个指标），我们可以参考混淆矩阵——真阳性、假阳性、真阴性和假阴性的相对比例分别是多少？

Over all 2,000 examples, Checkfor.ai produces 0 false positives and 3 false negatives, exhibiting high precision and high recall. While admirably, GPTZero does not often predict false positives, with only 2 false positives, it comes at the expense of predicting 183 false negatives– an incredibly high false negative rate! We’d call this a model that exhibits high precision but low recall. Finally, Originality.AI predicts 60 false positives and 8 false negatives– and it refuses to predict a likelihood on short reviews (<50 words) — which are the hardest cases and most likely to be false positives. This high false positive rate means that this model is low precision, high recall.

虽然在AI文本检测中，较低的误报率更为重要（我们不希望错误地指控真实人类抄袭ChatGPT），但较低的漏报率同样不可或缺——我们绝不能让10%至20%的AI生成内容漏网。

模型置信度

最终，我们希望当文本显然是人类所写或由ChatGPT生成时，我们的模型能表现出较高的置信度。

我们采用了与Mitchell等人那篇优秀的学术论文《DetectGPT》类似的可视化策略，绘制了这三种模型对AI生成的评论和真实评论的预测直方图。由于这三种模型的准确率均超过90%，因此采用y轴对数刻度最有助于直观展示各模型置信度的特征。

在此图表中，x 轴代表模型预测输入评论为 AI 生成的概率。y 轴代表模型对真实文本（蓝色柱状图）或 AI 文本（红色柱状图）预测该特定概率的频率。 我们可以看到，在分析这些“柔性”预测（而非简单的“是”或“否”）时，Checkfor.ai 比 GPTZero 或 Originality.AI 更能清晰地划定决策边界，并做出更确信的预测。

GPTZero倾向于在0.4–0.6的概率区间内预测出过多的示例，且峰值恰好位于0.5左右。另一方面，在分析软预测结果时，Originality.AI的误报问题显得更加明显。 许多真实的评论被预测为AI生成的概率非常接近，即使它们未达到0.5的阈值。这使得用户难以相信该模型能够可靠地预测AI生成的文本，因为对评论进行微小的改动，攻击者就可以通过反复编辑评论，直到其概率低于检测阈值，从而绕过检测器。

相比之下，我们的模型通常非常果断。我们通常能够做出充满信心的决策。对于具有深度学习或信息论背景的读者来说，这意味着真实分布与预测分布之间的交叉熵/KL散度最小。

将真实文本以高置信度判定为真实，显然具有重要价值（参见这张来自推特的幽默图）。虽然这位教育工作者显然误将AI概率解读为AI生成的文本比例，但当检测器对真实文本是否确实真实缺乏把握时，就会给误解留下空间。

https://twitter.com/rustykitty_/status/1709316764868153537

关于 Checkfor.ai 预测的 3 个错误，遗憾的是其中两个的预测准确度相当高。我们的检测器并非完美无缺，我们正在积极调整模型，以避免此类高准确度的误判。

结论

我们将用于评估真实和虚假Yelp评论的数据集开源，以便未来的模型能够利用这一重要基准来测试其检测器的准确性。

我们的主要结论是：

Checkfor.ai 不仅误报率低，漏报率也低。 Checkfor.ai 不仅能以极高的准确度，更能以极高的置信度区分真实评论与 AI 生成的评论。 未来我们将发布更多此类博客文章，并在不断深入了解的过程中，公开分享我们对该模型的客观评估。敬请关注，并欢迎分享您的看法！