Pangram预测，ICLR会议的21%的评论由人工智能生成

作者是否在使用大型语言模型（LLMs）来撰写人工智能研究论文？同行评审员是否将这些论文的评审撰写工作外包给了生成式人工智能工具？为了弄清这一点，我们分析了国际学习表征会议（ICLR）上的全部19,000篇论文和70,000份评审意见。该会议是人工智能研究领域最重要、最负盛名的学术发表平台之一。 得益于OpenReview平台以及ICLR公开的审稿流程，所有论文及其评审意见均已在线公开，正是这一开放的审稿流程使得本次分析得以实现。

我们已将所有结果发布在iclr.pangram.com 上供公众查阅。

为什么要研究ICLR的投稿论文？

嗯，首先，有人悬赏捉我们！

格雷厄姆·诺伊比格在推特上发布悬赏，征集对ICLR投稿的分析

说句实话，许多ICLR的作者和审稿人都注意到了一些公然涉及人工智能的学术不端行为，例如一篇由大型语言模型生成的论文中引用了完全虚构的参考文献，还有许多作者声称收到了完全由人工智能生成的审稿意见。

有位作者甚至透露，一位审稿人在同行评审中提出了40个由人工智能生成的问题！

我们希望全面评估这一问题的严重程度：这些不当行为是偶发事件，还是反映了某种更普遍的趋势？正因如此，我们才接受了格雷厄姆的提议！

在ICLR的投稿和同行评审中允许使用人工智能吗？

ICLR 针对论文和评审中大型语言模型（LLM）的使用，制定了一项非常明确且详尽的政策，明确规定了允许和禁止的行为。

政策 1. 任何使用大型语言模型（LLM）的情况均须予以披露，这符合《道德准则》中“必须对所有对研究的贡献予以认可”以及贡献者“应期待……因其工作获得认可”的相关规定。

政策 2. ICLR 的作者和审稿人对其投稿内容负有最终责任，须遵守《道德准则》中“研究人员不得故意作出虚假或误导性陈述，不得捏造或篡改数据，也不得歪曲研究结果”的规定。

ICLR 还制定了相关指南，要求作者在论文和评审中使用大型语言模型时应遵循这些规定。简而言之：

• 作者可以使用大型语言模型（LLMs）来协助起草论文或作为研究助手，但必须披露这一使用情况，并对论文的科学诚信负责。
• 作者在撰写大型语言模型（LLM）评审报告时，可以使用大型语言模型协助检查拼写和语法，但如果使用大型语言模型撰写整篇评审报告，则可能构成对《道德准则》的违反，原因在于这既涉及将论文的外部意见或观点冒充为自己的观点，也涉及违反保密义务。

因此，我们开展这项研究并非为了点名批评个别违规者——毕竟在大规模语言模型（LLMs）在论文投稿和同行评审过程中实际上是被允许使用的。相反，我们希望引起人们对论文及同行评审中人工智能使用程度的关注，并强调完全由人工智能生成的评审（这确实很可能违反《道德准则》）是一个比许多人想象中更为普遍的问题。

方法论

我们首先使用 OpenReview API 下载了所有 ICLR 投稿的 PDF 文件。此外，我们还下载了所有评注，这使我们能够提取评审意见。

我们发现，对于ICLR论文而言，使用PyMuPDF等常规PDF解析器并不足够，因为行号、图片和表格往往无法被正确处理。 因此，为了提取论文的主体内容，我们使用Mistral OCR将PDF中的论文主体内容解析为Markdown格式。鉴于AI系统通常也更倾向于处理Markdown格式，为了减少仅因格式问题导致的误判，我们随后将Markdown格式重新转换为纯文本。

随后，我们对这些PDF文件中经过语法分析的纯文本运行了Pangram的扩展文本分类器。该分类器的扩展版本首先将文本分割为多个片段，然后对每个片段分别运行AI检测模型。结果以百分比形式呈现，显示有多少片段被判定为AI生成的文本，因此该结果可以表明一篇论文是完全由人类撰写、完全由AI生成，还是两者混合——即部分片段被判定为AI生成，部分片段则被判定为非AI生成。

我们还利用新开发的EditLens模型对涉及AI的同行评审文章进行了检查。EditLens不仅能够检测文本中是否存在AI，还能描述AI在编辑过程中所发挥的作用程度。EditLens可以预测一篇文本属于以下五类中的哪一类：

• 完全由人工撰写
• 经AI轻度编辑或AI辅助
• Medium 由 AI 编辑或 AI 辅助
• 大量采用AI编辑或AI辅助
• 完全由人工智能生成

EditLens 目前仅向参与私有测试的客户开放，但将于 12 月初正式向公众发布。 未来几周我们将对此模型进行更详细的介绍，但在我们的研究预印本中，我们将其性能描述为协同文本生成领域的最先进水平。在内部基准测试中，当作为二元分类器进行评估时，其准确率与我们当前的模型相当，且在完全由人类撰写的文本上，其误报率极低，仅为万分之一。

结果

在我们之前对人工智能会议论文的分析中，我们发现Pangram在所有2022年前发表的ICLR和NeurIPS论文上，假阳性率为0%。虽然其中部分论文确实包含在训练集中，但并非全部；因此我们认为，Pangram在测试集上的真实表现实际上非常接近0%。

那么同行评审的情况如何？我们还进行了一项额外的阴性对照实验，将最新的EditLens模型应用于所有2022年的同行评审。 结果显示，在“轻度编辑”与“纯人工”的对比中，错误率约为千分之一；在“中度编辑”与“纯人工”的对比中，错误率为五千分之一；而在“重度编辑”与“纯人工”的对比中，错误率为万分之一。我们未发现“纯AI生成”与“纯人工”之间存在混淆。

EditLens对ICLR 2022评审报告的预测分布（阴性对照）

在实验过程中，我们对所有论文和同行评审意见运行了Pangram。以下是主要发现：

我们发现，有21%（即15,899条）评论完全由人工智能生成。我们还发现，超过一半的评论都涉及某种形式的人工智能参与，包括人工智能编辑、辅助或完全由人工智能生成。

EditLens预测在ICLR 2026评审中的分布情况

另一方面，论文投稿仍主要由人类撰写（61%的论文主要由人类撰写）。不过，我们确实发现了几百篇完全由人工智能生成的论文，尽管它们似乎属于异常值，且9%的投稿中人工智能生成的内容占比超过50%。需要注意的是，在我们进行分析之前，部分完全由人工智能生成的论文已被直接拒稿，并从OpenReview中移除。

ICLR 2026论文投稿中人工智能内容的分布情况

分析

我们在研究结果中发现了一些有趣的趋势，这些趋势揭示了人工智能在论文投稿和同行评审中的应用情况，以及这种应用对评审流程本身产生的后续影响。

论文中使用人工智能与较低的评审分数呈正相关

与先前一项研究得出的结论相反——该研究表明，当大型语言模型（LLMs）被用作评委时，往往更青睐其自身生成的内容而非人类撰写的文本——我们发现的情况恰恰相反：投稿中由人工智能生成的文本越多，获得的评审结果就越差。

论文中AI内容的平均评分

这可能有多种原因。其中之一是，论文中使用的人工智能越多，其整体的构思和执行就越不周全。在科学写作中，人工智能可能更多地被用作工作转移和捷径，而非作为辅助工具来提升研究质量。 此外，完全由AI生成的论文得分较低，这可能表明AI生成的研究成果目前仍属低质量的粗制滥造之作，尚未对科学做出真正的贡献。

AI评测的评分更高

按AI参与程度划分的平均评分

我们发现，审稿中人工智能的介入程度越高，评分就越高。这很成问题：这意味着审稿人并非将人工智能作为框架来重构自己的观点（如果是这种情况，我们预计人工智能审稿和人工审稿的平均评分应相同），而是实际上也将对论文的判断外包给了人工智能。 将大语言模型（LLM）的意见误导性地呈现为评审者自身的真实意见，这显然违反了《伦理准则》。我们知道，AI往往具有阿谀奉承的倾向，这意味着它倾向于说出人们想听且令人愉悦的话，而非给出公正无偏的意见：这种特性若应用于同行评审，完全是不合时宜的！这或许可以解释AI评审中评分存在的积极偏见。

AI生成的评论篇幅较长

按AI参与程度划分的评论平均长度

过去，篇幅较长的评论往往意味着经过深思熟虑且质量更高，但在大型语言模型（LLMs）时代，情况却常常恰恰相反。AI生成的评论篇幅更长，且充斥着大量“填充内容”。 根据Shaib等人发表的题为《文本中AI低质量内容的测量》的研究论文，AI“低质量内容”的一个特征是信息密度低——这意味着AI使用了大量词汇，但实际传达的内容却寥寥无几。

我们在大型语言模型（LLM）的评审中也发现了同样的情况：AI 虽然用了很多词，但实际上提供的反馈信息密度并不高。 我们认为这存在问题，因为作者不得不浪费时间去解读冗长的评审意见，并回答那些实际上并不包含多少有价值反馈的空洞问题。此外，值得一提的是，大多数作者在正式提交稿件前，很可能会先请大型语言模型对其投稿进行评审。在这种情况下，LLM评审的反馈大多是多余且无益的，因为作者已经预见到了LLM会提出的那些显而易见的批评。

是否有不实指控？

尽管 Pangram 的误报率极低，但并非为零，因此，在将其推荐用于对论文命运做出具体决定（例如直接拒稿）或对同行评审员进行处罚之前，我们有责任量化该工具的可靠性。我们已通过上述阴性对照研究直接测量了该工具在特定领域内的误报率，但其在其他数据集、基准测试以及一般文本中的表现又如何呢？

我们在之前的博客文章中记录了Pangram的误报率。

• 在测试集文档中，Pangram 的总体误报率为万分之一。
• 在ArXiv上未纳入训练集的科学论文中，Pangram的误报率为十万分之一。
• 在PubMed中选取的保留医学论文上，Pangram的假阳性率为0（置信度精确到小数点后3位）。

Pangram 的准确性也已通过多项第三方研究得到验证，其中包括芝加哥大学布斯商学院和美国癌症研究协会最近开展的研究。

为了更好地理解这些数据，Pangram的假阳性率与DNA检测或药物检测的假阳性率相当：真正的假阳性情况——即完全由AI生成的文本被误判为完全由人类撰写的文本——虽然并非完全不存在，但极为罕见。

如何判断自己是否收到了由人工智能进行的同行评审？

如果你是一名作者，怀疑自己收到了由人工智能生成的书评，可以留意以下几个明显特征。虽然Pangram能够检测出人工智能生成的文本，但你也可以通过肉眼识别出人工智能书评的迹象。

我们整理了一份关于如何通过肉眼识别AI写作模式的通用指南，但我们也注意到，在AI同行评审中还存在一些特有的信号和特征。

我们在人工智能同行评审中注意到的一些“迹象”：

• 标题样式：AI生成的同行评审报告通常喜欢采用加粗的章节标题，标题包含2至3个单词的摘要标签，后跟冒号。例如：

优点：问题表述清晰：本文针对一个实际问题——基于视觉语言模型（VLM）的OCR系统在处理质量较差的文档时会产生虚构内容，却不提示不确定性，这比会产生明显乱码输出的传统OCR系统表现更差。研究动机阐述得十分清楚。系统化的方法论：两阶段训练方法（伪标注冷启动 + GRPO）设计合理且描述详尽。多目标奖励设计中针对奖励劫持的防护措施（尤其是长度不匹配的阻尼因子 η）体现了严谨的工程设计。

问题：1.对真实退化情况的泛化能力：作者能否在真实的退化文档（例如历史文档数据集）上进行评估，以证明该方法的泛化能力超出了特定的合成退化管道？2.与MinerU系统的比较：MinerU和MinerU2.5 [2,3] 代表了文档解析领域的最新进展。 在Blur-OCR任务上，所提方法与这些系统相比表现如何？如果这些系统无法生成不确定性估计，能否将其与所提的标注方法相结合？

• 流于表面、吹毛求疵而非真正分析：AI生成的评审意见往往只关注表面问题，而非论文科学严谨性方面的实质性问题。典型的AI批评可能包括：要求进行更多与已呈现的剔除实验非常相似的剔除实验；要求扩大测试集规模或增加对照组数量；或者要求提供更多说明或示例。

• 言辞冗长却内容空洞：AI生成的书评往往信息密度低，用冗长的语言表达本可以更简洁地说明的观点。这种冗长给作者增加了额外的工作量，他们必须仔细研读冗长的书评，才能从中提取出实质性的批评意见。

为什么人工智能论文和人工智能同行评审会对科学进程造成危害？

今年早些时候，韩国蔚山科学技术大学（UNIST）的研究人员发表了一份立场文件，其中概述了同行评审质量下降的部分原因。随着人工智能领域的持续发展，同行评审体系所承受的资源压力最终开始显现出裂痕。面对论文数量的爆炸式增长，合格的审稿人数量却十分有限。

质量低劣的AI生成论文最大的问题在于，它们纯粹是在浪费本就有限的时间和资源。根据我们的分析，AI生成的论文根本无法与人类撰写的论文相媲美；更严重的是，不诚实的审稿人和论文工厂可以低成本地生成此类论文，并采用“广撒网”策略（即向会议提交大量稿件，指望其中一篇能侥幸被录用）。 如果任由人工智能生成的论文泛滥于同行评审体系，评审质量将持续下降，而评审员在不得不阅读这些“垃圾”论文而非真正的研究成果时，工作积极性也会随之降低。

要理解为什么人工智能生成的评审意见可能有害，情况要稍微复杂一些。 我们认同ICLR的观点，即人工智能可以作为辅助工具发挥积极作用，帮助审稿人更清晰地表达观点，尤其当英语并非审稿人的母语时。此外，人工智能往往能提供真正有价值的反馈，作者通过与大型语言模型（LLMs）模拟同行评审过程，让模型对研究进行批判性分析并找出漏洞，从而发现作者最初可能未察觉的错误，这种做法通常颇具成效。

然而，一个问题依然存在：如果人工智能能够生成有价值的反馈，我们为何要禁止完全由人工智能生成的评审？芝加哥大学经济学家亚历克斯·伊马斯（Alex Imas）在最近的一条推文中指出了核心问题：答案取决于我们是否希望人类的判断参与到科学同行评审中。

亚历克斯·伊马斯关于AI生成的评论的推文

如果我们认为当前的人工智能模型足以完全取代人类的判断，那么学术会议就应该直接将整个评审流程自动化——将论文输入大型语言模型（LLM），并自动给出评分。但如果我们认为人类的判断仍应是流程的一部分，那么完全由人工智能生成的内容就必须受到限制。 伊马斯指出了两个关键问题：首先是“汇集均衡”——由于AI生成的内容（因制作更简单）将在几个评审周期内迅速取代人类判断；其次是“验证问题”——判断一份AI评审是否真正优质，所需的工作量与亲自评审论文相当——既然大语言模型生成的评审能比人类做得更好，为何不直接将整个流程自动化呢？

在我看来，人类的评判与人工智能的评审互为补充，却能提供截然不同的价值。人类往往能提出超出数据分布范围的反馈，而这些反馈可能并非显而易见。专家意见比大型语言模型（LLMs）更有价值，因为他们的观点是基于经验、语境以及经过长期积累和打磨的独特视角形成的。大型语言模型虽然功能强大，但其评审往往缺乏品味和判断力，因此显得“平淡无奇”。

也许未来的学术会议可以将最先进的大语言模型（LLM）的评审意见与人类评审意见并列呈现，以确保人类评审不仅是在重复那些大语言模型也能指出的“显而易见”的批评意见。

结论

在学术同行评审中，人工智能生成的内容日益增多，这对科学界构成了重大挑战。我们的分析表明，在ICLR评审的论文总体样本中，完全由人工智能生成的同行评审报告占了相当大的比例，且人工智能生成的论文数量也在不断增加。然而，这些人工智能生成的论文往往只是粗制滥造之作，而非真正的研究成果。

我们认为这种趋势存在问题且对科学有害，并呼吁各类会议和出版商采用人工智能检测技术，以此遏制滥用行为并维护科学诚信。