パングラム社、ICLRの査読論文の21％がAIによって生成されたものと予測

著者たちはAI研究論文の執筆にLLM（大規模言語モデル）を利用しているのだろうか？査読者は、これらの論文に対する査読文の執筆を生成AIツールに外注しているのだろうか？その実態を明らかにするため、我々は、AI研究分野において最も重要かつ権威ある発表の場の一つである「International Conference on Learning Representations（ICLR）」から、論文19,000編と査読文70,000件のすべてを分析した。 OpenReviewおよびICLRの公開査読プロセスのおかげで、すべての論文とその査読コメントがオンラインで公開されており、このオープンな査読プロセスによって今回の分析が可能となりました。

すべての結果は、iclr.pangram.com で公開しています。

なぜICLRの投稿論文を研究するのでしょうか？

まあ、何と言っても、懸賞金がかけられたんですから！

ICLRの投稿論文を分析した者に報奨金を提供するという、グラハム・ノイビグ氏のツイート

真面目な話、ICLRの多くの著者や査読者は、AIに関連する明らかな科学的不正行為の事例を目にしてきました。例えば、LLMによって生成された論文に全くの作り話の参考文献が記載されていたり、AIによって完全に生成された査読報告書を受け取ったと主張する著者が多数いたりします。

ある著者は、査読者が査読の過程でAIが生成した質問を40個も投げかけてきたと報告している！

私たちは、この問題の全体的な規模を把握したいと考えました。こうした不適切な行為は単発的な出来事なのか、それともより広範な傾向の表れなのか。だからこそ、私たちはグラハムの申し出を受け入れたのです！

ICLRへの投稿および査読において、AIの使用は認められていますか？

ICLRでは、論文および査読においてLLMの使用に関して、何が許可され、何が禁止されているかについて、非常に明確かつ詳細な方針が定められています。

方針 1. LLMの利用については、倫理規定における「研究へのあらゆる貢献は明記されなければならない」および「貢献者は、自身の成果に対して評価を受けることを期待すべきである」という方針に従い、必ず開示しなければならない。

方針 2. ICLRの著者および査読者は、自身の投稿内容について最終的な責任を負うものとする。これは、「研究者は、意図的に虚偽または誤解を招く主張を行ったり、データを捏造・改ざんしたり、結果を不実表示してはならない」とする倫理規定に従うものである。

ICLRでは、論文や査読においてLLMを使用する際、著者が遵守すべきガイドラインも定めています。要約すると：

• 著者は、論文の執筆支援や研究助手としてLLMを利用することは認められているが、その利用事実を開示しなければならず、論文の科学的妥当性について責任を負う。
• 著者は、LLMレビューにおいて、スペルや文法のチェックを支援するためにLLMを使用することは認められていますが、レビュー全体をLLMに作成させることは、論文に対する外部の意見や見解を自身のものとして誤って提示すること、および守秘義務に違反することの双方に基づき、倫理規定違反となる可能性があります。

したがって、本研究は個々の違反者を名指しで非難することを目的としたものではありません。というのも、論文の投稿および査読のプロセスにおいて、LLM（大規模言語モデル）の使用は実際には認められているからです。むしろ、論文や査読におけるAIの利用実態に注目を集めるとともに、AIによって完全に生成された査読（これは確かに倫理規定違反となる可能性が高い）が、多くの人が認識しているよりもはるかに広範な問題であることを指摘したいと考えています。

方法論

まず、OpenReview API を使用して、ICLRへの投稿論文のPDFファイルをすべてダウンロードしました。また、すべてのノートもダウンロードし、それによってレビュー内容を抽出することができました。

PyMuPDFなどの一般的なPDFパーサーでは、行番号、画像、表が正しく処理されないことが多いため、ICLRの論文には不十分であることがわかりました。 そこで、論文の本文を抽出するために、Mistral OCRを使用してPDFから論文の本文をMarkdown形式で解析しました。AIもMarkdown形式の出力を好む傾向があるため、書式設定のみによる誤検出を減らすために、その後、Markdownをプレーンテキストに再フォーマットしました。

次に、これらのPDFから解析したプレーンテキストに対して、パングラムの拡張テキスト分類器を実行しました。この分類器の拡張バージョンでは、まずテキストをセグメントに分割し、各セグメントに対して個別にAI検出モデルを実行します。その結果として、AI生成テキストと判定されたセグメントの割合がパーセンテージで示されるため、論文が完全に人間によって書かれたものか、完全にAIによって生成されたものか、あるいは一部が陽性、一部が陰性という混合型であるかを判断することができます。

また、新しいEditLensモデルを用いて、AIによる査読についても検証を行いました。EditLensは、AIの使用の有無を検出できるだけでなく、編集プロセスにおけるAIの関与の度合いを説明することも可能です。EditLensは、テキストが以下の5つのカテゴリーのいずれかに該当するかを予測します：

• すべて人間が執筆
• AIによる軽微な編集またはAIを活用した
• 中程度（AIによる編集またはAIの支援あり）
• AIによる編集が大幅に行われている、またはAIが支援している
• 完全にAIによって生成された

EditLensは現在、プライベートベータ版をご利用のお客様のみが利用可能ですが、12月上旬には一般公開される予定です。 今後数週間のうちに本モデルについてさらに詳しくお伝えする予定ですが、研究プレプリントでは、共同執筆テキスト生成において最先端の性能を発揮すると述べています。また、内部ベンチマークでは、二値分類器として評価した場合、現在のモデルと同等の精度を示し、完全に人間が執筆したテキストに対しては、1万件に1件という極めて低い誤検知率を記録しています。

結果

前回のAIカンファレンス論文の分析において、2022年以前に発表されたICLRおよびNeurIPSの全論文に対し、Pangramの誤検知率は0%であることが判明しました。これらの論文の一部は確かにトレーニングセットに含まれていますが、すべてが含まれているわけではありません。したがって、Pangramの真のテストセットにおける性能は、実際には0%に極めて近いものだと考えています。

ピアレビューについてはどうでしょうか？ 私たちは追加の陰性対照実験を実施し、2022年のピアレビュー全件に対して、新しいEditLensモデルを適用しました。 その結果、「軽微な編集」と「完全な人間による編集」の比較では約1,000分の1、「中程度の編集」と「完全な人間による編集」の比較では約5,000分の1、「大幅な編集」と「完全な人間による編集」の比較では約10,000分の1の誤認率が見られました。また、「完全なAI生成」と「完全な人間による編集」の間で誤認は確認されませんでした。

ICLR 2022の査読論文におけるEditLensの予測結果の分布（陰性対照）

実験については、すべての論文と査読に対してPangramを実行しました。主な結果は以下の通りです：

調査の結果、21％にあたる15,899件のレビューが完全にAIによって生成されたものであることが判明しました。また、レビューの半数以上において、AIによる編集、作成支援、あるいは完全なAI生成といった形で、何らかの形でAIが関与していることがわかりました。

ICLR 2026の査読論文におけるEditLensの予測結果の分布

一方、投稿論文の大部分は依然として人間が執筆したものである（61％が主に人間によって執筆されたものだった）。ただし、完全にAIによって生成された論文も数百件確認されたが、これらは例外的なケースのようであり、投稿論文の9％はAIによる作成割合が50％を超えていた。なお、注意点として、完全にAIによって生成された論文の一部は、我々が分析を行う前にすでに書類審査で却下され、OpenReviewから削除されていた。

ICLR 2026の論文投稿におけるAIコンテンツの分布

分析

結果からは、論文の投稿や査読においてAIがどのように活用されているか、またその活用が査読プロセス自体にどのような波及効果をもたらしているかについて、示唆に富む傾向がいくつか見出されました。

論文におけるAIの利用は、低い評価と相関関係にある

LLMを審査員として用いた場合、人間が書いた文章よりも自身の生成した文章を好む傾向があることを示した先行研究とは対照的に、我々の調査では逆の結果が得られた。すなわち、提出された文章に含まれるAI生成テキストの割合が高ければ高いほど、評価は低くなる。

論文におけるAIコンテンツの平均評価スコア

これにはいくつかの理由が考えられます。その一つは、論文でAIが使用される度合いが高まるほど、論文全体の構想や構成が粗雑になりがちだということです。科学論文の執筆においてAIが使用される場合、単なる補助ツールとしてではなく、作業の負担軽減や手抜きのために使われるケースが多い可能性があります。 さらに、AIによって完全に生成された論文の評価が低いことは、AIによる研究が依然として質の低い粗製濫造であり、（現時点では）科学への真の貢献とはなっていないことを示唆している可能性があります。

AIによるレビューの方が評価が高い

AIの関与度別平均評価スコア

査読にAIが関与する度合いが高まるほど、採点も高くなる傾向が見られます。これは問題です。なぜなら、これは査読者がAIを枠組みとして自身の意見を再構築しているのではなく（もしそうであれば、AIによる査読と人間による査読の平均点に差は生じないはずですが）、実際には論文の評価そのものをAIに委ねていることを意味するからです。 LLMの意見を審査員自身の実際の意見として誤って提示することは、倫理規定への明らかな違反である。AIにはおべっか使いの傾向があることは周知の事実であり、これはAIが偏りのない意見を示すのではなく、人々が聞きたいと思うような、耳障りの良いことを言うことを意味する。これは査読に適用される場合、全く望ましくない特性である！これが、AIによる査読における評価の肯定的バイアスを説明している可能性がある。

AIによるレビューは長めです

AIの関与度別レビューの平均長さ

以前は、レビューが長いほど、その内容が熟考された質の高いものであるとみなされていましたが、LLMの時代においては、しばしばその逆を意味することがあります。AIが生成したレビューは長文であり、多くの「埋め草」が含まれているのです。Shaibらによる研究論文『Measuring AI Slop in Text』によると、AIによる「スロープ（slop）」の特徴の一つは、情報密度が低いことです。つまり、AIは実際のコンテンツとしてはほとんど何も伝えていないにもかかわらず、多くの言葉を使っているということです。

LLMによるレビューにおいても、同様の傾向が見られます。つまり、AIは多くの言葉を使っているものの、実際には情報密度の高いフィードバックを提供できていないのです。 これは問題であると考えます。なぜなら、著者は長いレビューを読み解き、実際には有益なフィードバックをほとんど含まない空虚な質問に答えるために時間を浪費しなければならないからです。また、多くの著者は、実際に投稿する前に、自身の投稿内容についてLLMにレビューを依頼するだろうという点も指摘しておく価値があります。このような場合、著者はLLMが指摘するであろう明白な批判点をすでに把握しているため、LLMによるレビューからのフィードバックは、ほとんど冗長で役に立たないものとなります。

虚偽の告発はあるのでしょうか？

パングラムの誤検知率は極めて低いものの、ゼロではない。したがって、論文の採否（例えば、デスクレジェクションの決定）といった具体的な判断を下したり、査読者を処分したりする前に、このツールの信頼性を定量的に評価する責任が我々にはある。前述の陰性対照研究を用いて、対象領域における誤検知率を直接測定したが、他のデータセットやベンチマーク、あるいは一般的なテキストについてはどうだろうか。

前回のブログ記事で、Pangramの誤検知率について報告しました。

• テストセットの文書において、Pangramの全体的な誤検知率は1万件に1件です。
• ArXivから抽出した検証用科学論文に対するPangramの誤検知率は、10万件に1件である。
• PubMedから抽出した検証用医学論文に対するPangramの偽陽性率は0である（小数点以下3桁の精度で）。

Pangramの精度は、シカゴ大学ブース・スクール・オブ・ビジネスや米国癌研究協会による最近の研究を含む、複数の第三者機関による研究でも実証されています。

これらの数値を具体的に説明すると、Pangramの誤検知率はDNA検査や薬物検査の誤検知率と同程度である。つまり、AIによって完全に生成されたテキストが、人間が書いたテキストと誤って判定される「真の誤検知」はゼロではないものの、極めて稀である。

AIによる査読を受けたかどうか、どうすればわかりますか？

AIによって生成されたレビューを受け取ったのではないかと疑う著者の皆様へ、見分けるためのいくつかの手がかりがあります。PangramはAI生成テキストを検出できますが、目視でもAIレビューの特徴を見分けることは可能です。

AIによる文章のパターンを目視で判別するための一般的なガイドを作成しましたが、AIによるピアレビューには特有の兆候や特徴がいくつか見受けられます。

AIによるピアレビューで見られる「兆候」には、次のようなものがあります：

• 見出しのスタイル：AIによる査読報告書では、2～3語の要約タグにコロンを付けた太字の見出しを作成することが好まれます。例えば：

長所：明確な問題設定：本論文は、VLMベースのOCRシステムが、不鮮明な文書に対して不確実性を示すことなく誤った認識を行うという現実的な問題に取り組んでいる。これは、明らかに文字化けした出力を生成する従来のOCRシステムよりも深刻な問題である。研究の動機付けも明確に述べられている。体系的な方法論：2段階の学習アプローチ（疑似ラベル付きコールドスタート＋GRPO）は合理的であり、その説明も十分である。報酬ハッキングに対する安全策（特に長さの不一致に対する減衰係数η）を備えた多目的報酬設計は、入念な設計がうかがえる。

質問：1.実際の劣化状況への汎化：著者らは、特定の合成劣化パイプラインを超えて本手法が汎化可能であることを実証するため、実際の劣化した文書（例：歴史的文書データセット）を用いて評価を行うことは可能か？ 2.MinerUシステムとの比較：MinerUおよびMinerU2.5 [2,3] は、文書解析における最近の進歩を代表するものである。 提案手法は、Blur-OCRにおいてこれらのシステムとどのように比較されるか？ もしこれらのシステムが不確実性の推定値を生成できない場合、提案されたタグ付け手法と組み合わせることは可能か？

• 真摯な分析というよりは、些細な点へのこだわり：AIが生成するレビューは、論文の科学的妥当性に関する真の問題点ではなく、表面的な問題に焦点を当てがちです。AIによる典型的な批判としては、提示されたアブレーションと非常に似た内容のアブレーションを追加すべきだといった指摘、テストセットの規模や対照群の数を増やすよう求める要求、あるいはさらなる説明や具体例の提示を求めるものなどが挙げられます。

• 言葉は多いが中身が薄い：AIによるレビューは情報密度が低い傾向があり、もっと簡潔に表現できる内容を冗長な言葉で説明していることが多い。この冗長さにより、著者は長々としたレビューを精査して、実質的な批判を抽出するという余分な作業を強いられることになる。

なぜAIに関する論文やAIによる査読は、科学的なプロセスにとって有害なのでしょうか？

今年初め、韓国のUNISTの研究者らが、査読プロセスの質が低下している理由の一部を概説した意見書を発表した。AI分野が拡大し続ける中、査読システムにかかるリソースの負担は、ついに限界に達しつつある。論文数が爆発的に増加している一方で、適格な査読者の数は限られているからだ。

質の低いAI生成論文の最大の問題は、限られた時間とリソースを単に浪費してしまう点にある。我々の分析によれば、AI生成論文は人間が執筆した論文ほど質が高くなく、さらに深刻な問題として、不誠実な査読者や「スプレー・アンド・プレイ」（偶然に1つでも採択されることを期待して、学会に大量の論文を提出する手法）を行う論文工場によって、安価に生成されてしまう可能性がある。 もしAI生成論文が査読システムに氾濫することを許せば、査読の質は低下し続け、査読者は真の研究論文ではなく「粗悪な」論文を読まなければならないため、意欲を失うことになるだろう。

AIが生成した査読コメントが有害になり得る理由を理解するには、もう少し複雑な事情が関わっています。 ICLRの見解と同様に、特に英語が母国語でない査読者の場合、AIを補助的な役割として活用し、査読者が自身の考えをより明確に表現できるよう支援することは有益であると考えます。さらに、AIは真に有益なフィードバックを提供できることが多く、著者がLLM（大規模言語モデル）を用いて査読プロセスをシミュレートし、LLMに研究内容を批判・検証させ、著者が当初見落としていた可能性のある誤りや欠陥を指摘してもらうことは、多くの場合、生産的な取り組みとなります。

しかし、疑問は残る。AIが有益なフィードバックを生成できるのであれば、なぜAIだけで生成されたレビューを禁止しなければならないのだろうか。シカゴ大学の経済学者アレックス・イマス氏は、最近のツイートでこの核心的な問題を次のように指摘している。その答えは、科学的な査読に人間の判断を関与させたいかどうかによって決まるのだ。

AI生成のレビューに関するアレックス・イマスのツイート

もし現在のAIモデルが人間の判断を完全に代替するのに十分であると考えるならば、学会は査読プロセス全体を単に自動化すべきである――論文をLLMに通し、自動的にスコアを割り当てるのだ。しかし、人間の判断がプロセスの一部として残るべきだと考えるならば、AIによって完全に生成されたコンテンツは承認されなければならない。 イマス氏は、2つの主要な問題を指摘している。第一に、AI生成コンテンツ（作成が容易であるため）が、数回の査読サイクルで人間の判断を急速に駆逐してしまう「プール均衡」の問題。第二に、AIによる査読が実際に優れているかどうかを判断するには、自ら論文を査読するのと同等の労力が必要となる「検証」の問題だ。つまり、もしLLMが人間よりも優れた査読を生成できるのであれば、なぜプロセス全体を自動化しないのか、という疑問が生じるのである。

私の考えでは、人間の判断はAIによる評価と補完的な関係にある一方で、それとは異なる価値を提供します。人間は、一見して明らかではないような、データ分布外のフィードバックを提示できることがよくあります。専門家の意見は、経験や文脈、そして長年にわたって培われ洗練されてきた視点に基づいて形成されているため、LLMよりも有用です。LLMは強力ですが、その評価にはしばしば「センス」や「判断力」が欠けており、その結果、「平板」な印象を与えてしまいます。

今後の学会では、人間による査読の横にSOTA LLMによる査読結果を併記することで、人間による査読が、LLMによって指摘されうる「明白な」批判を単に繰り返すだけのものでないことを保証できるかもしれない。

結論

学術論文の査読においてAI生成コンテンツが増加していることは、科学界にとって重大な課題となっている。我々の分析によると、ICLRの査読対象論文全体の中で、完全にAIによって生成された査読論文がかなりの割合を占めており、AI生成論文の数も増加傾向にある。しかし、こうしたAI生成論文の多くは、真の研究的貢献というよりは、単なる粗製濫造に過ぎない。

我々は、この傾向が科学にとって問題であり有害であると主張し、学会や出版社に対し、不正利用を防止し、科学の健全性を守るための解決策として、AIによる不正検出の導入を求める。