Pangram 3.0：テキストにおけるAI編集の程度を定量化

*注：当社の新モデル「Pangram 3.0」は、当社が発表した研究論文『EditLens: Quantifying the Extent of AI Editing in Text』に基づいています。

ChatGPT、Claude、Geminiといった大規模言語モデル（LLM）の急速な普及により、文章の作成、修正、そしてテキストとの関わり方は一変しました。 OpenAIによる最近の調査によると、ChatGPTへの文章作成関連の問い合わせの3分の2は、一からテキストを生成するのではなく、ユーザーが提供したテキストを修正するようモデルに依頼するものでした。人間が書いた下書きをもとに、文法の修正、論理構成の見直し、あるいは口調の変更などをモデルに依頼するユーザーがますます増えています。

人間が執筆し、AIが編集したテキストの台頭は、AI検出ツールにとってどのような意味を持つのでしょうか。既存のツールの多くは、テキストを「完全に人間によるもの」「完全にAIによるもの」「混合」の最大3つのカテゴリーに分類するように設計されています。この枠組みでは、LLMによって文法修正が加えられた段落と、モデルによって詳細が追加され拡張された段落との区別がつきません。

テキストにおけるAI編集の全容を把握するため、テキスト作成におけるAIの関与度を定量化するモデル「Pangram 3.0」を導入します。Pangramは、完全に人間によるもの、完全にAIによるもの、あるいはその混合といった分類結果を返すのではなく、AIによる介入の「強度」に対応するスコアを出力します。

均質な共同執筆と不均質な共同執筆

Pangram 3.0 は、ここでは「均質な複数著者テキスト」と呼ぶケースに取り組んでいます。ここでは、均質な複数著者テキストと不均質な複数著者テキストの違いを詳しく見ていきましょう。

異種混合の場合、テキストの各セグメントの執筆者は、人間またはAIのいずれかに直接帰属させることができます。以下の例では、人間がレビューの執筆を開始し、その後ChatGPTに続きを執筆するよう依頼しています。このような場合、人間とAIのセグメントの間には1つ以上の境界が存在します。 各文、あるいは各単語について、それが人間によって生成されたものかAIによって生成されたものかに応じてラベル付けを行うことができます。異種混合テキスト検出（細粒度AIテキスト検出とも呼ばれる）については、Kushnarevaら（2024）、Wangら（2023）、およびLeiら（2025）によって先行研究が行われています。

均質なケースでは、執筆の帰属は編集プロセスによって複雑に絡み合います。レストランのレビューの例を続けると、人間が短いレビューを書き、ChatGPTに詳細を追加するよう依頼した場合、均質な混合テキストが生成されることになります。 この場合、人間が書いた言葉とAIが書いた言葉を切り離すことは不可能です。AIは人間のテキストを新しい言葉で言い換えていますが、テキストの背後にある意味やアイデアは、人間の草稿から直接引き出されているからです（ある著者が出典を明記せずに別の著者の文章を言い換えるケースを考えてみてください。これは盗作の典型的な例です！）。

図2：人間とAIによる異種混合執筆のテキスト例（左）と、同種混合執筆のテキスト例（右）

図1に示された3つの編集済みテキストは、いずれも「均質な共同執筆」の事例です。これら3つの例から、「間違いを修正してください」というプロンプトで生成されたテキストと、「より描写的にしてください」というプロンプトで生成されたテキストとの間には、明らかな違いがあることがわかります。 この違いは、生成されたテキストを人間が書いた元のテキストと比較すると特に顕著ですが、Pangram 3.0では、編集後のテキストのみが利用可能な場合でもその違いを定量化できるようになり、ユーザーは特定のテキストにおいてAIがどの程度浸透しているかをより深く理解できるようになります。

AIで編集されたデータセットの作成

テキストに含まれるAI編集の割合を判定するモデルを学習させるため、各テキストに含まれるAI編集の割合がラベル付けされた、AI編集済みテキストからなる学習データセットを作成する必要がありました。そこで、ニュース、レビュー、教育関連のウェブ記事、Redditのライティングプロンプトなど、さまざまな分野のオープンソースデータセットから、完全に人間によって書かれた原文をサンプリングしました。 次に、GPT-4.1、Claude Sonnet 4、Gemini 2.5 Flashという3つの商用LLMを使用し、「もっと具体的に書いてください」や「このエッセイの成績を上げる手助けをしてください」といった303種類の編集プロンプトを適用しました。最後に、人間が書いた各テキストについて、完全にAIで生成されたバージョン（「合成ミラー」とも呼ばれます。Pangramテクニカルレポート参照）を生成しました。 最終的なデータセットは、6万件のトレーニング例、6千件のテスト例、および2,400件の検証例で構成されています。

AIがテキストをどの程度編集したかを、どのように判断すればよいのでしょうか？

データセットの作成過程において未編集の原文にアクセスできるため、原文とAI編集版を比較することで、テキストに含まれるAI編集の度合いを測定することができました。私たちは「コサイン距離」と呼ばれるテキスト類似度指標を用い、AIが人間が書いた原文をどの程度変更したかを0から1のスケールで推定しました。この際、完全に人間が書いたテキストには0、完全にAIが生成したテキストには1のスコアを割り当てました。 このスコアが、人間がAI編集をどのように認識しているかに対応していることを検証するため、AI生成テキストに精通した専門家3名を招き、2つのAI編集済みテキストのうち、どちらがよりAI編集されているかを選定してもらう調査を実施しました。その結果、アノテーターたちは概ね、私たちが採用したテキスト類似度指標の選択に同意していることが明らかになりました。

AIによる編集を予測するモデルの学習

ラベル付けされたデータセットが揃ったところで、次はモデルの学習に取り掛かりました。 当モデルは、AIが編集したテキストのみを用いて学習されています。これは、ユーザーがPangram 3.0を実際に使用する状況を反映したものです。つまり、生徒がAIをどの程度使用したかに関心のある教師は、生徒の提出物しか持っておらず、それ以前の下書きは一切持っていないという状況です。テキストが与えられると、当モデルは、前のセクションで割り当てたAI編集スコアを予測するように学習されています。図3は、学習時およびテスト時の当モデルの入力と出力を示しています。

実運用におけるAI支援の検知

以下は、作家カズオ・イシグロについて人が書いた文章です：

英国の作家、石黒一雄の作品を読むことは、さまざまなレベルで苛立ちを味わうことに他ならない。石黒のこの苛立たしい文体の天才的なところは、読者が登場人物や物語にどれほど感情移入していようとも、苛立ちが溢れ出す点にある。言語そのもののレベルにおいて、読者は反復や冗長さ、そして修飾語がふんだんに散りばめられていることに気づく。 石黒は、登場人物が「手短に言わせてもらう」といった口調で何かを言うたびに、私に身体的な不快感を覚えるよう仕向けてきた。語り手たちは皆、何らかの職に就いているが、プロの物語作家など一人もいない。情報はゆっくりと、曖昧に、そして時系列順とは異なる順序で提示される。これにより、読者は物語の理解を助ける具体的な事実を知ることができなくなる。

以下は、さまざまなプロンプトを適用した後にChatGPTが生成したこの段落のAI編集版について、Pangram 3.0がどのように特徴づけているかを示したものです：

Grammarlyの事例研究

Grammarlyは、ユーザーが普段使っているワードプロセッサ内でLLM（大規模言語モデル）を利用してテキストを直接編集できる、サブスクリプション型のAIライティングアシスタントです。私たちは、Grammarlyのデフォルトの編集プロンプト9種類を、人間が作成した197件のテキストに適用したデータセットを収集しました。これには、「簡潔に」「流暢に」「より描写的に」といったプロンプトが含まれていました。 その後、Pangram 3.0を用いて編集されたすべてのテキストを評価しました。図4では、編集プロンプトごとにグループ分けしたAI支援スコアの分布を示しています。直感に反するかもしれませんが、Pangram 3.0では「誤りを修正する」が最も軽微な編集とみなされる一方で、「要約する」や「より詳細にする」は、はるかに介入度の高い編集とみなされていることがわかります。

図4：Grammarlyから収集したデータセットにおけるPangram 3.0（EditLens）スコアの分布。スコアは、適用された編集内容ごとにグループ分けされている。すべての編集は、Grammarlyのワードプロセッサで利用可能なデフォルトのオプションである。

AIによる編集を多く適用するほど、AIアシストスコアは上昇します

私たちは、同じテキストに対して5つのLLMによる編集を適用し、各編集の後にPangram 3.0でテキストのスコアを再算出するという実験を行いました。図5から、一般的に、編集を重ねるごとにAI支援スコア（EditLens）が上昇していることがわかります。

図5：同一文書に対して5段階のAI編集を順次行った後の、Pangram 3.0のスコア。

学習表現に関する国際会議（ICLR）のケーススタディ

11月、AI研究者たちは、AIおよび機械学習分野の主要な学会の一つである「International Conference on Learning Representations（ICLR）」において、AIによって生成されたと疑われる投稿論文や査読が大きな割合を占めていることについて懸念を表明した。カーネギーメロン大学のグラハム・ノイビッグ教授は、今年のICLRの投稿論文や査読に対してAI検出ツールを実行した者に報奨金を支払うと申し出たため、私たちパングラムも喜んでこれに応じた。

この分析の一環として、誤検知率（FPR）を確認するため、今回のICLR審査サイクルで提出されたすべての査読論文に加え、2022年に提出された査読論文に対してもPangram 3.0を実行しました。 2022年の査読論文において、Pangram 3.0の偽陽性率は、「軽微な編集あり」対「完全な人間による執筆」で約1,000分の1、「中程度の編集あり」対「完全な人間による執筆」で約5,000分の1、「大幅な編集あり」対「完全な人間による執筆」で約10,000分の1でした。 「完全AI生成」と「完全人間作成」の間で混同される事例は確認されませんでした。今年のレビューにおいて、Pangram 3.0はレビューの半数以上が何らかの形でAIの支援を受けていることを検出しました。図6は、2026年のICLRレビュー全件におけるPangram 3.0のスコア分布を示しています。

図6：2026年ICLRのレビュー論文におけるPangram 3.0の予測結果の分布

当社の分析手法や結果についてさらに詳しく知りたい方は、分析に関するブログ記事をご覧ください。

Pangram 3.0は、英語が母語ではない人がAIの支援を受けて作成したテキストをどのように処理しますか？

我々は分析結果と、すべてのレビューに対するPangram 3.0のスコアを公開しました。これにより、レビュアーは自身が執筆したレビューがPangram 3.0によってどのように評価されたかを確認できるようになりました。その結果、実際のテキストにおいてPangram 3.0がどのように機能するかについて、実体験に基づくフィードバックを得ることができました。

X上で当サイトの分析に対する返信に見られた共通のテーマは、非ネイティブの英語話者が執筆した文章を、その後LLM（大規模言語モデル）を用いて翻訳または推敲した場合、AIアシスタントがそれをどのように評価するかという点でした。以下に、レビュー担当者からの回答をいくつか紹介します。彼らは概ね、Pangramによるレビューの評価内容に同意していました：

LLMによって英語が滑らかに修正された自分のレビューを確認し、それらすべてを「AI使用なし／完全に人間が執筆」としてフラグを立てました

— アナ・マラソヴィッチ (@anmarasovic) 2025年11月15日

自分のレビューを確認してみました。結果は、AIによる編集が「中程度」が2件、「大幅」が2件、「軽微」が1件でした。レビューは中国語で書いて、GPTを使って英語に翻訳してもらったからです。この結果は驚くことではありません。でも、私は責任感のあるレビュアーだと思います :)https://t.co/1QoRvF6q2y

— ライジング・チャン（张瑞星） (@xing_rui12683) 2025年11月16日

今や、AI生成コンテンツそのものよりも、AI生成コンテンツを検知するAIの方を信頼しているなんて、笑。
念のため言っておくと、この分析を可能にしてくれた人々の努力には心から敬意を表している。

私の実体験を挙げると、ある投稿では4件のレビューすべてが……https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 2025年11月17日

今回の製品アップデートについて、皆様にご紹介できることを嬉しく思います。Pangram 3.0のAIアシスタント検出機能（EditLens）に関する技術的な詳細については、こちらの研究論文をご覧ください：https://arxiv.org/abs/2510.03154