パングラム3.0：テキストにおけるAI編集の程度を定量化する

*注記：当社の新モデル「Pangram 3.0」は、公開済み研究「EditLens: テキストにおけるAI編集の程度を定量化する」に基づいています。

ChatGPT、Claude、Geminiといった大規模言語モデル（LLM）の急速な普及は、文章の作成、修正、そしてテキストとの関わり方を変革した。 OpenAIの最近の研究によれば、ChatGPTへの文章関連の問い合わせの3分の2は、一から文章を生成するのではなく、ユーザーが提供したテキストを修正するようモデルに求めている。ユーザーは人間が書いた下書きを基に、文法の改善、論理構成の再構築、トーンの変更などをモデルに依頼するケースが増加している。

人間が起草したがAIが編集したテキストの台頭は、AI検出ツールにとって何を意味するのか？多くの既存ツールは、テキストを最大3つのカテゴリ（完全な人間作成、完全なAI生成、混合）に分類するよう設計されている。この枠組みでは、LLMによる文法修正が施された段落と、モデルが詳細を追加するために拡張した段落を区別できない。

テキストにおけるAI編集の全範囲を捉えるため、我々はPangram 3.0を導入する。これはテキスト生成におけるAI関与の度合いを定量化するよう設計されたモデルである。完全な人間によるもの、完全なAIによるもの、混合といった分類を返すのではなく、PangramはAI介入の「強度」に対応するスコアを出力する。

均質な共同執筆と不均質な共同執筆

Pangram 3.0は、我々が「均質な混合執筆テキスト」と呼ぶケースに対処します。均質と 不均質な混合執筆の違いを分解してみましょう。

異種混合テキストの場合、各テキストセグメントの作者は人間またはAIに直接帰属させられる。以下の例では、人間がレビューの執筆を開始し、その後ChatGPTに追加を依頼している。このようなケースでは、人間とAIのセグメント間に1つ以上の境界が存在する。 各文、あるいは各単語を、人間かAIかの生成主体に応じてラベル付けすることが可能です。異種混合テキスト検出（細粒度AIテキスト検出とも呼ばれる）については、Kushnarevaら（2024年）、Wangら（2023年）、Leiら（2025年）によって先行研究が行われています。

均質なケースでは、編集プロセスによって著作者が絡み合う。レストランレビューの例を続けると、人間が簡潔なレビューを書き、ChatGPTに詳細を追加させる場合、均質な混合テキストが生成される。 この場合、人間が書いた言葉とAIが書いた言葉を分離することは不可能である：AIは人間のテキストを新しい言葉で言い換えているが、テキストの背後にある意味や考えは直接人間の草案に由来する（ある人間著者が別の著者を引用せずに言い換えるケースを考えてみよう——これは典型的な盗作の事例だ！）。

図2：異種混合型人間-AI共著テキストの例（左）と均質混合型共著テキストの例（右）

図1の3つの編集済みテキストは、いずれも均質な混合執筆事例である。これら3例から、「誤りを修正」プロンプトで生成されたテキストと「より描写的に」プロンプトで生成されたテキストには明らかな差異があることが確認できる。 この差異は、生成テキストを人間が書いた原文と比較すると特に顕著ですが、Pangram 3.0では編集済みテキストのみを基に差異を定量化する一歩を踏み出しています。これによりユーザーは、特定のテキスト内でAIの影響がどれほど浸透しているかをより深く理解できるようになります。

AI編集済みデータセットの作成

テキスト内のAI編集の度合いを判定するモデルを訓練するため、AI編集が施されたテキストと、各テキストに含まれるAI編集の度合いをラベル付けした訓練データセットを作成する必要がありました。ニュース、レビュー、教育系ウェブ記事、Redditのライティングプロンプトなど、様々な分野のオープンソースデータセットから、完全に人間が書いたソーステキストをサンプリングしました。 次に、3種類の商用LLM（GPT-4.1、Claude Sonnet 4、Gemini 2.5 Flash）を用いて、「より描写的にしてください」や「私のエッセイの成績を上げる手助けをしてください」といった303種類の編集プロンプトを適用しました。最後に、人間が書いた各テキストの完全なAI生成版（「合成ミラー」とも呼ばれる、Pangram技術報告書参照）を生成しました。 最終的なデータセットは、6万件の訓練例、6千件のテスト例、2.4千件の評価例で構成されています。

AIがテキストを編集した度合いをどのように判断すればよいでしょうか？

データセット作成時に未編集の原文にアクセスできたため、原文とそのAI編集版を比較することで、テキスト内のAI編集量を測定できました。コサイン距離と呼ばれるテキスト類似度指標を用い、AIが人間が書いた原文をどれだけ変更したかを0から1の尺度で推定しました。完全に人間が書いたテキストにはスコア0を、完全にAIが生成したテキストにはスコア1を割り当てます。 このスコアが人間のAI編集認識と一致することを検証するため、AI生成テキストに精通した専門家3名を採用し、2つのAI編集テキストのうちどちらがよりAI編集されているかを選定する調査を実施しました。その結果、アノテーターは概ね我々の選択したテキスト類似性指標と一致する判断を下しました。

AI編集を予測するモデルの訓練

ラベル付きデータセットが用意できたので、モデルの訓練に移りました。 当モデルはAI編集済みテキストのみで訓練されており、これはPangram 3.0のユーザー利用方法を反映しています。つまり、生徒のAI使用量を把握したい教師は、生徒の提出物のみを閲覧でき、下書きは一切確認できません。当モデルは、与えられたテキストに対して、前節で割り当てたAI編集スコアを予測するよう訓練されています。図3は、訓練時とテスト時における当モデルの入力と出力を示しています。

AIアシスタント検出の実践

以下は、作家カズオ・イシグロについて人間が書いた段落です：

英国の作家カズオ・イシグロの作品を読むことは、様々なレベルで苛立ちを経験することである。イシグロの苛立たしい文体の天才性は、読者が登場人物や筋書きにどれほど感情移入しようとも、苛立ちが溢れ出す点にある。言語そのもののレベルでは、読者は反復、冗長さ、そして修飾語の散りばめを目にすることになる。 石黒の登場人物が「手短に言わせてください」といった類の台詞を口にするたび、私は身体的な嫌悪反応を起こすように条件付けられてしまった。語り手は皆職に就いているが、プロの語り手ではない。情報はゆっくりと、不正確に、時系列を無視して伝達される。これにより読者は、プロット理解を助ける具体的な事実を奪われるのだ。

以下は、異なるプロンプトを適用した後にChatGPTが生成したこの段落のAI編集版を、Pangram 3.0がどのように特徴づけるかを示します：

プロンプト	AIアシスタンス（EditLens）スコア	パングラム3.0の結果
これを片付けてくれ、文学誌に論文を投稿しようとしているんだ	0.52	原文と軽く編集した結果を表示
言語をより活き活きとさせる	0.79	原文と適度に編集された結果を表示
これを石黒の文体で書き直してください	0.89	テキストを表示し、完全なAI結果を表示

Grammarlyの事例研究

Grammarlyはサブスクリプション型のAIライティングアシスタントであり、ユーザーはネイティブのワードプロセッサ内でLLM（大規模言語モデル）を用いて直接テキストを編集できます。我々はGrammarlyを用いて、197の人間が書いたテキストに対して9種類のデフォルト編集プロンプトを適用したデータセットを収集しました。これには「簡潔に」「流暢に」「描写を豊かに」といったプロンプトが含まれます。 編集後の全テキストをPangram 3.0で評価しました。図4では編集プロンプト別に分類したAI支援スコアの分布を示しています。意外にも、Pangram 3.0は「誤りを修正」を最も軽微な編集と評価する一方、「要約する」「詳細化する」ははるかに侵襲性の高い編集と見なしていることがわかります。

図4: Grammarlyから収集したデータセットにおけるPangram 3.0 (EditLens) スコアの分布。スコアは適用された編集内容ごとにグループ分けされている。全ての編集はGrammarlyのワードプロセッサで利用可能なデフォルトオプションである。

AI編集を適用すればするほど、AIアシストスコアが上がります

同じテキストに5つのLLM編集を適用し、各編集後にPangram 3.0でテキストを再評価する実験を実施した。図5から、一般的にAI支援スコア（EditLens）は編集を重ねるごとに上昇することが確認できる。

図5：同一文書に対して5段階のAI編集を順次適用した後のパングラム3.0スコア

国際学習表現会議（ICLR）事例研究

11月、人工知能研究者らは、AIと機械学習分野のトップカンファレンスの一つである国際学習表現会議（ICLR）において、AI生成が疑われる投稿論文と査読論文が多数を占めていることについて懸念を表明した。カーネギーメロン大学のグラハム・ノイビグ教授は、今年のICLR投稿論文と査読論文に対してAI検出を実施する者に報奨金を提示し、当社パングラムは喜んでこれに応じた。

この分析の一環として、ICLRに提出された査読サイクルの全査読論文と2022年に提出された査読論文に対しPangram 3.0を実行し、偽陽性率（FPR）を確認しました。 2022年の査読論文において、Pangram 3.0の偽陽性率は以下の通りでした：- 軽微な編集 vs. 完全人間執筆：約1,000件に1件- 中程度の編集 vs. 完全人間執筆：約5,000件に1件- 大幅な編集 vs. 完全人間執筆：約10,000件に1件 完全AI生成と完全人間生成の間では混同は確認されませんでした。今年のレビューでは、Pangram 3.0は全レビューの半数以上に何らかのAI支援が用いられていることを検出しました。図6は、2026年のICLR全レビューにおけるPangram 3.0スコアの分布を示しています。

図6: 2026年ICLR査読論文におけるPangram 3.0予測の分布

当社の分析手法と結果について詳しく知りたい方は、当社が執筆した分析に関するブログ記事をご覧ください。

Pangram 3.0は、非ネイティブ英語話者によってAI支援で書かれたテキストをどのように処理しますか？

分析結果と全レビューに対するPangram 3.0スコアを公開したため、レビュアーは自身が執筆したレビューのPangram 3.0評価を確認できた。その結果、Pangram 3.0が実際のテキストでどのように機能するかについて、事例に基づくフィードバックを得ることができた。

X上で当社の分析に対する返信に共通していたテーマは、非ネイティブ英語話者が書いたテキストを、その後LLMを使って翻訳または推敲した場合、AIアシスタンスがどのように評価するかという疑問でした。以下に、レビュー担当者からの回答をいくつか紹介します。彼らは概ね、パングラムによるレビュー内容の分析に同意していました：

LLMで英語を滑らかにした自分のレビューを確認し、それら全てを「AI検出なし／完全に人間が書いた」としてフラグを立てた

— アナ・マラソヴィッチ (@anmarasovic) 2025年11月15日

レビューを確認しました。結果は中程度のAI編集が2件、大幅な編集が2件、軽微な編集が1件でした。中国語でレビューを書き、GPTが英語への翻訳を手伝ってくれたからです。驚くべき結果ではありません。でも私は責任あるレビュアーだと思います :)https://t.co/1QoRvF6q2y

— 張瑞星 (@xing_rui12683) 2025年11月16日

今やAI生成コンテンツ自体よりも、AI生成コンテンツを検知するAIの方を信頼しているわけだ（笑）
はっきり言っておくが、この分析を可能にした人々の努力には敬意を払っている。

私自身の経験から言うと：ある投稿では4件のレビュー全てが…https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 2025年11月17日

この製品アップデートを皆様にお知らせできることを嬉しく思います。Pangram 3.0 AIアシスタント検出機能（EditLens）に関する技術的な詳細は、こちらの研究論文をご覧ください：https://arxiv.org/abs/2510.03154