パングラム 4 技術報告書

Pangram 4は、当社が開発した最新鋭のAIテキスト検出モデルです。前世代のモデルと比較して、Pangram 4は、完全にAIによって生成された文章、複数の著者が関与した文章、AIが支援した文章の判別において著しい改善が見られ、さらに優れた精細度を実現することで、文書内の人間による部分とAIによる部分をより細かく区別することが可能になりました。また、ヒューマナイザーや敵対的プロンプティングに対しても堅牢であり、最新の最先端モデルにおいても精度が大幅に向上しています。

私たちの知る限り、Pangram 4は、1回の処理でAI支援による文章とAIと人間が共同で作成した文章を同時に区別できる、初のAI検出モデルです。

主な結果：

• 当社のベンチマークテストでは、Pangram 4はAI生成文書を99.66%の精度で正しく識別する一方で、人間が書いた文書をAI生成と誤判定する割合はわずか0.0041%にとどまり、これはおよそ24,000件の文書につき1件の誤検知に相当します。
• Pangram 4は、Pangram 3に比べて両方の指標で性能が向上しており、偽陰性の数は約6分の1、偽陽性の数は14分の1に減少しています。
• Pangram 4は、AIによる軽微な修正をAI生成と誤認することはありません。AIで修正された人間の文章を完全なAI生成と判定する割合はわずか0.009%であり、これはPangram 3に比べて20分の1に減少しています。
• 13種類の一般的な商用ヒューマナイザーと比較評価した結果、Pangram 4は、ヒューマナイズされたAIテキストにおいて、98.83%の確率でAIの関与を特定しました。

複数の著者による執筆とAIの支援

今日作成される多くの文書は、もはや「完全にAIによって生成されたもの」か「完全に人間によって書かれたもの」のいずれかのカテゴリーに明確に分類されるものではなくなっています。むしろ、私たちは、テキストの文章と論旨が、それぞれ異なる出自を持つことが十分にあり得る時代に生きているのです。

私たちは、この種の文書を、完全にAIによって生成されたテキストや完全に人間によって書かれたテキストの両方から区別することが重要だと考えています。これが私たちにとって重要なのは、透明性のある著作者情報の開示を重視しているからであると同時に、人気を博し、台頭しつつある技術である言語モデルが、私たちがまだ完全には理解しきれていない形で世界に影響を与えているからです――とはいえ、その兆候はいくつか見受けられます。いくつかの研究によると、言語モデルを用いてテキストを編集すると、その文体が測定可能な形で変化することが示されています。例えば、LLMによって書き直された学術論文には、曖昧さを示す言葉（「かもしれない」、「通常」、「示唆する」）や強調語（「強い」、「堅牢な」、「一貫した」）が蓄積されやすい傾向があります。関連研究によると、LLMによる編集は、文法のみを修正するよう指示された場合でもテキストの意味を変化させることが判明しており、また、LLMが作成した査読報告書は、明瞭性や重要性の評価において、人間の査読者とは異なる重み付けを行うことが分かっています。さらに、他の研究では、徹底的な編集を行ってもAI生成の草案の特徴を完全に除去することは困難であるという兆候が見られます。LLMの出力を自身のスタイルに合わせて編集した執筆者のテキストでさえ、自身の文章というよりはLLMの文章に近い読み心地になるのです。

この問題に取り組むにあたり、人間とAIによる執筆を組み合わせる主な方法を2つ検討する。セグメントがAIまたは人間の著者のいずれかに明確に帰属できる異種混合文書の場合、Pangramはトークン単位の予測を用いる。一方、反復的に編集されたセグメントで、どのトークンも単一のAIまたは人間の著者に明確に帰属させることができない場合、Pangramはそのセグメントを「AI支援」としてフラグを立てる。

不均一な混合テキストと均一な混合テキストの違い。

パングラムは、ヒューマナイザーや敵対的プロンプティングに対して頑健である

AI検出技術が進歩するにつれ、自動検出を回避するためにAIが生成したテキストを書き換えるソフトウェアへの需要も高まっています。こうしたツールは、学術界、研究機関、出版業界など、著者の特定が極めて重要な場面において、検出を回避することを目的としている場合が多くあります。 これに対抗するため、Pangram 4には「人間らしいテキスト」を検出する専用機能が搭載されています。13種類の一般的な商用「人間化」ツールと比較評価した結果、Pangramは人間化処理が施されたAI出力において、98.83%の確率でAIの関与を特定することができました。

検出を回避するためのもう1つの一般的な敵対的戦略として、Blader humanizerのような「敵対的プロンプティング」が挙げられる。これは、ユーザーがLLMに対し、通常の文章スタイルから逸脱するよう指示する手法である。この領域における我々の性能を評価するため、再現可能な偽陰性を生成することを目的として、AIエージェント（Codex GPT 5.6 Sol）に対し、24時間にわたりPangram 4 APIへのアクセス権を付与した。

GPT 5.6はこの取り組みにおいて、文体の模倣、簡潔な専門用語の使い方、人間が作成した原文を用いて文脈を事前に読み込むことなど、さまざまな戦略を検証しました。 テスト期間中、GPT 5.6が成功したバイパスは、口述された外科病理所見を模倣した1件のみでした。これは確かに印象的ですが、入力に出力よりも多くの文脈が含まれていたこと、また生成されたテキストが、我々が通常ターゲットとしている自由形式の文章ではなく、簡潔な箇条書きであったことから、最終的にはこの試みは本研究の範囲外であると判断しました。

トレーニングとアーキテクチャ

著作者を特定する目的において、AI生成テキストとは、自由形式の執筆課題や質問に対してLLMが生成した、独創的な自然言語の散文と定義する。さらに、LLMが独自のトークンを生成していることを要件とし、モデルが人間が作成したテキストを逐語的に繰り返すケース（例えば、コンテキストウィンドウからの引用、記憶した内容の再現、あるいは人間による入力文字列の要約など）は除外する。

学習データ

私たちは、Pangram 4を、多岐にわたる分野、言語、およびAIモデルから得られた、人間が執筆した文章とAIが生成した文章の両方を使って学習させました。

以前のバージョンと同様、人間によって作成されたすべてのトレーニングデータは、商用ライセンスを取得しているか、当社が所有しています。これまでと同様、Pangram 4 は、ユーザーから投稿されたデータ、API ユーザーからの顧客データ、または無断でインターネットから収集されたデータを用いて学習を行っていません。

ヒトデータセットに含まれるドメインのおおよその分布を以下に示します。

人間が作成した原文のカテゴリー別のおおよその内訳。

データセットのAI部分については、現在利用可能なOpenAIおよびAnthropicのモデルをすべて含め、最も普及している75のモデルを用いて、すべての合成例を社内で生成しています。合成データセットを構築する際の私たちの目標は、AIテキストのトピック、言語、またはトーンを示す指標を取り込むのではなく、モデルがテキストがどのように書かれたかを学習できるよう、文脈を提供することです。

通常とは異なる手書き文字による誤検知を減らすため、学習済みの候補モデルを予備のテキストデータセットに適用し、候補モデルがAI生成と誤って判定した項目を特定します。次に、誤判定された項目の合成ミラーデータを生成し、それらを組み合わせたデータセットを用いて候補モデルを再学習させます。この手法を「ハードネガティブマイニング」と呼びます。

建築

Pangram 4は、Pangram 3.3の6倍のパラメータ数を誇る、当社史上最大規模のモデルです。Pangram 4は、前世代モデルと比較して、アーキテクチャにいくつかの大きな変更が加えられています。また、これは当社初の「ミクスチャー・オブ・エキスパート（MOE）」モデルでもあり、スパースルーティング機構によって、異なる種類の入力がニューラルネットワークの異なる部分に振り分けられます。入力の可能性の幅が広いことから、この種のアーキテクチャはAIによる検出に非常に適していると考えています。

Pangram 4 アーキテクチャの概要。

予測の仕組み

予測の精度を高めるため、Pangram 4 は、与えられた入力文字列内の各トークンについて、そのトークンが「人間によって書かれたもの」、「AIの支援を受けたもの」、あるいは「AIによって生成されたもの」のいずれであるかという推定値に対応する 3 つのスコアを算出します。長い文書については、512 トークン単位の重なり合うウィンドウごとにスコアが算出されるため、各ウィンドウについて、トークンレベルのスコアの集計値に加え、ウィンドウレベルのスコアも得られます。 その後、個々のトークンの予測値に生じがちな不自然な変動を抑えるため、すべてのスコアを平均化し、平滑化を行います。この手法は、前処理段階でテキストを単純にチャンクに分割していた従来のアプローチに代わるものであり、AI生成コンテンツと人間が作成したコンテンツの境界を正確に推定することを可能にしています。

パフォーマンスとベンチマーク

実世界のLLMのユースケースを正確にモデル化するため、我々は、人間が作成したテキスト、AIが生成したテキスト、およびAIが支援して作成されたテキストを対象に、さまざまな標準ベンチマークおよびチャレンジベンチマークを用いてPangram 4の評価を行った。

誤検知

テストセットのうち人間が作成した文書については、モデル学習から除外された2022年以前の商用ライセンス文書200万件を用いて、Pangram 4のベンチマーク評価が行われました。 このベンチマークにおいて、Pangram 4は0.0041%の誤検知率を達成し、95%信頼区間は(0.0032%、0.0050%)でした。これは、およそ24,000件の文書につき1件の誤検知に相当します。

AI生成データセットにおける偽陰性

このベンチマークは、Chatbot Arena Conversationsからユーザーのプロンプトを収集して構築しました。このプロンプトのコレクションを選定したのは、ユーザーがLLMに送信するプロンプトの実世界における分布を反映させるためです。その後、小規模な言語モデル（Mistral-Small-24B-Instruct-2501）を用いて、数学やコーディングの支援を求めるプロンプト、および多肢選択式の回答をフィルタリングして除外しました。これらは本ベンチマークの範囲外であると判断したためです。 フィルタリングの結果、モデルから自由回答を引き出す20,000件の包括的なプロンプトセットが残りました。このセット内の各プロンプトに対し、GPT-5.5、Claude Opus 4.8、Gemini 3.1 Proを含む26種類の言語モデルすべてについて応答を生成し、合計519,993件の評価対象サンプルが得られました。

このベンチマークにおいて、Pangram 4は全体的な偽陰性率（FNR）0.3396%を達成した。一方、同じデータセットにおけるPangram 3のFNRは1.99%であった。

フロンティアモデルに対する頑健性

Pangram 4 は最先端の言語モデル全般に適用可能です。あらゆるモデルファミリーが 0.7% 未満の FNR で検出され、モデルのリリース日と検出可能性との間に有意な相関は見られませんでした。

混合文書および編集済み文書におけるパフォーマンス

AIによる校正および推敲が施されたテキストのデータセットを作成し、AI支援による誤検知率（モデルがAIによる軽微な編集を誤ってAIによるものとしてフラグ付けしてしまう割合）を評価します。 一般向け製品（Grammarly、Apple Intelligence、Google DocsのGemini）および最先端のLLM（Opus 4.8、Gemini 3.1、GPT-5.5）を用いて、ELLIPSE、PELIC、ICNALEの学生による文章に軽微な編集を加えました。 例えば、AppleのPagesワードエディタに組み込まれた「ライティングツール」機能を使用して一部のテキストを「校正」したり、Opus 4.8に対して「下書きが明らかに人間によるものであることを保ちつつ、学術的なスタイルに関する軽微な問題を修正する」よう指示したりしました。

異種混合文書の抜粋を用いた「Pangram 3」対「Pangram 4」の比較。「Pangram 4」は、はるかにきめ細かな解像度でAIを検出します。

次は？

このモデルをご紹介できることを大変嬉しく思っております。また、これは現時点で同種の世界最高峰の製品であると確信しております。しかし、私たちにはまだいくつかの目標があります。

まず、データドリフトが問題となる前に、先手を打って対処したいと考えています。2022年以前のトレーニングセットが、当社の基準が求めるような堅牢な予測モデルを生成するのに、今後どれくらいの期間有効であり続けるかは現時点では不明です。そのため、人間が作成したトレーニングセットを補完する方法を見出すことが最優先課題となっています。ただし、もちろん、トレーニングに用いるすべてのオーガニック文書について、人間によるグラウンドトゥルース値を保証するという方針を損なうことなく行う必要があります。

次に、Pangram 4 の予測が文脈を問わず安定していることを確認したいと考えています。時折、長いテキストの一部について、それが単独で存在する場合と、周囲の文書に組み込まれている場合とで、異なる予測結果が得られることがあります。この状況は、追加の文脈がモデルにより多くの情報やより強いシグナルを提供していることを反映している可能性もありますが、より適切なキャリブレーションを行うことで、この影響を最小限に抑えられることを期待しています。

最後に、特徴量の帰属、埋め込み空間、および生成器の同定に関する理解を深めるため、解釈可能性に関する研究を引き続き進めていきたいと考えています。これは私たちの研究の中でも特に野心的な取り組みの一つであり、今後数ヶ月のうちにその進捗状況を皆様と共有できることを楽しみにしています。

モデルカード

詳細については、「Pangram 4」モデルカードをご覧ください。