AI検出器における誤検知のすべて

Pangramにおける私たちの業務において、最も重要な要素の一つは、誤検知率を最小限に抑えることです。つまり、人間が書いた文章がAI生成と誤って判定される可能性を、可能な限り低減することです。 本日は、多種多様な文章におけるパングラムの誤検知率について解説し、誤検知率を可能な限り低く抑えるためにモデルをどのように測定・評価しているか、そして最後に、業界で最も低い誤検知率を実現するAI検出ソフトウェアを構築するために採用している技術の一部をご紹介します。

主なポイント

• 誤検知とは、検出ツールが人間の作品を誤ってAI生成と判定してしまうことを指します。AI検出において、この種のエラーはより深刻です。なぜなら、ある人の作品が本人のものではないと主張することは、その人の評判や学術的な地位を損なう恐れがあるからです。
• Pangramは、誤検知と検知漏れをともに重視しており、業界トップクラスの1万件に1件という誤検知率を実現しています。
• 分野別に見ると、Pangramは、創作文章（0.01%）、学術論文（0.02%）、生物医学分野の文章（0.01%）、映画脚本（0%）など、最も一般的な使用事例のすべてにおいて、誤検知率が極めて低い。
• Pangramは、詩やレシピなど、よりニッチなユースケースでは、それほど最適なパフォーマンスを発揮しません。

偽陽性とは何ですか？

AI検出の文脈において、誤検知（false positive）とは、検出器が人間が作成したサンプルを誤ってAI生成であると判定してしまうことを指します。対照的に、検知漏れ（false negative）とは、AI生成のサンプルが人間によるものだと誤って判定されてしまうことを指します。

AI検出における偽陽性と偽陰性

上の図は、2種類のエラーを示しています。赤が否定クラス、緑が肯定クラスを表す場合、緑と予測された赤い「X」は偽陽性となり、赤と予測された緑の「O」は偽陰性となります。

統計学では、「第I種誤り」と「第II種誤り」という用語が使われますが、これらはまったく同じ意味です。第I種誤りとは偽陽性を指し、第II種誤りとは偽陰性を指します。 統計学者、特に医学分野に携わる研究者は、これら2つの誤り率を区別するために「感度」と「特異度」という用語も用います。機械学習の研究者は「精度」と「再現率」という用語を使います。これらの用語には若干の技術的な違いがありますが、教育的な目的から、本記事では単に「偽陽性」と「偽陰性」という表現に統一します。なぜなら、これら2種類の誤りについて、最も直感的に理解できる用語だと考えるからです。

AIによる剽窃検出において、誤検知（偽陽性）は検出漏れ（偽陰性）よりもはるかに深刻な問題です。AIの助けを借りずに自力で課題を作成した学生に対し、繰り返しAIによる剽窃の疑いをかけると、学生と教師の間の信頼関係が大きく損なわれるだけでなく、学生に多大な不安やストレスを与えることになります。一方、検出漏れ（偽陰性）の場合、時折不正行為を行う者が見逃されてしまう可能性がありますが、AI検出ツールにとってはそれほど深刻な結果とは言えません。

注目すべき点は、他の検出問題においては、偽陰性が偽陽性よりもはるかに大きな害をもたらす可能性があるということです。例えば、がん検診において、検査が患者にがんがあると誤って判断してしまうことは、患者の実際のがんを見逃してしまうことよりも、はるかに望ましいのです。 もし検査で患者ががんであると誤って診断された場合、患者にとっては追跡検査や追加の検査・処置のために再度通院しなければならないという不便さはあるものの、それは患者の生命を脅かすがんの診断を見逃すことよりははるかにましである。

AI検出の話に戻ると、誤検知（false positive）は検知漏れ（false negative）よりも大きな悪影響を及ぼしますが、どちらも重要です。AI生成テキストを常に検知し損ねたり、逆に人間が書いたものと誤って判定したりすることは、ツールの価値を損なうことにもつながります。そのため、Pangramでは、検知漏れと誤検知の両方を可能な限り最小限に抑えることを基本方針としていますが、その中でも誤検知の抑制をより優先的に扱っています。

パングラムの偽陽性率はどれくらいですか？

答えは、「場合によります！」です。

全体として、誤検知率はおよそ1万件に1件程度と測定されています。文章の種類やその他の要因によって、時にはこれより少し高くなったり、低くなったりすることもあります。

当社は、多種多様な文章を対象にPangramの誤検知率を測定しています。これらを「ドメイン」と呼んでいます。網羅的ではありませんが、以下に、各ドメインについて社内で測定した最新の誤検知率を示します：

パングラムにおける誤検知の発生要因は何でしょうか？

一般的に、パングラムは以下の条件が満たされている場合に最も効果を発揮します：

• 本文は十分な長さがあります（200語以上あります）
• 文章は完全な文で書かれています
• このドメインは、一般的なオンライントレーニングデータセットにおいて十分に網羅されている
• この文章はより独創的な要素を含んでおり、定型的な表現が少ない

こうした要因こそが、Pangramがエッセイ、創作、レビューにおいて最高のパフォーマンスを発揮する理由だと考えています。ニュース記事、科学論文、ウィキペディアの記事はより定型的で専門的ですが、これらの分野ではデータが豊富に存在するため、Pangramは文章中の微妙なパターンさえも認識する能力を非常に高めています。 最後に、レシピや詩といった分野は最も苦手です。その理由は、テキストが短く、完全な文で書かれていない傾向があり（そのためLLMが独自のスタイルをテキストに反映させる機会が少なくなる）、一般的に他の分野に比べてオンライン上で見かける頻度が低いからです。

実際には、これはどういう意味でしょうか？パングラムはあらゆる分野において依然として比較的信頼性が高いものの、テキストが長く、完全な文で構成され、執筆者の独自の考えがより多く求められる場合ほど、パングラムの精度に確信を持てるでしょう。 そのため、短い箇条書きやアウトライン、数学的な内容、非常に短い（例：一文のみの）回答、およびデータの長いリスト、スプレッドシート、テンプレートに基づく文章、取扱説明書など、極めて定型的なテキストについては、スクリーニングの対象外とすることをお勧めします。

パングラムの誤検知率は、競合他社と比べてどうでしょうか？

競合他社に対して同様の徹底的なベンチマークテストを実施することはできません。その理由は、単にそのコストが極めて高額になるからです。しかし、競合他社が公表している誤検知率については確認することができます。

Turnitin

Turnitinのウェブサイトに掲載されている誤検知率

Turnitinの最新ホワイトペーパーによると、学術論文における文書レベルの誤検知率は0.51％であり、これはおよそ200件に1件の割合に相当します。つまり、学生が提出する課題の200件に1件が、誤ってAIによる生成と判定されてしまうことになります。

学術論文の類似データセットを用いて測定した当社の誤検知率は0.004%であり、これは25,000件に1件の割合に相当します。

これは大きな違いです。大規模な研究大学では、年間10万件もの論文が提出されることがあります。これは、Turnitinでは500件の誤検知が発生するのに対し、Pangramではわずか4件にとどまるという違いです。

GPTZero

GPTZeroのウェブサイトに掲載されている誤検知率

GPTZeroの誤検知率は1%とされており、これはTurnitinの2倍、Pangramの250倍悪い数値である。

公平な比較を行うため、社内のVIPデータセットから抽出した小規模な文書群を用いて、GPTZeroとPangramの内部ベンチマークを実施しました。その結果、誤検知率は報告されている数値よりも高く、2.01%であることが判明しました。

Copyleaks

Copyleaksのウェブサイトに掲載されている誤検知率

Copyleaksは、誤検知率が0.2％（500件に1件）であると主張しているが、これが事実であれば、Pangramよりも50倍も精度が低いことになる。

さらに、このように単独で提示された数字だけでは、全容は把握できません。データの出所や、評価過程にどのようなバイアスが潜んでいた可能性があるのかは不明だからです。だからこそ、私たちは徹底的なベンチマークを実施し、モデル評価のプロセスを詳述した本記事を公開しています。

RAIDベンチマーク

昨年、リアム・ドゥーガン氏らが発表したRAIDに関する研究（当サイトで掲載した研究総まとめ記事の「研究2」に相当する）を見てみると、以下のグラフに注目したい。

検出器ごとのRAID研究における偽陽性率

ほとんどの検出器には「閾値」が設定されており、これは、そのラインより上ではモデルがテキストをAI生成と判定し、下では人間による生成と判定する信頼度のパーセンテージを示しています。この閾値を調整することで、誤検知と検知漏れの間でバランスをとることができます。

このグラフでは、横軸は閾値を変更した際に生じる偽陽性率を示し、縦軸はリコール率を示しています。リコール率とは、その閾値で評価した際に、AI文書として分類できたAI文書の割合のことです。

要するに、競合他社の検知器は、誤検知率を1％未満に抑えるよう強制されると正常に動作しなくなる。つまり、誤検知率が1％になるように閾値を十分に低く設定した場合、AIを一切検知できなくなってしまうのである。

パングラムの偽陽性率をどのように評価すればよいでしょうか？

Pangramでは、新しいモデルをダッシュボードやAPIに展開する前に、極めて厳格な承認およびテストプロセスを経ています。

品質保証（QA）の過程では、誤検知（false positive）に対して3種類のテストを実施しており、それぞれ定量的評価と定性的評価のバランスをとっています。評価項目は以下の通りです：

1. 大規模なテストデータセット。1セットあたり約1万～1,000万件のデータが含まれます。これらはChatGPT登場以前（2022年）に公開された、大規模なオープンアクセス型インターネットデータベースであり、そこから学習に使用せず、評価目的のみに充てるテストデータセットを選定しました。

2. 中規模のVIPデータセット。1セットあたり約1,000件。これらは、エンジニアやラベラーが信頼できる情報源から手作業で収集し、目視で確認した上で、人間によって作成されたものであることを個別に検証したデータセットです。訓練を受けた専門家は、AI生成コンテンツを目視で検出することに長けていますが、時折誤りを犯すこともあるため、当社は定期的にデータを監査し、正確性を確保するためにクリーニングを行っています。

3. チャレンジセット。1セットあたり約10～100例。これらは、過去に報告された誤検知例や、協力者から寄せられた難解な事例、あるいは単に私たちのモデルがどのように処理するかを知りたい興味深い事例などです。 また、レシピ、詩、映画の脚本など、大規模言語モデルのトレーニングセットにはあまり含まれていない特殊なテキストの例も収集しており、これらもチャレンジセットとして扱っています。これらは、モデルが「分布外」のデータに対してどの程度良好な性能を発揮するかを測るための総合的なベンチマークでもあります。

これら3種類のQAに加え、ユニットテストも実施しています。このユニットテストは、俗に言う「恥ずかしい失敗」をモデルが引き起こさないかを検証するものです。現在のユニットテストスイートでは、『独立宣言』や文学作品の有名な一節、自社ウェブサイトの記事やブログ投稿といった文書に対して、「人間」と判定するようモデルに要求しています。これらのユニットテストのどれか一つでも失敗した場合、新しいモデルのデプロイを停止し、一からやり直します。 評価における私たちの指針の一つは、こうした「恥ずかしい失敗」を徹底的に追跡・監視し、新しいモデルがリリースされた際に決して後退（退行）しないようにすることです。

パングラムで使用される3種類の評価セットを示す図：大規模ホールドアウトセット（1000万例以上）、中規模VIPセット（1000例以上）、およびチャレンジセット（10～100例）

数学や科学に詳しい人なら、こう疑問に思うかもしれません。「なぜ定性的な評価が必要なのか？サンプル数が多いほど良いのではないのか？」

これに対する私の答えはこうです。サンプル数が多いほど良いとは限らない、ということです。ある賢明な預言者がかつて言ったように、「嘘、大嘘、そして統計」があるのです。しかし真面目な話、大規模なデータセットを作成する際には、常に何らかのバイアスが混入してしまうと私たちは考えています。 そして、データセットが膨大すぎてすべての例を精査できない場合、モデルがデータセット内のバイアスに過学習してしまい、テストでは良好な結果を出しても、実世界では不十分なパフォーマンスしか発揮できない可能性があるかどうかを判断できません。（余談ですが、これが「99%の精度」を謳いながら、実際にテストしてみるとその数値には程遠いオンラインAI検出ツールが数多く存在する理由だと私たちは考えています）。

こうした多様なテストスイートの重要性を示す面白い事例が、Pangramの初期段階、トレーニングセットに初めてウィキペディアを導入した際に起こりました。最初の失敗作の一つは、ホールドアウトセットでは非常に優れた結果を出したものの、手作業で収集されたウィキペディアの記事から成るVIPセットでは極めて低い性能しか発揮しませんでした。 結局判明したのは、私たちが使用していたHuggingfaceのデータセットにおいて、人間側のデータでは、 国際音声記号（IPA）で表記された名前の発音が、モデルが過学習してしまうほど奇妙な形式に変換されていたということでした。モデルは単に名前の書式を見て、その書式に基づいてその文書がAIによるものか人間によるものかを判断していたのです。 ホールドアウトセットでは素晴らしい結果でしたが、モデルにその特定の手がかりがない実世界では悲惨な結果となりました！これこそが、Pangramが実世界で遭遇するテキストの種類を正確に反映したテストセットを持つことの重要性なのです。

パングラムでは、モデルをお客様へ出荷する前に、定量的および定性的な評価を含む厳格な承認プロセスを経ています。このプロセスでは、モデルに対するストレステストを実施し、現行モデルとの比較においてその性能を綿密に検証します。

1. 定量的評価：すべてのテストデータ、VIPセット、およびチャレンジケースにおける偽陽性率の指標について、回帰分析を行ってはならないことを意味する。

2. 定性評価：多くの場合、改善される例もあれば、性能が低下する例もあります。可能な限り、性能が低下した具体的な例を目視で確認し、失敗の原因が説明可能であることを確認します。これは往々にして微妙な差異を伴うものであり、検証対象の特定の仮説に固有のものですが、一般的には、失敗事例に、本番環境へのデプロイ後に現実世界での失敗へと一般化されかねない特定のパターンが見られないことを確認する必要があります。

3. 「雰囲気チェック」／レッドチームング：最後に、定量的および定性的な評価が完了したら、モデルをチームに配布し、しばらく試してもらって「雰囲気チェック」を行います。アップデートによっては、モデルを一般公開する前に、社内のテスターやベータ顧客にもテストしてもらうことがあります（通常、モデルが機能しなくなるようなケースを見つけてもらうよう促しています！）。

4. 事後的なA/Bテスト：過去の予測データに対してオフライン推論を実行し、旧モデルと新モデルの差異を検証します。過去に推論したデータについて、必ずしも真の値が判明しているわけではありませんが、それでも現実世界の失敗事例を示す可能性のある一貫したパターンを探しています。

要約すると、私たちはメトリクスや統計を用いてモデルのパフォーマンスを測定する際、極めて綿密かつ科学的なアプローチをとっていますが、物事の全容を把握するために数字だけに頼っているわけではありません。また、メトリクスでは見落とされがちなエラーのパターンを発見し、モデルを精査するために、自らの目や直感、パターン認識能力も重視しています。さらに、チームが見落としている可能性のある脆弱性を発見するために、テスター、レッドチーム、ベータ版ユーザーからなるチームにも頼っています。

これほど低い偽陽性率を実現するために、どのような手法を採用しているのでしょうか？

誤検知率を低く抑えることは、私たちの研究の核心です。ここでは、業界最高水準のエラー率を実現するために、これまで私たちが採用してきた手法の一部を紹介します。

トレーニングデータの網羅性

競合他社のAI検出ツールは「学術界・学校・教室・教育者向けに開発された」と謳っているかもしれませんが、実際には、その学習データには学術的な文章しか含まれていない可能性があります。

一方で、私たちは「ビター・レッスン」の教訓を活かしてPangramを開発しました。すなわち、多種多様なソースから得られた大量のデータを用いて学習させた汎用的な学習アルゴリズムは、特定の分野のデータで学習させた特化型モデルよりも効果的であるという教訓です。

つまり、私たちはAI検出器を、創作、技術、科学、百科事典、レビュー、ウェブサイト、ブログ記事など、多種多様な文章を用いて学習させています。その理由は、教養教育と同様に、多くの分野や文章スタイルに触れることで、モデルが新しいケースに遭遇した際、より深く理解し、汎化できるようになるからです。 AIトレーニングの一般的な傾向に従い、ChatGPTやその他の大規模言語モデル（LLM）は、特定のユースケース向けのデータではなく、一般的な大規模テキストデータを用いてトレーニングされています。これにより、汎用的な知能を獲得できるようになっているのです。私たちは、LLMが生成し得るあらゆる種類の一般的なテキストに対して堅牢なAI検出器をトレーニングする際にも、同様の戦略を採用すべきだと考えています。

ハードネガティブマイニング／アクティブラーニング

我々は、「ハードネガティブマイニング」と呼ばれる手法を活用したアクティブラーニングアルゴリズムについて、これまで詳しく解説してきました。このアルゴリズムこそが、誤検知率をほぼゼロにまで低減できた主な要因であると確信しています。

要するに、これが機能する理由は、実世界の例のほとんどが「簡単な例」だからです。モデルが人間によるものとAIによるものの基本的なパターンを一度学習すれば、データセットの大部分において、どちらがどちらかを判別するのは非常に簡単になります。しかし、それだけでは精度は99%程度にとどまります。 精度をあと数パーセント引き上げるためには、モデルを訓練する上で最も難しいケースを見つけ出す必要があります。こうしたケースとは、人間がAI言語モデルと非常に似た書き方を意図的に選んだように見えるものの、実際には偶然そうなっただけのケースだと考えられます。 こうした「難解なネガティブ例」を見つけるために、LLMの訓練に使用されるようなインターネット規模のデータセットに対して大規模な検索を行い、その後、合成ミラーリングを用いて、AIの例文と似たような響きのテキストを生成します。詳細については、当社の「仕組み」ページをご覧ください。

損失重み付けとオーバーサンプリング

我々は、トレーニングプロセスそのものにおいて、モデルが「偽陰性」よりも「偽陽性」を優先するように最適化目的関数を設定しています。モデルが人間の作成した文書を誤って判定した場合、AIが作成した文書を誤って判定した場合よりもはるかに重いペナルティが課されます。これにより、モデルは保守的な姿勢を強いられ、絶対に確信がある場合のみ、その文書がAIによるものであると予測するようになります。

校正

これは、RAIDで説明されている閾値の選定に関するものです。私たちは、評価セットに含まれる数百万件の文書を分析し、偽陽性率と偽陰性率のバランスを適切に調整するために閾値を選定しています。この閾値選定を通じて、偽陽性率を妥協することなく、偽陰性率を妥当な水準に抑えるというバランスを図っています。

要点

• Pangramは、競合他社に比べて偽陽性率が大幅に低い。
• Pangramの偽陽性率が極めて低いのは、規模、学習、および検索の組み合わせによるものです。
• AIによる検出において偽陽性率は極めて重要であるため、我々は極めて包括的なテストおよび品質保証（QA）スイートを構築し、綿密な統計的評価と、より主観的で定性的な人間の判断や直感的なチェックを組み合わせた、徹底した承認プロセスを確立しました。

私たちは、研究者の方々と協力してソフトウェアの全体的な精度を向上させることを大切にしており、AI検出におけるオープンなベンチマークと透明性の確保に情熱を注いでいます。当社との連携や協力に関するお問い合わせ、あるいはPangramの精度に関するご質問がございましたら、info@pangram.com までご連絡ください。