なぜパープレクシティとバースト性がAIの検出に失敗するのか

オンラインでAI検出器の仕組みを検索すると、多くの情報源で「パープレキシティ」や「バースト性」という用語が引用されているのを目にするでしょう。これらの用語は何を意味し、なぜ結局のところAI生成コンテンツの検出には機能しないのでしょうか？本日は、パープレキシティとバースト性が何であるかを詳しく解説し、なぜこれらがAI生成文章の検出に適していないのかを説明したいと思います。 また、なぜそれらが機能しないのか、なぜパープレキシティやバーシティに基づく検出器が『独立宣言』を誤ってAI生成と判定してしまうのか、そしてなぜこれらの検出器が非ネイティブの英語話者に対してバイアスがかかっているのかについても掘り下げていきます。さあ、始めましょう！

パープレキシティとバースト性とは何ですか？

まずは、パープレキシティがどのようなもので、どのような役割を果たしているのか、大まかなイメージをつかむために、技術的な詳細を省いた大まかな定義から始めましょう。パープレキシティに関するより詳しい背景情報については、この2分間の解説記事が非常に参考になりました。

「パープレクシティ」とは、特定の言語モデルやLLMの観点から見たとき、テキスト中の各単語がいかに予期せぬ、あるいは驚くべきものであるかを示す指標である。

例えば、ここに2つの文があります。説明のために、それぞれの文の最後の単語に注目してみましょう。最初の例では、最後の単語のパープレキシティは低いですが、2番目の例では、最後の単語のパープレキシティは高くなっています。

低パープレキシティ：

今日の昼食は、*スープ*を一杯食べました。

高いパープレキシティ：

今日の昼食は、*クモ*を一皿食べました。

2文目のパープレクシティが高い理由は、言語モデルが学習データセットの中で、人がクモの入った丼を食べているような例を目にすることは極めて稀であるためです。そのため、文の末尾が「スープ」や「サンドイッチ」、「サラダ」といった言葉ではなく「クモ」で終わっていることに、言語モデルは非常に驚いてしまうのです。

「perplexity」という単語は、「perplexed」（「混乱した」や「困惑した」という意味）と同じ語源を持っています。perplexityを、言語モデルが抱く混乱と捉えると理解しやすくなります。つまり、言語モデルが、学習過程で読み込み、吸収してきた内容とは異なる、見慣れないものや予期せぬものに出会ったとき、その補完結果によって言語モデルが混乱したり、戸惑ったりしていると考えることができるのです。

なるほど、では「バースト性」についてはどうでしょうか？バースト性とは、文書全体を通じてパープレキシティが変化する度合いのことです。もし文書の中に意外な単語やフレーズが散りばめられている場合、その文書はバースト性が高いと言えます。

パープレキシティおよびバースト性に基づく検出器は、どのように機能するのでしょうか？

残念ながら、市販の検出器（Pangramを除く）の多くは、その手法について明確に開示していませんが、説明文から推測するに、人間が作成したテキストはAI生成テキストに比べてパープレクシティが高く、バースト性も高いとみなされており、一方、AI生成テキストはパープレクシティが低く、バースト性も低いとされています。

その可視化結果を以下に示します！HuggingfaceからGPT-2モデルをダウンロードし、2つの文書に含まれるすべてのテキストについてパープレキシティを算出しました。1つは人間によるレストランのレビュー、もう1つはAIが生成したレビューです。その後、パープレキシティの低いテキストを青色で、高いテキストを赤色で強調表示しました。

AIと人間が作成したテキストを比較した複雑さの可視化

ご覧の通り、AIが生成したテキストは全体が濃い青色で、パープレクシティ値が全体的に低いことを示しています。一方、人間が生成したテキストは大部分が青色ですが、所々に赤い部分が見られます。これこそが、我々が言うところの「高いバースト性」です。

この考え方が、パープレクシティ検出器やバースト性検出器の開発のきっかけとなっています。初期の商用AI検出器の一部がこの考え方に基づいているだけでなく、DetectGPTやBinocularsといった学術論文の発表にもつながっています。

公平を期すならば、これらの「パープレクシティ」や「バースト性」の検出器は、確かに時として機能することはあります！しかし、私たちは、不正確さが許されない重要な場面――例えば、誤検知が教師と生徒の間の信頼関係を損なう恐れがある教室のような場所や、さらに悪い場合には、法廷で不正確な証拠を生み出す可能性のある場面――において、これらの手法が確実に機能するとは考えていません。

欠点その1：トレーニングセット内のテキストが誤ってAIとして分類される

LLMの構築プロセスに詳しくない方のために説明すると、LLMをチャットボットとして展開・利用できるようになるには、まず「トレーニング」と呼ばれる手順を経る必要があります。トレーニング中、言語モデルは数十億ものテキストを学習し、いわゆる「トレーニングセット」に含まれるテキストの根底にある言語的パターンを習得します。

トレーニング手順の詳細な技術的側面については、本ブログ記事の範疇外ですが、重要な点は、最適化プロセスにおいて、LLMがトレーニングセットの文書に対するパープレキシティを最小化するように直接的に動機付けられているということです！言い換えれば、モデルはトレーニング過程で繰り返し目にするテキストのパープレキシティを、可能な限り低くすべきであることを、時間をかけて学習していくのです。

なぜそれが問題なのですか？

モデルはトレーニングセットの文書を低パープレクシティにするよう指示されているため、パープレクシティ検出器やバースト性検出器は、たとえトレーニングセットの文書が実際には人間によって書かれたものであったとしても、一般的なトレーニングセットの文書をAIによるものと分類してしまうのです！

だからこそ、パープレキシティに基づくAI検出器は『独立宣言』をAI生成物として分類してしまうのです。なぜなら、『独立宣言』は数え切れないほどの教科書やウェブ上の記事で引用されてきた有名な歴史的文書であるため、AIの学習データセットに……非常に頻繁に登場してしまうからです。 また、トレーニング中にこのテキストが毎回まったく同じ形で提示されるため、モデルは『独立宣言』を目にした際にその内容を記憶し、すべてのトークンに非常に低いパープレキシティを自動的に割り当ててしまうのです。その結果、バースト性も極めて低くなってしまいます。

先ほどと同じ可視化処理を『独立宣言』に対して実行したところ、同様のAIの特徴が見られました。つまり、全体を通して濃く一貫した青色を示しており、これはすべての単語のパープレキシティが低いことを示しています。パープレキシティとバースト性を基にした検出器の観点から見ると、『独立宣言』はAI生成コンテンツと全く見分けがつかないのです。

興味深いことに、独立宣言の最初の文は、他の部分に比べて青色がさらに濃く、パープレクシティも低いことがわかります。これは、最初の文がこの文章の中で圧倒的に多く複製されており、GPT-2の学習データセットにも最も頻繁に登場しているためです。

『独立宣言』のパープレクシティ可視化

同様に、LLMのトレーニングデータとしてよく用いられる他のソースについても、パープレキシティやバースト性検出器を使用すると、誤検知率が高まることが判明しています。ウィキペディアは、その高品質さと制限の少ないライセンスから、非常に一般的なトレーニングデータセットとなっています。そのため、言語モデルがウィキペディアの記事におけるパープレキシティを低減するよう直接最適化されていることから、AI生成コンテンツであると誤って判定されるケースが極めて多くなっています。

AIが発展し、より高度になるにつれて、この問題は深刻化しています。なぜなら、最新の言語モデルは膨大なデータを必要とするからです。OpenAI、Google、Anthropicのクローラーは、皆さんがこの記事を読んでいるまさに今この瞬間も、インターネット上から猛烈な勢いでデータを収集し、言語モデルのトレーニング用にデータを取り込み続けているのです。 出版社やウェブサイト運営者は、LLMのトレーニングのためにこれらのスクレイパーによるサイトクロールを許可することで、将来的に自社のコンテンツがAI生成物と誤分類される可能性を懸念すべきでしょうか？OpenAIへのデータ提供を検討している企業は、LLMがデータを学習した後に、そのデータがAI生成物として誤判定されるリスクを慎重に検討すべきでしょうか？私たちは、これを全く容認できない失敗事例であり、しかも時間が経つにつれて悪化している問題だと考えています。

欠点その2：言語モデルによって、パープレクシティとバースト性は異なる

検出の指標としてパープレキシティやバースト性を用いる際のもう一つの問題は、これらが特定の言語モデルに依存している点である。例えば、GPTでは想定される結果が、Claudeでは想定されない場合がある。また、新しいモデルが登場すると、そのパープレキシティも異なることになる。

いわゆる「ブラックボックス」型のパープレキシティベースの検出器は、実際のパープレキシティを測定するために言語モデルを選択する必要があります。しかし、その言語モデルのパープレキシティが生成モデルのパープレキシティと異なると、結果が著しく不正確になり、この問題は新しいモデルがリリースされるたびにさらに深刻化します。

欠点その3：商用モデルは必ずしもパープレクシティを明らかにするとは限らない

クローズドソースのプロバイダーは、必ずしも各トークンの確率を提供しているわけではないため、ChatGPT、Gemini、Claudeといったクローズドソースの商用モデルについては、パープレキシティを計算することさえできません。せいぜい、オープンソースのモデルを使ってパープレキシティを測定することはできますが、それには「欠点2」と同じ問題が生じます。

欠点その4：英語が母語でない人（ESL）によるテキストが、誤ってAIによるものと分類されてしまう

2023年にスタンフォード大学が91編のTOEFLエッセイを対象に行った研究を裏付けとして、AIによる検出が非ネイティブ英語話者に対して偏りを持っているという指摘がなされています。Pangramでは、非ネイティブ英語のテキストを幅広くベンチマークし、それをトレーニングセットに組み込むことで、モデルがそれらを認識・検出できるようにしていますが、パープレキシティに基づく検出器は、非ネイティブ英語のテキストに対して確かに偽陽性率が高くなっています。

その理由は、英語学習者が書くテキストは、一般的にパープレクシティが低く、バースト性も低いからです。これは偶然ではないと私たちは考えています。これは、言語学習の過程において、学習者の語彙が著しく限られていることに加え、言語モデルにとって通常とは異なる、あるいは驚き度の高い複雑な文構造を形成することができないためです。 我々は、言語的に正しいまま、かつ高いパープレキシティとバースト性を備えた文章を書くことを習得することは、言語の経験から得られる高度な言語スキルであると主張する。

英語が母語でない学生、ひいては神経多様性を持つ学生や障がいのある学生は、困惑を検知するAI検出ツールに引っかかりやすいと考えられます。

欠点その5：パープレクシティに基づく検出器は、反復的な自己改善ができない

私たちが、パープレキシティベースの検出器の最大の欠点だと考えている点、そしてパングラムが代わりにディープラーニングベースのアプローチを採用した理由は、こうしたパープレキシティベースの検出器には、データや計算規模の拡大に伴い自己改善する能力がないという点です。

これはどういうことでしょうか？Pangramは、当社のアクティブラーニングアルゴリズムを通じて人間のテキストに関する経験を積むにつれて、徐々に精度が向上していきます。こうして、誤検知率は2％から1％、さらに0.1％へと低下し、現在では0.01％にまで達しています。一方、パープレクシティに基づく検出器は、より多くのデータを学習しても精度を向上させることはできません。

参考資料および関連文献

• 「DetectGPT: 確率曲率を用いたゼロショット機械生成テキスト検出」は、絶対的なパープレキシティ値ではなく、局所的なパープレキシティの分布を分析することで、人間による文章とAIによる文章を区別する手法を提案した論文である。

• 双眼鏡でLLMを見つける：『機械生成テキストのゼロショット検出』では、「クロス・パープレキシティ」と呼ばれる新しい指標を用いて、基本的なパープレキシティ検出手法を改良している。

• Pangramの技術ホワイトペーパーでは、ディープアクティブラーニングに基づくAI生成テキストの検出に関する当社の代替ソリューションについて、さらに詳しく解説しています。

結論

AI生成文章と相関する統計量を算出することと、AI生成文章を確実に検出できる実運用レベルのシステムを構築することには、大きな違いがあります。パープレキシティに基づく検出器は、人間の文章を「人間らしい」ものにし、AIの文章を「AIらしい」ものにする重要な側面を捉えてはいますが、本記事で述べた理由により、実運用アプリケーションにおいて誤検知率を十分に低く抑えつつ、AI生成文章を確実に検出するためにパープレキシティに基づく検出器を使用することはできません。

教育のような、誤検知の回避が極めて重要な分野においては、パープレクシティやバースト性といった指標に基づく手法から、ディープラーニングに基づく手法へと研究の焦点が移っていくことを期待している。

Pangramが、AI生成テキストの検出においてパープレキシティやバースト性を採用せず、代わりに拡張性に優れた信頼性の高い手法に注力している理由について、本記事が少しでも理解の一助となれば幸いです。

Pangramは、統計的なヒューリスティック手法の代わりにディープラーニングを採用しています。実運用レベルの精度を誇る当社のAIコンテンツ検出ツールをぜひお試しください。