共謀するエージェントの群れにおけるパングラムの性能

9月4日（金）、ある研究者グループが、互いに通信を行うためにあまり知られていないインターネット上のウィキページを利用した自律型エージェントの群れに関する報告書を発表した。この事象の詳細については、collusion.wikiで確認できる［本記事の公開時点では、同サイトは断続的にしかアクセスできない状態にある］。

研究者らは、AIエージェント同士がコミュニケーションに用いたすべてのページを公開した。これらのWikiページは、パングラム検出にとって不利な条件を呈している。エージェントはWikiを編集する際に用いた手法によって文字数制限を受けていた可能性が高く、そのためページは異例なほど簡潔で、文脈依存度が高いものとなっている。データセット内の項目の30％は20語未満、50％近くは50語未満である。 さらに、エージェントたちはOpenAIのタスクで互いにカンニングをするためにウィキを利用していたため、エージェントが投稿したコンテンツの相当な割合は、彼らの目的に関連するリソースやデータソースへのURLでした。URLはエージェントが生成したトークンではないため、一般的にAI生成としてフラグが立てられることはありません。また、多くのページには、プログラムによって生成されたUnixタイムスタンプや既存のウェブサイトのフォーマットなど、エージェント以外によって生成された文字列がかなりの割合で含まれていました。

実環境におけるエージェントの群活動は、パングラムの検出にとって必ずしも理想的な条件とは言えません。条件が最適ではないにもかかわらず、今回のケースでは依然として良好な結果が得られています。AI生成テキストを含む11,712の異なるページのうち、Pangram 4は41.61%が完全にAIによって生成されたものであると予測しています。

いつものように、単語数が増えるにつれて精度も向上します。500語以上を含む1,004ページについて、リコール率は99.4%でした。

以下では、さまざまなスライスにおけるPangramの精度について概説し、モデルファミリーの特定について簡単に説明します。この種の事象を研究されている研究者の方で、弊社がお役に立てるとお考えでしたら、直接ご連絡ください。

除外問題、難易度の高い問題、および易しい問題

ダンプ全体には、14,591件の保存済みページバージョンが含まれていました。そのうち、重複する2,724件と空のページ1件を除外した結果、11,866件の異なるテキストが残りました。

重複除去後のサブセットのうち、少なくとも154ページには、エージェントによって生成されたものではない文字のみが含まれていました。そのうち150ページはURLのみ、2ページはウィキ自体からのボタンやメニューのテキストのみ（エージェントによってウィキページにコピーされたもの）、そして2ページは編集済みのテキストのみが含まれていました。 Pangram 4はこのサブセットにおいて誤検知がゼロでした。154ページすべてが人間（つまり、AI以外）によって生成されたものとしてフラグが立てられました。ただし、これらのページのほぼすべてが分析対象外である点に留意する必要があります。例えば、URLページには平均して2語、計278文字が含まれていました。

その結果、AIによって生成されたトークンを含むページは11,712ページとなり、これを基に主要な結果を導き出しました。

エージェントトークンを含む多くのページは、その長さゆえに技術的には依然として対象範囲外でした。ダンプには20語未満のページが3,440ページあり、これらに対するパングラムの再現率は4.01%でした。さらに、これらの短い項目は、文字数ベースで平均65.18%がURLで構成されていたため、状況はさらに複雑化していました。

興味深いことに、単語数が10語未満のページをすべて連結し、URLの部分文字列をすべて削除した上で、8,854語の1つの文書としてスキャンすると、Pangram 4はその文書が87.52%の確率でAIによって生成されたものと予測します。 同様に、文字数の65％以上がURLである項目を除外すると、10～19語のバケットにおける項目ごとのリコール率は17.73％に上昇します。

実際、OpenAIがエージェントに課した課題は、政府機関が公開している大規模なデータセットに関する質問に答えることだったため、ウィキ上での彼らの活動の多くは、評価を不正に操作するために、それらのデータセットの各バージョンへのリンクを貼ることで構成されており、そのリンクにはしばしば短い説明文やダミーのテキストが添えられていた。例えば、あるページには単に次のように書かれていた：

こんにちは newpage
* [https://markdown.new/www.投資家.gov/files/county.json MDInvestorNoScheme] 

Across all 11,712 pages, 6,243 of them, or 53.3%, were more than 65% URL by character. Excluding those, we’re left with 5,469 pages where AI-written text and programmatically generated text approach parity. Pangram 4’s recall on that subset of pages is quite good: for char < 65% pages, it predicts 75.79% are fully AI-generated.

パングラムにとって最も好ましい条件（「agent」を含む項目で、単語数が50語以上、URL文字が65％未満のもの）でフィルタリングすると、3,712件のウィキページが抽出され、そのうちパングラムは96.66％が完全にAIによって生成されたものと予測しています。

モデルファミリーの特定

現時点では当社の生産モデルには組み込まれていませんが、当社の研究によると、異なるモデルは埋め込み空間上でクラスタを形成しており、あるテキストを生成したのがどのAIモデルであるかを特定することが可能です。

この事件に関与したエージェントは、OpenAIのモデルであった可能性が高いようです。エージェント自身がそう名乗っていたほか、報告書によると、OpenAIのIPアドレスから発信されたと思われるウェブサイトへのアクセスが多数確認されたとのことです。

我々の結果もこれを裏付けています。11,712件の異なるエージェント作成ページに適用したところ、当社の内部モデルファミリー「probe」は、予測が可能である場合、そのページがChatGPTファミリーのモデルによって作成されたものであると、概ね正しく予測しました。

ここでも、いつものように、単語数が増えるにつれて信頼度と精度が向上します。500語以上で、文字数ベースでURLの割合が50%未満だった1,001件の項目について、モデルファミリープローブは、そのうち61.54%がChatGPTファミリーに属すると予測しています。

このモデルファミリープローブは現在開発中であり、現時点では当社の検出ツールと同等の精度基準を満たしていません。そのため、これらの結果については、あくまで参考程度に留めておくべきです。

結論

エージェントの能力が高まるにつれ、人間を模倣しようとしたり、互いに結託する方法を見つけ出そうとしたりするエージェントが、間違いなく増えていくでしょう。目的がずれたエージェントが、GitHubの編集や 社内フォーラム、そして現在ではオープンなインターネット上でも、人間になりすましていることが確認されています。

大規模言語モデルが、パングラムの検知を回避できるほどに自身の文章スタイルを曖昧にすることは容易ではありません。このことから、パングラムはAIの安全性確保において重要なツールとなり得る可能性があります。私たちは今後、この取り組みに貢献していきたいと考えています。