パングラム評価の新たな取り組みを求める呼びかけ

PangramのようなAI検出ツールについては、第三者による検証が不可欠であると考えています。現在、当社が実施した第三者評価の中で最も大規模なものはシカゴ大学によるもので、1年以上前にPangram 3を用いて行われました。新しいLLMは絶えずリリースされており、完全にAIで生成された文書と完全に人間が作成した文書を二分法で評価するだけでは、実世界における性能の全容を捉えることはできません。

Pangramに関する、質が高く、完全に独立したベンチマークがさらに必要です。優れたベンチマークは、Pangramの理解と改善に役立つだけでなく、今後数年にわたって世界がAIとどのように関わっていくかを形作る上でも重要な役割を果たすでしょう。

現在、新たな第三者評価を募集しています。私たちが期待する評価の例としては、以下の質問のいずれかに答えようとするものが挙げられます：

• 最新の最先端AIモデルが生成したテキストを、現在の検出器はどの程度正確に検出できるのでしょうか？
• AI検出器は、詳細な調査やエージェント・ハーネス、あるいはAI編集の複数回の反復といった、文脈が複雑な状況において、どのような性能を発揮するのでしょうか？
• 検出器は、複数の著者が関与したテキストに対してどの程度の精度を発揮するのだろうか。この分野の研究では、軽微な文法修正から完全な共著に至るまで、AIによる支援のあらゆる側面を探求することができるだろう。
• AIテキスト検出ツールは、AI音声文字変換プログラムの出力に対してどのような性能を発揮するのでしょうか？また、これらのプログラムはテキストをどの程度変更するのでしょうか？
• AI検出ツールは、異なる言語で書かれたAI生成テキストや人間が書いたテキストに対して、どのような性能を発揮するのでしょうか？
• AI検出器は、さまざまな背景を持つ著者、異なる民族や文化集団に属する著者、あるいは異なるジャンルや種類の文章に対して、どのような性能を発揮するのでしょうか？偏りが見られないという「結果なし」の場合でも、私たちにとっては興味深いものです。
• AI検出ツールは、新たにスキャンされた歴史的文書のような新しい種類のテキストに対して、どの程度の精度を発揮するのでしょうか？
• AI検出ツールは、テクニカルライティング、数式、コード（AIによるものと人間によるものの両方）に対して、どのような性能を発揮するのでしょうか？

私たちがベンチマークに求めるのは、極めてクリーンなデータ、最先端のLLMデータ、そしてほとんどの検出器によってベンチマークが飽和状態にならないほど十分な難易度です。

弊社では、こうした評価に対して研究助成金を喜んで提供いたします。助成対象のテーマが承認された後、当該助成金には出版に関する条件は一切設けておりません。研究者は、その結果がパングラムにとって好ましいものであろうとなかろうと、得られた結果を自由に公表することができます。

研究者の方で、当社のベンチマークテストをご希望の場合は、こちらからお申し込みください。