PangramのAI検出ツールは、20以上の言語において優れた性能を発揮しています

2ヶ月前、Pangramは初の多言語AI検出モデルをリリースしました。そして今回、そのアップデートを発表できる運びとなりました！Pangramは現在、インターネット上で利用頻度の高い上位20言語を正式にサポートしており、その他多くの言語でも非公式ながら良好な性能を発揮しています。特にアラビア語、日本語、韓国語、ヒンディー語においては、性能が大幅に向上し、極めて高い精度を実現しています。

結果

公式のトレーニングデータセットでは、各言語につき約2,000件の文書を評価しました。人間が作成したデータには、実際のレビュー、ニュース記事、ウィキペディアの記事が含まれています。AIが作成したデータには、GPT-4oに様々な長さ、スタイル、トピックで執筆させたエッセイ、ニュース記事、ブログ記事が含まれています。

どのような変更を行いましたか？

多言語対応を改善するために実施した主な変更点は以下の通りです：

• インターネット上で使用頻度の高い上位20の言語に焦点を当て、ウェブ規模のデータを用いて能動的学習データキャンペーンを実施しました。

• 非英語圏の言語への対応を強化するため、トークナイザーを変更しました。

• ベースモデルとLoRAアダプターのパラメータ数を増やしました。

• トレーニングの前に、データセットのランダムな一部に対してデータ拡張を適用し、機械翻訳を行いました。

• 単語数のカウントに関するバグを修正しました。このバグにより、トレーニングセットにおいて東アジア言語が意図せず過小評価される問題が発生していました。

アクティブ・ラーニング・キャンペーン

誤検知率が極めて低いモデルを構築する当社のプロセスの根幹をなすのは、アクティブラーニングです。簡単に言えば、2022年以前のインターネット上から、当社のモデルがうまく処理できない例（誤検知など）を抽出し、それらを学習データセットに追加して再学習を行い、このプロセスを繰り返すというものです。このアルゴリズムの詳細については、当社の技術報告書に記載しています。

我々のアクティブラーニング手法をウェブ上の大規模な多言語データセットに適用し、現在のモデルが処理に苦戦している多言語テキストを特定します。そして、このデータと、合成ミラー（発見した誤検知に似たAI生成テキスト）を作成するための大規模なプロンプトライブラリを組み合わせて、反復学習を行います。 インターネット上で使用頻度の高い上位20言語に焦点を当てつつも、データパイプラインから言語フィルタリングのステップを削除します。つまり、あらゆる言語のテキストがハードネガティブの抽出およびトレーニングセットへの組み込みの対象となります。

当社のアクティブラーニングアプローチの利点の一つは、モデルの精度に基づいて言語の分布を自動的に再調整できる点です。リソースの少ない言語はオンライン上で十分に扱われていませんが、このクラスの不均衡により、初期段階ではリソースの少ない言語に対するモデルの性能が低下します。その結果、ハードネガティブマイニングの実行において、あまり一般的ではない言語のテキストがより多く抽出されるようになります。 アクティブラーニングのプロセスを通じて、英語、スペイン語、中国語などのリソース豊富な言語のデータがトレーニングセットにおける割合を徐々に減らし、より希少な言語の割合が増加していくことが確認できます。これは、多言語モデルトレーニングにおける自然なデータの不均衡な分布に対する、比較的洗練された解決策であると考えています。当社のアクティブラーニングアルゴリズムを通じて、モデルは自ら、より多く学習する必要がある言語のデータを選択することができるようになります。

アーキテクチャの変更

入力ドメインにおける多言語テキストをより適切にサポートするため、分類器の構築に使用する基盤LLMが、英語以外の多くの言語にも幅広く精通していることを確認する必要がありました。 そこで、当社のデータセットを用いて複数のLLMバックボーンとトークナイザーを網羅的に評価し、幅広い非英語圏の言語において全般的に最も優れた性能を発揮する組み合わせを特定しました。その結果、多言語ベンチマークでの性能と、当社のAI検出タスクにおけるバックボーンの性能との間には、強い相関関係が見られないことが判明しました。つまり、ベースモデルが他の言語での推論タスクや質問への回答に優れていても、その能力が多言語AI検出へ転移される際の有効性は、極めてばらつきが大きいということです。

また、最初に学習させたモデルは、新しい多言語分布に対して過小適合する傾向があり、当初は学習損失が高くなる傾向が見られました。そこで、ベースモデルのサイズとLoRAアダプターのパラメータ数を増やし、さらに学習ステップ数を増やしてモデルを学習させました。 （我々はアクティブラーニング／高データ環境下にあるため、1エポックを超えるトレーニングを行うことはほとんどありません。今回のケースでは、単にエポックのサイズを拡張するだけで済みました！）

データ拡張

アクティブラーニングを採用したとしても、英語以外の言語のデータは、オンライン上の英語データの多様性や量に比べて著しく乏しく、単にトレーニングセット内の言語分布を再調整するだけでは、この問題を完全に解決することはできません。 端的に言えば、価値のある英語データの中には、他の言語には存在しない、あるいはネイティブな対応語がないものもあるということです。そこで、データセットのごく一部に対して、機械翻訳による拡張をランダムに適用することにしました（今回のケースではAmazon Translateを使用しました）。

LLMのトレーニングにおいて、機械翻訳によるデータ拡張をトレーニングセットに適用することは一般的な手法ではありません。これは、機械翻訳されたデータが不自然であったり、「翻訳語」の傾向が見られたりすることが多いためです。しかし、我々のケースでは、生成モデルをトレーニングしているわけではないため、この手法が出力の品質に影響を与えることはなく、この拡張を適用した結果、評価指標の改善が確認されました。

ベンチマーキング：スペイン語

ここでは、かつてパングラム・テキストによってサポートされていたが、現在は大幅に改善されたリソース豊富な言語の代表的な例として、スペイン語を取り上げる。我々は、様々な分野において誤検知率を測定する。

また、さまざまな大規模言語モデルについて、偽陰性率（AIが生成したテキストが誤って人間によるものと分類される割合）も測定しました。この実験では、LLMがさまざまな長さやスタイルのエッセイ、ブログ記事、ニュース記事を生成するためのプロンプト一覧を作成し、それらをスペイン語に翻訳しました。LLM自体は多言語対応であるため、スペイン語の指示にも応答します。

ご覧の通り、更新されたモデルは、テスト対象となったすべてのLLMにおいて完璧な検出を実現しており、以前のバージョンから大幅に性能が向上しています。

ベンチマーク：アラビア語と日本語

私たちが改善に最も注力した言語のうち2つは、世界中で広く話されているものの、インターネット上では実際にはあまり一般的ではない言語、すなわちアラビア語と日本語です。

これまではこれら2つの言語に対応していなかったため、検出漏れ率が極めて高かった。現在では、AI生成されたアラビア語や日本語についても、非常に高い精度で予測できるようになった。

ご覧の通り、改良したモデルは、アラビア語と日本語の両方において、テスト対象となったすべてのLLMでほぼ完璧な検出精度を達成しており、日本語でのGemini 1.5 Proにおける偽陰性率はわずか0.21%にとどまっています。

言語ベンチマークの完全な結果は、ご要望に応じてご提供いたします。

次は？

ネイティブのウェブテキストでは高い性能を発揮する一方で、当モデルは「翻訳語」――つまり、翻訳が不自然だったり、何らかの理由で不自然に聞こえるテキスト――の検出に苦戦することがあります。さらに厄介なことに、現在では多くの人がChatGPTのようなLLMを翻訳タスクに直接利用しています。LLMで翻訳されたテキストは、人間によるものかAIによるものか、どのように分類すべきでしょうか？それは、翻訳の不自然さの度合いや、下流のアプリケーションにおけるユースケースによって異なります。 スペイン語の教師は、課題で機械翻訳を使用することを学業上の不正行為とみなすかもしれませんが、出版社は品質管理（QA）プロセスを経て翻訳作品を許可したいと考えるかもしれません。Pangramは、翻訳されたテキストを人間とAIの中間に位置する「第3のモダリティ」として理解し、ユーザーにより多くの情報を提供することで、モデルの下流の利用者自身が適切な判断を下せるよう、積極的に取り組んでいます。

ご質問がございましたら、info@pangram.com までお問い合わせください！