写真：ヴァレンティン・アントヌッチ
当社の主力AI検出モデル「Pangram Text」の大幅なアップデートを発表できることを嬉しく思います。Pangram Textは、英語と同様に業界トップクラスの精度で、スペイン語、フランス語、イタリア語、ポルトガル語、ドイツ語、ロシア語、中国語（北京語）で生成されたAIテキストを検出できるようになりました。オンラインプラットフォームをAIスパムから守るため、この新しい多言語モデルを直ちに導入していきます。
ベンチマーク
当モデルの非英語圏言語における精度を検証するため、異なる分野から収集した3つの大規模かつ多様な多言語コーパス、すなわちAmazonの多言語レビュー、ウィキペディア、およびXLSum（BBC News International）を使用する。
ベンチマークの人間側では、サニティチェックのフィルターを通過した文書をランダムにサンプリングします。AI側では、GPT-3.5、GPT-4、およびGPT-4oを組み合わせて使用します。まず、LLMに対して実際の文書の要約を作成させます（例：「このレビューはどのような内容ですか？」）。次に、その要約をもとにレビュー、記事、またはニュース記事を作成させます。 このようにベンチマークを生成することで、ラベルノイズの可能性を排除できるだけでなく、人間とAIのデータ分布を可能な限り互いに類似したものに保つことができます。
| 言語 | Amazonのレビューの正確性 | ウィキペディアの正確性 | XLSum（BBCニュース）の精度 |
|---|---|---|---|
| スペイン語 | 99.59% | 99.75% | 99.75% |
| フランス語 | 98.84% | 99.33% | 98.50% |
| イタリア語 | 該当なし | 99.82% | 該当なし |
| ドイツ語 | 99.44% | 99.95% | 該当なし |
| ポルトガル語 | 該当なし | 99.83% | 99.70% |
| ロシア語 | 該当なし | 98.34% | 99.35% |
| 中国語 | 99.70% | 99.54% | 98.10% |
よくある質問
- これらの言語に対応するために、モデルをどのように更新したのですか？
当モデルは、現代の大規模言語モデルと同様のアーキテクチャに基づいているため、AI検出ヘッドの微調整を行う前に、バックボーンを大規模な多言語コーパスで学習させるべく、大規模な事前学習を採用しています。また、ロシア語や中国語を含む多数の言語に対応したトークナイザーも使用しています。
- なぜ、これらの言語を選んだのですか？
私たちは、インターネット上で使用されている言語の大部分を占める言語を選定しました。
- サポートされていない言語でテキストを送信するとどうなりますか？
入力テキストの言語を判別するために、Amazon Comprehendを使用しています。対応していない言語の場合、予測結果として「Unsupported Language」を返します。
- このモデルは、時間の経過とともに改善していくのでしょうか？
はい、アクティブラーニングを用いて多言語データセットの拡充を進めていく中で、今後、英語以外の言語におけるパフォーマンスが向上したアップデートをリリースする予定です。
- 他の言語はどうですか？
今後、さらに多くの言語に対応していく予定です。対応してほしい言語がございましたら、ぜひお知らせください！
多言語AI検出に関する詳細については、info@pangram.comまでお問い合わせください。
ブラッドリーはAI研究者であり、産業界におけるディープラーニング製品の構築の専門家です。最近では、生成AIを活用した創薬企業であるAbsciでディープラーニング研究グループを率いており、それ以前はテスラのオートパイロット部門におけるコアコンピュータビジョンチームのメンバーでした。
大学院生時代、ブラッドリーはスタンフォード・ビジョン・ラボに所属し、ディープラーニング研究に関する複数の論文を発表しました。スタンフォード大学で物理学の学士号と人工知能の修士号を取得しています。AI以外にも、教育や哲学に関心を持ち、熱心なゴルファーでもあります。
を購読して、最新情報を受け取りましょう
