パングラム・テキストの更新：GPT-4o、Claude 3、LLaMA 3

写真提供：Google DeepMind。

本日、市場に登場する新しいLLMに迅速に対応できる当社の技術力を皆様にご紹介できることを嬉しく思います。今回リリースしたモデルのアップデートにより、GPT-4o、Claude 3、LLaMA 3で生成されたAIテキストを、ほぼ完璧な精度で検出できるようになりました。

要約：

• GPT-4o、Claude 3、およびLLaMA 3でのパフォーマンスを向上させた「Pangram Text」の新バージョンをリリースしました。
• 当社のインフラストラクチャ・パイプラインは、新しいモデルが一般公開され次第、そこから大量のAIテキストを迅速に取り込めるよう構築されています。
• これらの新しいモデルの性能がすべてGPT-4レベルに近づいてくるにつれ、表現のスタイルもすべて似通ってきていることがわかります。

結果

今回リリースした最新モデルは、トレーニングセットに新しいモデルの例が一切含まれていないにもかかわらず、それらの出力をかなり正確に検出することができました。しかし、私たちは単に「かなり正確」というレベルに満足しているわけではありません。AIによる検出技術の可能性の限界を常に押し広げ、お客様のために可能な限り最高の精度を実現していきたいと考えています。

次世代言語モデルに対する当社の性能を検証するため、分類が困難な人間によるテキストと、複数の言語モデルから生成されたAIテキストの25,000件からなる評価セットを一新しました。この新しい評価セットの約40%は、GPT-4o、Claude 3、LLaMA 3によって生成された多種多様なAIテキストで構成されており、ニュース、レビュー、教育など、幅広い分野のテキストを網羅しています。

利用可能な場合は、新モデルのすべてのバージョンを使用します。例えば、Claude 3のOpus、Sonnet、Haikuの各バージョンから均等にサンプリングします。

最新のLLMを組み込むようトレーニングデータセットを更新した結果、最新世代の言語モデルによって生成されたテキストに対して、再びほぼ完璧な精度を達成できていることがわかりました。

新型モデルにおける性能の向上に加え、最新世代のモデルからの学習データを取り入れることで、いくつかの旧型モデルにおいても、実際にはわずかながら性能が向上することがわかりました。

我々の分析によると、従来のモデル評価セットにおいて性能の低下は見られない一方で、GPT-3.5および（通常の）GPT-4の検出精度については、いくつかのケースで実際に改善が見られた。具体的には、従来モデルでは検出に失敗していたGPT-3.5のケース8件が現在では検出に成功しており、同様にGPT-4のケース13件も検出に成功していることが確認された。 以上のことから、GPT-4o、Claude 3、およびLLaMA 3を検出する能力が向上したとしても、それにより旧モデルの検出能力が低下することはない、と結論づけられる。

時代の先を行く

私たちは当初から、LLMの最先端技術が急速に変化していくことを認識していたため、その点を踏まえてシステムアーキテクチャを設計しました。当社のシステムは、新しいAPIが一般公開されてから数時間以内にデータを再生成し、新しいモデルのトレーニングを開始できるよう構築されています。

新しいモデルがリリースされた際、新しいデータセットを生成し、モデルを再学習させるのは、設定を変更するだけの簡単な作業です。当社では、LLMに入力することで、データセットの人間側と完全に同一ではないものの、それに近い人間らしいテキストを生成するように設計された、プロンプトテンプレートの標準ライブラリを用意しています。この「合成ミラーを用いたハードネガティブマイニング（Hard Negative Mining with Synthetic Mirrors）」と呼ばれるプロセスについては、当社の技術レポートで詳しく解説しています。

この新型モデルの発売スケジュールは以下の通りでした：

5月13日：GPT-4oがリリースされ、OpenAI APIで利用可能になりました。 5月14日：データセットのパイプラインが更新され、新しいトレーニングセットと評価セットが作成されました。 5月15日～16日：新しいデータセットを使用して、AI検出モデルのトレーニングが行われました。 5月17日：QAおよびサニティチェックが実施され、モデルがリリースされました。

私たちが構築したインフラにより、新しいモデルのテキストをわずか1週間で本番環境の検知システムに組み込むなど、迅速な対応が可能となっています。

限界効用の逓減？

新型モデルがますます高性能になるにつれ、その検出も難しくなるはずですよね？　この説得力はあるものの、結局のところ誤ったこの主張を裏付ける証拠は、いまだに見つかっていません。

観察の結果、性能の高いモデルほど独自のスタイルが際立っているため、実際には性能の低いモデルよりも検出しやすいことが分かってきました。例えば、従来のモデルは、SonnetやHaikuよりもClaude Opusの検出に優れていることが判明しました。

LMSYSのリーダーボードを見ればわかるように、多くの基盤モデルがGPT-4の水準に漸近的に収束しつつあるものの、現時点ではまだ、GPT-4を圧倒的な差で上回るモデルは現れていません。 状況を俯瞰してみると、いくつかの基盤モデル企業が同じアテンションベースのアーキテクチャを採用し、インターネット全体を学習データとして用いた場合、すべてのモデルから生成される言語が互いに驚くほど似通ったものになってしまうのは当然のことです。言語モデルを日常的に利用している方なら、この意味をすぐに理解していただけるでしょう。

観察レベルで見ると、意見文やレビュー、創作短編小説など、創造的かつ独創的な文章の作成を求められた際、LLMが依然として想像力に欠け、味気ない駄文を生成してしまうことが確認されています。これは根本的に、分布外にある独自の思考やアイデアを避けつつ、完成確率の高い文を予測するという最適化目標の性質に起因するものだと考えています。

私たちが他者のオリジナルな文章を重視するのは、それがありふれた言葉だからではなく、新たな視点や異なる考え方を提示してくれる可能性があるからです。この価値が失われない限り、AIによる検出の必要性は常に存在し、その課題を解決する道筋も常に見出されるでしょう。