AI識別機能の発表：PangramはさまざまなLLMを区別することができます

Pangramは、ChatGPT、Claude、Geminiなどが生成したAIテキストを検出し、AIによるテキストと人間が書いたテキストを見分ける分野で業界をリードするソフトウェアです。

今回、私たちはさらに一歩前進し、AI生成コンテンツを検出するだけでなく、そのテキストがどのLLMによって生成されたかを特定できる高度なモデルをリリースします。この新技術を、私たちは「AI Identification」と呼んでいます。

AIによる識別

直感的に、人々はさまざまなLLMがそれぞれ異なる文章スタイルを持っていることに気づき始めています。例えば、ChatGPTはかなり率直でストレートな表現で知られ、Claudeはより流暢で会話調な表現で知られ、Grokは検閲がなく挑発的な表現で知られ、Deepseek-R1はとりとめがなく冗長な表現で知られるようになってきています。

グラハム・ノイビッグは、さまざまなLLMの文体の傾向を皮肉っている

イーサン・モリックは、クロード・ソネットの気さくな人柄について思いを巡らせている。

カリフォルニア大学バークレー校のリサ・ダンラップ氏らによる最近の研究では、さまざまなLLMの質的な違い（あるいは、平たく言えば「雰囲気」）が検証された。その結果、「LlamaはGPTやClaudeに比べて、よりユーモアがあり、書式設定を多用し、より多くの例を提示し、倫理に関する言及がはるかに少ない」など、多くの興味深い事実が明らかになった。 このことは、モデルの性能が必ずしも人間の好みに合致するわけではないことを示唆しています。GPT-4やClaude-3.5はLlamaシリーズよりも高度なモデルですが、同じプロンプトへの回答に対する好みを基にした、クラウドソーシングによるEloレーティング方式のLLMランキング「Chatbot Arena」では、Llamaは常にその実力以上の活躍を見せているようです。 Chatbot Arenaで好成績を収めるモデルは、より賢く能力が高いのでしょうか。それとも、単に人間の心理を巧みに利用し、より「好感を持たれる」ように振る舞っているだけなのでしょうか。また、他のモデルよりも有用で好感を持たれるモデルが存在しますが、博士レベルの推論問題を解く能力が多少劣っていたとしても、それは本当に重要なことなのでしょうか。これらは研究に値する問いであり、従来のモデル評価と比較してChatbot Arenaのようなシステムの有用性を理解する上で重要な問いです。

パングラムでは、私たちのモデルがこうした特徴を利用して、これらのLLMを識別し、互いに区別できるかどうかを検討しました。

パングラムのAI識別システム

AI生成テキストと人間が書いたテキストを区別するように基本のAI検出モデルを訓練するのと同様に、我々はマルチタスク学習と呼ばれる手法を用いて、同じ検出モデルにAIの特定を行わせるよう訓練も行っています。具体的には、広範な実験を通じて特定した9つのファミリーに、様々な言語モデルを分類しています。

家族は以下の通りです：

1. GPT-3.5
2. GPT-4（GPT-4o、GPT-4-turbo、およびGPT-4o-miniを含む）
3. OpenAIの推論モデル
4. クロード
5. Google（Geminiの全バリエーションおよびGemmaを含む）
6. グロク
7. DeepSeek
8. Amazon Nova
9. その他（LLaMA、Mistral、Qwen、およびこれらモデルのその他のオープンソース派生モデルを含む）

実際にこれを実現するには、ニューラルネットワークに「ヘッド」をもう1つ追加します。AI検出タスクの学習を行う際、モデルラベルをネットワークに渡すことで、AI識別タスクの学習も同時に行い、検出予測だけでなくAI識別における誤差についてもバックプロパゲーションを行います。

画像出典：GeeksForGeeks

モデルのレイヤーのほぼすべてが2つのタスクで共有されており、最終的な予測レイヤーのみが分離されています。

マルチタスク学習において、あるタスクは一緒に学習すると互いに助け合う一方、あるタスクは互いに悪影響を及ぼし合うことが分かっています。 生物学において、これと似た概念として「共生」と「寄生」がある。例えば、イソギンチャクに生息するカクレクマノミは共生の例である。カクレクマノミはイソギンチャクを害する捕食者を餌とする一方で、イソギンチャクの中に身を隠して擬態することで、自身の天敵から身を守っている。

我々の分析によると、LLM識別タスクを追加することは、LLM検出タスクと相乗効果をもたらすことが分かりました。つまり、AI生成テキストを検出するだけでなく、そのテキストがどのモデルから生成されたかを特定するようモデルに指示することは、AIの検出能力を全体的に高めるのに役立ちます。他の研究者らも、様々なLLMが人間のテキストと区別できるだけでなく、LLM同士でも区別可能であることを確認しています。

埋め込み（エンベディング）とは、テキストを数値ベクトルとして表現したものです。埋め込みの個々の値は単独では意味を持ちませんが、2つの埋め込みが互いに近接している場合、それらは意味が似ているか、あるいは文体が似ていることを意味します。UMAPと呼ばれる手法を用いることで、非常に高次元である埋め込みを2次元空間上で可視化することができます。 著者らは、人間とLLMによって書かれた文書をスタイル埋め込みに変換すると、上の画像に見られるように、同じLLMに対応するすべての文書が埋め込み空間上で分離可能であることを発見しました！これは、全体として、同じLLMによって書かれた文書は、異なるLLMによって書かれた文書や、LLMと人間によって書かれた文書よりも、スタイルが近いことを意味します。

この結果により、ソースとなるLLMを特定できる分類器の実現可能性について確信が持てた。

AIの識別精度

当社のモデルは、AIが生成したテキストがどのLLMファミリーに由来するかを93%の精度で特定できます。 以下は混同マトリックスです。これは、当モデルが各LLMファミリーを正しく識別した頻度（対角線のセル）と、あるLLMを別のLLMと混同した頻度（対角線以外のセル）を示しています。色が濃いほど、そのセルに該当する予測が多くなります。完璧なモデルであれば、対角線上のセルのみが濃い色で、それ以外のセルはすべて白になります。

私たちの混同マトリックスについて、いくつか興味深い点があります：

• モデルファミリー間では、混同されるケースがより頻繁に見られます。例えば、GPT-4はOpenAIの推論モデルシリーズとよく混同されます。これは理にかなっています。というのも、GPT-4はOpenAIの推論モデルの構成要素、あるいはその出発点となっている可能性が高いからです！

• このモデルは、特定のLLMを特定するよりも、「その他」と判定する頻度が高い。これは、モデルが確信を持てない場合、特定のLLMを特定するよりも、「その他」と判定する傾向が強いことを示している。

LLM分類器は完璧ではありませんが、多くの場合正確です。そして最も重要なのは、LLM分類器が誤った判断を下す場合でも、特定のAIシステムを他のAIシステムと混同することはあっても、AIシステムの出力を本物の人間の文章と混同することはないという点です。

AIによる識別はなぜ重要なのでしょうか？

いくつかの理由から、私たちはAIによる検知にとどまらず、AIによる識別も解決することが重要だと考えました。

• まず、単に「AIによる生成か否か」を判別するよりも難易度の高い、さまざまなLLMの文章スタイルを見分けるようモデルに学習させることは、AI検出器自体の性能向上に役立つと考えています。モデルに通常以上の課題を課すことで、モデルはある意味で高度なスキルや潜在的な知識を獲得し、それがAI生成テキストをより高い精度で検出するための汎化能力の向上につながっているのです。

• 解釈可能性も、LLM分類器の結果を表示したい理由の一つです。私たちは、モデルが内部で実際に何を行っているかを理解しており、単に（他の多くのランダム検出器のように）当てずっぽうで推測しているわけではないという確信を持てるようにしたいと考えています。AIスコアだけでなく、そのテキストがどのLLMから生成されたものかを示すことで、AIの文章スタイルの微妙なニュアンスを理解するモデルの能力に対する信頼を築きたいと考えています。

• 最後に、私たちは時間の経過に伴う傾向を明らかにしたいと考えています。具体的には、実際にどのようなLLMがどの程度の頻度で使用されているのか、学生、詐欺師、プログラマーそれぞれがどのようなLLMを好んで選んでいるのか、といった点です。これらは、今後の研究において解明できると期待される課題です。

結論

当社のAI識別機能をお試しいただき、さまざまなLLMファミリーが持つ固有の特性やスタイルを理解する一助となれば幸いです。詳細については、info@pangram.com までお問い合わせください！