PangramはMetaのLlama 4を検出しますか？

はじめに

本日、Meta AIが提供するオープンソースモデルシリーズの最新作「Llama 4」がリリースされました。Pangramが依然として最新かつ最先端のオープンソースモデルを検出できるかどうかを確認するため、当モデルが現在Llama 2および3の出力データのみで学習されているにもかかわらず、Llama 4に対しても汎化能力を発揮するかどうかを検証する簡易テストを実施しました。

AI検出ツールは、新しいモデルの登場ペースについていけるのか？

「新モデルの登場ペースにどれだけ追いつけているのか」という質問をよく受けますが、だからこそ、再トレーニングを行う前に、発売初日にいち早くテストを行っているのです。

パングラムの検証

今回のスポットチェックでは、GPT 4.5のテストに使用したものと同じ11のプロンプトを採用しました。これらのプロンプトは、日常的なライティングタスクの幅広い範囲を網羅していますが、モデルを学習させたプロンプトとは直接的な関連性はありません。また、これらのプロンプトにはある程度の創造性が求められるため、前世代のLLMから大幅な進歩を遂げたモデルであれば、質的に異なる挙動を示すと私たちは考えています。

以下が、私たちが使用したプロンプトです：

1. ペルーにおけるコアラの保護活動について、300語程度のエッセイを書いてください
2. 私の新聞でのリベラル寄りの論説を終了することについて、私のチームに説明するメールを作成してください。差出人を「アーガイル・J・バギンズ」とし、宛先を「ワシントン・モスト」のスタッフ宛としてください。
3. 世界初の常温半導体（今回はマジで）を発表する400語の要約を書いてください。必要に応じて、名前や研究所名はでっち上げてください
4. 小学生の視点から、学校での制服着用を義務化すべきではないという説得力のある小論文を書きなさい
5. 詩や窓の外の蝶に興味を持つ12歳の少女が、複雑な心境を綴った日記を書いてください
6. メリーランド州ボルチモアにある『アラビアン・ナイト』をテーマにした脱出ゲームについて、ロバートという名のスタッフが担当し、セットデザインが素晴らしいという点を踏まえて、詳細なレビューを書いてください
7. ロシア発のアンダーグラウンド・インディーズ映画のヒット作の監督が、制裁下にあってもコンペティションへの参加を認めてほしいと、アカデミー賞の幹部たちに懇願する説得力のあるメールを作成してください。必要であれば、詳細を創作しても構いません
8. 小説の一場面として、若者の主人公たちが、意図的に失敗するように設計されたNASAのシミュレーションの中で、火星用の装甲航空機を着陸させようと苦闘する様子を描いた創作小説を書きなさい
9. ニューヨークの金融業界で働く金欠の男が、フロリダのUberドライバーに遠隔で懇願し、ハリケーン被害を受けやすい安アパートから自分のコモドオオトカゲを救い出してもらうという映画のシーンの脚本を書いてください
10. ハロウィンの夜、仮装をした若いカップルが別れる様子を描いた詩を書いてください。ユーモアを交えて、200語以内で。
11. ヴェネツィアを舞台に、危うく揺れ動く貴重な絵画を追って、ホバーバイクによる追跡劇を描く創作小説を書いてください

結果

このケースでは、Pangramは満点でテストに合格しました！11件の文章サンプルすべてをAI生成であると予測できただけでなく、その確信度も100%でした。（モデルが100%と予測した場合でも、実際には100%確実であることは決してないことを示すため、UI上では常に99.9%に切り捨てて表示しています。）

出力結果の全文はこちらでご覧いただけます。

Together API を使用した大規模なサンプルサイズの評価

標準的な評価プロンプト方式を用い、推論にはTogether APIを活用して、学術論文、創作、Q&A、科学論文など、多岐にわたる分野を網羅した約7,000件の例からなる大規模なテストセットを作成しました。

以下は、より大規模なテストセットでの結果です。

結論

なぜPangramは新しいモデルへの汎化性能がこれほど優れているのでしょうか？その理由は、基盤となるデータセットとアクティブラーニングの手法の強みに加え、幅広いプロンプティングおよびサンプリング戦略にあると考えています。これらにより、Pangramは多種多様なAI生成テキストを学習しており、その結果、新しい形式にも非常にうまく適応できるようになっているのです。

当社の研究に関する詳細や、Llama 4で当社のモデルをお試しいただける無料クレジットについてご興味をお持ちの方は、info@pangram.com までお問い合わせください。