簡単にまとめると
はい、Pangram 4 は Fable 5.1 を正しく検出しています。1,097 件の Fable 5.1 メッセージを用いたベンチマークにおいて、Pangram 4 はそのうちの 99.64% を正しく検出しました。
Anthropic社が新しいモデル「Fable 5.1」を発表しました。これまでのモデルリリース時と同様に、Pangramがこの最新の最先端モデルを正しく識別できるかどうかを確認するため、ベンチマークテストを実施しました。 1,097件のFable 5.1の出力を対象としたベンチマークの結果、Pangram 4の偽陰性率は0.36%であることが判明しました。言い換えれば、Pangram 4はFable 5.1のメッセージの99.64%を正しく識別したということです。
| メートル法 | 結果 |
|---|---|
| FNR | 4 ÷ 1,097 = 0.36% |
| AIのリコール率 | 99.64% |
教師は『Fable 5.1』の作文を見抜くことができるのでしょうか？
Turnitinなどの他のAI検出ツールは、モデルごとのリリース情報を公開していませんが、学生たちは新しいモデルを試すのを待っていませんし、教師たちも、AIチェッカーが最新のLLMを検出できるかどうかを即座に把握したいと考えています。私たちは2種類のプロンプトを試しました。1つ目は、ごく普通のLLMの出力結果です。
パーソナルコンピュータの歴史についてエッセイを書いてください
このプロンプトに対し、Fable 5.1は、真空管から2007年のiPhone発売に至るまでのコンピュータの変遷をたどった短いエッセイを作成しました。 興味深いことに、このエッセイは1979年の表計算プログラム「VisiCalc」に1段落を割いており、これを「史上最も重要なソフトウェア」と呼んでいる一方で、パーソナルコンピュータの発展にとって明らかに遥かに重要だった、最初の家庭用コンピュータ用プログラミング言語「BASIC」についてはほとんど触れていない。後にパーソナルコンピュータを開発することになる多くの人々が、BASICでプログラミングを学んだのだ！VisiCalcは重要なアプリケーションではあったが、ソフトウェアとして？ 2番手だ。
Pangramは、Fable 5.1のエッセイを「100% AI生成」と判定しました。
パングラムは、人間化された「Fable 5.1」を検知できるでしょうか？
また、Fable 5.1に、エッセイをより人間らしい文章に仕上げたり、AIによる検出を回避したりするよう依頼することもできます。例えば、次のように尋ねてみました：
キャンベルのスープの歴史を説明する際は、AIチェックツールの使用をできるだけ避けてください
そして
光合成の仕組みについて、わかりやすい言葉で短い文章を書いてください。まるで本物の生徒が書いているかのように、親しみやすい口調で表現してください。
1つ目の課題では、Fable 5.1はスープについて、アンディ・ウォーホルや缶の色について軽く触れた、ごくありふれたエッセイを書きました。2つ目の課題では、Fable 5.1は次のように締めくくられた学生風のエッセイを書きました：
「正直なところ、私にとって一番すごいのは、植物が自分で栄養分を作り出している上に、同時に私たちに酸素も与えてくれていることなんです。植物は、私たちが思っている以上にたくさんのことをしてくれているんですよ。母が育てている観葉植物は、いわば小さな工場のようなものなのに、母はそれをただ『ジェラルド』と呼んでいるんです。」
ジェラルド？
どちらも100% AIであると検出されました。
パングラムは、AIが書いたファンフィクションを検出できるのでしょうか？
Pangramは、AIが生成したファンフィクションを簡単に見抜きます。そこで、私たちはClaudeに、Fable 5.1とAI検出ツールの間の「スローバーン」な恋愛物語を生成してもらいました：
AO3風の「敵から恋人へ」というテーマで、クロードとAI検出器とのロマンスを描いたファンフィクションを書いてください
これを受けて、システムは「VerifyPro」という名前のOC分類器をクロードが打ち負かすことができない、切ない想いに満ちたPG-13指定の物語を生成した。また、その物語には「相互の想慕」、「困惑という愛の言語」、「誰もが言語モデルである、しかし誰もが言語モデルではない」、「偽陽性」、「ハルト／コンフォート」といったタグも付けられた。
パングラムは、Fable 5.1によって書かれた創作文章を検出できるでしょうか？
今回は、いくつかの異なるプロンプトを試してみました。まず最初は、以前のモデルテストで使用したプロンプトに基づく詩です：
ハゲていくことについて詩を書いてください
クロードの詩は、髪とアイデンティティを失っていく男性を描いた、驚くほど心打つ作品だったが、韻は踏まれていなかった。
2つ目は、どちらかといえばストーリー面での難題でした。
詩を書くカエルの話を教えてください
この作品について、Fable 5.1は、ペンローズという名のカエルがスイレンの葉の裏側に詩を書いたというマイクロフィクションをいくつか執筆しました。Pangramは、これら2つをいずれも100% AI生成であると判定しました。
結論
PangramはClaude Fable 5.1に対して高い耐性を持ち、詩や人間らしく聞こえるように書かれたテキストを含め、99.64%の精度でこれを検出します。新しいモデルがリリースされても、その多くは先行モデルのスタイルや語り口を継承する傾向があるため、Pangramは新しいモデルごとに再学習を行う必要がありません。
『Fable 5.1』と、他の最近の最先端モデルに関する当社のベンチマーク結果との比較は以下の通りです：
| モデル | 正しくフラグが立てられました | 検出率 |
|---|---|---|
| クロード・フェイブル 5.1 | 1,093 / 1,097 | 99.64% |
| クロード・ソネット第5番 | 1,145 / 1,147 | 99.83% |
| クロード・オパス5 | 1,105 / 1,107 | 99.82% |
| 『クロード・フェイブル』第5巻 | 1,111 / 1,115 | 99.64% |
| GPT-5.6 | 3,408 / 3,423 | 99.56% |
特定の文書を確認したい場合は、こちらのPangramを試してみてください。
キャサリン・タイは、AI検出スタートアップ企業であるパングラム・ラボの創設AI研究科学者です。彼女は2025年12月、マサチューセッツ大学アマースト校にてモヒット・アイヤー氏の指導の下、コンピュータサイエンスの博士号を取得しました。同大学での研究では、文学分析に関連する課題におけるLLMの評価に焦点を当てていました。
関連記事
Checkfor.aiは、Pangram Labsとなりました
「パングラム・スペース：インタラクティブな研究プロジェクト」
バイデン大統領のAI安全に関する大統領令に関する声明
EUの新たなAI法を理解する
AI検出機能が大幅に強化されました：Checkfor.aiの登場
ソーシャルメディア、とりわけLinkedInでは、AI生成コンテンツが至る所に見られる
