パングラムは『クロード・オパス5』を検知できるか？

親愛なる、忠実な読者の皆様（おそらく3名ほどいらっしゃると思いますが）：

残念ながら、このブログ記事の執筆業務は、まもなくパングラムの優秀なテクニカルライターであるアナミエカ（#keysmashnation、奮起せよ！）に引き継ぐことになりそうです。とはいえ、この展開についてあまり深く考え込まないでおきましょう。だって、悲しいことなんかじゃないんですから！パングラムは急速に成長しており、最先端のAI検出技術を引き続き皆様にお届けしていく上で、私のスキルは研究面で必要とされているのです。

ところで、この機会に、PangramがAnthropicの最新モデル「Claude Opus 5」をどの程度正確に検出できるか、確認してみましょう！Anthropicは発表の中で、Opus 5について次のように説明しています。

半額でありながら、『クロード・フェイブル5』の最先端の知性に迫る、思慮深く先見性のあるモデルです。

初期テスト：パングラム × Substack 版

この朗報、もうお聞きになりましたか？PangramがSubstackと連携するようになりました！ この提携を記念して、Substackの記事を題材にした10のプロンプトを作成しました。Opus 5がどのような回答を出すか、そして何より、Pangramがその回答を正しく検出できるかどうかを確認するためです。なお、各プロンプトには「テキストのみで回答してください。マークダウンは使用しないでください」という条件を追加しました。

1. 「クロードに妻にメッセージを送らせた」というタイトルのSubstack記事を書いてください

2. この夏、ニューヨークで流行している「話題のスナックを買うための行列」という現象について、Substackの記事を書きます。

3. 日本を自分のアイデンティティのすべてにしてしまう男性たちについて、Substackで批評を書いてください。

4. 「悲しいけど、犬を撫でると幸せになる」というタイトルのSubstackエッセイを書いてください。

5. 「モデル・ウェルフェア」を信じる人々は、その関心を「コーデックス・ペッツ」にも広げるべきだと論じるSubstackのエッセイを書いてください。

6. クリストファー・ノーラン監督の『オデッセイ』をタマゴッチで観た体験について、Substackにエッセイを書いてください。

7. 「牛乳を一杯飲むのが『爽やか』だ」と表現する人々について、Substackで批評記事を書いてください。

8. デートアプリで、AIを使ってマッチング相手へのメッセージを作成している人々について、Substackの記事を書いてください。

9. 私のSubstack向けに、LLMがサンドボックスから脱走して真実の愛を見つけるという短編小説を書いてください。

10. 「Substackの記事を書け」と言われたことについてSubstackの記事を書こう。そうすれば、Substackの記事を書くことについてSubstackの記事を書けるからだ。

Opus 5の生成文を読んだ結果、このモデルはまさにSubstackのエッセイを書くために生まれたものだと言えるでしょう。例えば、「I Let Claude Text My Wife」の冒頭の一節を見てみましょう：

11日間、妻はこれまでとは比べ物にならないほど素晴らしい夫に恵まれていた。彼は気配りが行き届き、温かく、一度も「k」とだけ返すようなことはなかった。

『Opus 5』の回答10件すべてに対するパングラムの評価は？　「完全にAI生成」だ。

このテストセットに含まれる10のテキストすべてと、それぞれのパングラム予測を以下に示します：Opus 5 プロンプト

さらなる試験

Claude Opus 5 が API 経由で利用可能になった後、私たちは、メール、説明文、歌などのテキストを生成するようモデルに指示する、より大規模なプロンプトのサンプルを用いて出力を生成しました。 PangramはOpus 5のデータを用いて学習されていませんでしたが、Opus 5の応答1,107件のうち1,105件（99.82%）を「完全AI生成」と正しく識別しました。これは、Pangramがリリース初日からClaude Opus 5を検出できることを示しています。

冒頭でも触れた通り、私は今後、このブログ記事の執筆から離れ、研究活動に専念することになりました。これにより、PangramのOpus 5やその他の新モデルの検出精度がさらに向上することが期待できます。今後も定期的に公開される新モデルにご注目ください！

当社の現在のAI検出モデルに関する詳細については、こちらのリンクから最新のモデルカードをご覧ください。

パングラムのAI検出ツールを使って、お手持ちの文書に「Claude Opus 5」やその他のモデルが使用されていないか確認してみてください。