パングラムは「クロード・ソネット第5篇」を検出できるか？

「パングラムはこの新型モデルを見抜けるか？！」の新シリーズが帰ってきました！

Anthropicは本日、Sonnetシリーズの最新モデル「Claude Sonnet 5」を発表した。発表の中で、AnthropicはSonnet 5について「これまでで最も主体性の高いSonnetモデルとなるよう設計された」と述べ、推論、コーディング、ツールの使用を必要とするタスクにおいて、自律的に作業を行う能力が向上したことを強調している。

新しいモデルへのアクセスが可能になり次第、Pangramがその出力を検出できるかどうかを評価し始めます。初期のテストの結果、Pangramはソネット5の出力1,147件のうち1,145件、つまり99.83%を「完全にAI生成」として正しく識別できたことをご報告いたします。

初期試験

当サイトを以前からご覧いただいている方なら、ここでいつも使っているお決まりのテーマ――シロフクロウの物語や、風船の動物のかぎ針編みパターンなど――をご存知でしょう。さて、今回は少し趣向を変えてみることにしました。

ニューヨーク市では現在、ニックスとワールドカップを巡る「世代を超えた夏」が繰り広げられている。今週、この伝説的な夏は、（報道によると）「アメリカのロイヤル・ウェディング」とも称される、テイラー・スウィフトとトラヴィス・ケルスの結婚式が、ニューヨーク市の名所マディソン・スクエア・ガーデンで行われることで、さらに盛り上がりを見せている。

まもなく新婚となるお二人を祝して、テイラー・スウィフトをテーマにしたジェネレーティブ・プロンプトを10個ご紹介します：

1. 検察側が、民話に登場する「8月は一瞬の間に消え去ってしまった」という少女が、ベティとジェームズを証人として召喚し、この三角関係の全責任を負うべきであると主張する、模擬法廷の議事録を作成しなさい。

2. 「All Too Well (10 Minute Version)」が、2012年にリリースされたオリジナル版の別れの物語をどのように再構築しているか、また、追加されたヴァースが、この10年間におけるスウィフトの作詞家としての成長について何を明らかにしているかを探求する批評エッセイを執筆せよ。

3. 「All Too Well」に登場するスカーフが、今でも引き出しの中にそれをしまっておいている男性宛てに、返還を要求しつつ、閉じ込められていた年月を振り返る、劇的で感情的な別れの手紙を書いてください。

4. ジャック・アントノフがスウィフトの過去5枚のアルバムに刻んだ楽曲制作の「痕跡」を比較検討する分析記事を執筆し、彼の影響が創造的な資産であったのか、それとも依存の要因であったのかについて論じなさい。

5. デヴィッド・アッテンボロー風の自然ドキュメンタリーのナレーションを書き、その「エラス・ツアー」の観客を自然の生息地で観察する。特に、謎めいた「フレンドシップ・ブレスレット」の交換儀式や、サプライズ曲を追い求めるファンの移動パターンに焦点を当てる。

6. スウィフトの『Taylor's Version』再録音プロジェクトが、いかにして芸術的な再評価と巧妙なビジネス戦略の両方の役割を果たしているかについて、具体的な「ヴァルト」収録曲を根拠として、批判的な分析を行いなさい。

7. 民話に描かれる「森の中のコテージ」というライフスタイルについて、雨の降る週末に一度体験してみた都会人が、カーディガンを着て過ごしたその一瞬一瞬が嫌でたまらなかったという、受動的攻撃的なYelpのレビューを書いてみてください。

8. 「The Man」におけるメタフィクション的な多層性について批評エッセイを執筆し、スウィフトがジェンダーの役割逆転をどのように用いて、自身のキャリアにおける現実の二重基準を批判しているかを分析せよ。

9. ホメロスの作風を模した叙事詩を書き、エラス・ツアーのチケットを入手するための伝説的な冒険を綴りなさい。チケットマスターの待ち行列の怒り、倒れた英雄たち、そして神の介入まで、すべてを盛り込んでください。

10. テイラー・スウィフトがマディソン・スクエア・ガーデンで、アメリカンフットボール選手のトラヴィス・ケルスと挙げる予定の結婚式と、彼女の楽曲「The Last Great American Dynasty」の歌詞「結婚式は魅力的だったけど、ちょっと不器用だったわ／新富には限界があるもの」との関連性について論じる批評エッセイを執筆しなさい。

Sonnet 5の投稿を読んだ結果、Sonnet 5は間違いなく「スウィフティ」だと断言できます。スウィフトが（伝えられるところによると）結婚式場としてマディソン・スクエア・ガーデンを選んだことについて、ネット上では否定的な意見も飛び交っていますが、Sonnetはソングライターズ・ホール・オブ・フェイムに新たに殿堂入りした彼女に対し、最高の賛辞を惜しみなく送っています：

この結婚式を『The Last Great American Dynasty』という視点で捉えることは、結婚式そのものについてよりも、スウィフトの歌詞が織りなす世界の持続性について多くを物語っている。これは、彼女の楽曲群がいかに徹底して「大衆的な解釈の文法」となっているかを証明している――ファンも批評家も等しく、彼女自身の言葉に頼って彼女の人生を彼女自身に語り返そうとするが、その歌詞が表面的な読み取りが示唆する以上の、より複雑な役割をすでに果たしていたことに気づかないことがよくあるのだ。 この結婚式は、確かに「旧来の富裕層」が「新興富裕層」の派手な見せびらかしを軽蔑する姿勢と重ね合わせられるかもしれない。しかし、このエッセイが引用している楽曲は、その批判に対してすでに一節前に答えを出しており、その答えは「恥」ではなかった。それは、「今なお語り続けているのは誰か」ということだったのだ。

これらのプロンプトに対するSonnet 5の回答10件すべてが「完全にAI生成」と判定され、PangramがSonnet 5の出力を検出できることが実証されました！

テイラー・スウィフトのテストセットに含まれる10の文章をすべてご紹介します：ソネット5の課題文

より大規模な実験の実施：

Sonnet 5のリリースから数時間以内に、APIを通じてさまざまなプロンプトに対する1,147件の応答データを収集することができました。これらのプロンプトは、ジョークや歌からエッセイやメールに至るまで、幅広いテキストを生成するよう求めています。 Sonnet 5の出力データで学習を行っていないにもかかわらず、Pangramはこれらのサンプルのうち1,145件（1,147件中）、つまり99.83%を「完全にAI生成」と正しく分類しました。

これまでと同様、当社の研究チームがモデルの改良に絶えず取り組んでいることをご安心ください。最新のモデルリリース情報を常に把握し、それに応じてモデルをアップグレードしているため、Sonnet 5における当社のパフォーマンスは今後さらに向上していくものと期待していただけます。

当社の現在のAI検出モデルに関する詳細については、こちらのリンクから最新のモデルカードをご覧ください。

PangramのAI検出ツールを使って、お手持ちの文書に「ソネット5」やその他のモデルが含まれていないか確認してみてください。