AIによる検出は、クロードの文章スタイルを見抜くことができるだろうか？

画像：Anthropic

11月、AnthropicはClaude.aiのアップデートを公開し、ユーザーがアシスタントの応答トーンを選択できるようにしました。デフォルトの応答トーンに加え、ユーザーは「簡潔」「説明的」「フォーマル」といったプリセットメニューから選択できます。また、文書や指示を入力することで、独自の文章スタイルに変換できるカスタム文章スタイルモードも用意されています。

プリセットの設定は、その名の通りです。「簡潔」を選択すると、通常は箇条書きやリスト形式で回答します。「解説」を選択すると、より長い回答が得られます。「フォーマル」を選択すると、クロードの定番フレーズである「それは素晴らしい質問ですね」が省かれ、かなりプロフェッショナルな文章で書かれます。しかし、私の経験上、どれを選んでもやはりクロードらしい口調で、アシスタントに質問をして「簡潔」「解説」「フォーマル」な回答を求めるのと何ら変わりはありません。

しかし、今回検証したいのは、AI検出機能です。各Claudeのライティングスタイルに対し、ローマ帝国の滅亡について250語のエッセイを作成するよう依頼しました。その結果を見てみましょう。

標準的なクロードの出力 簡潔なクロードの出力 説明用のClaudeの出力 正式なクロードの出力

これらはどれも、クロードの普段の文章スタイルとあまり変わらないように聞こえます。これらは、プロンプトで「簡潔な」あるいは「フォーマルな」出力を直接求めるのと、それほど違いがないように思えます。

カスタムライティングスタイルを使えば、もっと良い結果が得られるかどうか試してみましょう。インターフェースはかなり優れていて、基本的には文章をコピーして貼り付けるだけで、完全なプロンプトを生成してくれます。私は自分のブログ記事をもとに1つのカスタムスタイルを作成しました。Claudeはそれを「Tech Storyteller」と名付けました。また、Slate Star Codexのブログ記事をもとに別のスタイルを作成したところ、Claudeはそれを「Scholarly Skeptic」と名付けました。 この機能はLLMを使って、そのライティングスタイルに関する指示を3文程度生成しているようです。ユーザー例を示すセクションもありますが、驚いたことに、LLMに与えられている例は完全に生成されたもので、元の例と比べるとかなりありきたりな内容に見えます。

テック・ストーリーテラーのプロンプト テック・ストーリーテラー、クロードの出力 学術的懐疑論のプロンプト 学術的懐疑論者クロードの著作

これらは依然として明らかにAIが書いた文章のように見え、Pangramの検出モデルも依然としてこれらを検知しています。

AIが生成したユーザー例には不備があるかもしれないと気づいたため、文章スタイルのプロンプトを手動で編集し、代わりに私のブログ記事やSlate Star Codexの記事といった元の例を含めるようにしました。

「Tech Storyteller」のクロードの出力を更新しました 「学術的懐疑論者クロード」の出力を更新しました

依然として明らかにAIによる文章だと判別できる。以前よりAIっぽさが減ったか、それとも増えたか？　特に変化はないが、『Tech Storyteller』でAIっぽさが際立っていたヘッダーが削除された点は、正しい方向への一歩だった。一つ気づいたのは、文章スタイルの指示書で「複雑な情報」の提示や「複雑さの認識」について言及されていたが、その結果、他のエッセイに比べてAIが「複雑」という単語を多用する傾向が見られたことだ。 私たちが求めていた文章スタイルとは、必ずしも一致していません。

最後に、Pangramのダッシュボードを使って、これらのエッセイのどの点がAIによる執筆であることを露呈させているのかを詳しく分析してみました。使用されていたフレーズの多くは、人間が書いた文章に比べて、AIによる文章でははるかに頻繁に見られるものでした。

パングラム・ダッシュボード

例えば、当社のモデルによると、「complex and multifaceted（複雑かつ多面的）」という表現は、人間の文章に比べてAIが生成した文章で700倍多く使用されています。「Intricate interplay（入り組んだ相互作用）」は100倍、「Played a crucial role（重要な役割を果たした）」は60倍多く使用されています。こうした表現は、AIが生成した文章を直感的に見分ける手がかりとなりますが、当モデルは文書全体の文脈を総合的に考慮した包括的なアプローチを採用しています。

総じて言えば、クロードのライティングスタイルは、プロンプトのたびに「余計な説明は不要」と付け加えたくない人にとっては便利な機能のように思えますが、AIの出力を人間によるものと見分けがつかないようにするためのツールというわけではありません。

パングラムのAI検出ツールを使って、クロードやその他のモデルの出力を確認してみてください。