AI検出はクロードの文体を捕捉できるか？

画像：Anthropic

11月、AnthropicはClaude.aiのアップデートを公開し、ユーザーがアシスタントの応答トーンを選択できるようにした。デフォルトのトーンに加え、ユーザーは「簡潔」「説明的」「フォーマル」のプリセットメニューから選択可能だ。さらにカスタムライティングスタイルモードも用意されており、指定した文書や指示を入力することで独自の文体を生成できる。

プリセットの設定はほぼ説明不要です。簡潔モードでは箇条書きやリスト形式で応答します。説明モードではより長い回答を生成します。フォーマルモードではクロードの定番フレーズ「それは素晴らしい質問です」を省略し、かなりプロフェッショナルな文章を書きます。ただし私の経験上、いずれのモードでもクロードらしさは失われておらず、アシスタントに質問して「簡潔に」「詳しく」「フォーマルに」回答を求めるのと変わりません。

しかし、私たちが検証したいのはAI検出機能です。各Claudeのライティングスタイルに、ローマの滅亡に関する250語のエッセイを依頼しました。結果を見てみましょう。

標準クロード出力 簡潔なクロード出力 説明用クロード出力 正式なクロード出力

これらはどれも、クロードの通常の書き方とあまり変わらないように聞こえます。これらは、プロンプトで直接「簡潔な」または「フォーマルな」出力を求めるのと大差ないようです。

カスタムライティングスタイルを使えばもっと上手くいくか試してみよう。インターフェースはなかなかクールで、基本的に文章をコピーすると完全なプロンプトを生成してくれる。自分のブログ記事を基に1つのカスタムスタイルを作成した。Claudeはそれを「Tech Storyteller」と命名した。別のスタイルはSlate Star Codexのブログ記事を基に作成し、Claudeは「Scholarly Skeptic」と命名した。 この機能はLLMを使って、書き方の指示を3文程度生成するようです。ユーザー例を示すセクションもありますが、驚いたことにLLMに与えられた例は完全に生成されたもので、元の例と比べるとかなり汎用的に見えます。

テックストーリーテラーのプロンプト テックストーリーテラー クロードの出力 学術的懐疑主義者プロンプト 学術的懐疑論者クロードの出力

これらは依然として明らかにAI生成文に見え、Pangramの検出モデルはそれらを捕捉し続けている。

AI生成のユーザー例が不十分かもしれないと気づいたので、書き方のプロンプトを手動で編集し、代わりにソース例（私のブログ記事とSlate Star Codexの記事）を含めるようにしました。

更新されたテックストーリーテラー、クロードの出力 更新された学術的懐疑論者クロードの出力

依然としてAI生成文であることが明確に識別できる。改善されたか、あるいはAIらしさが減ったか？特にそうとは言えない。ただしTech Storytellerの非常にAIらしいヘッダーが削除された点は正しい方向への一歩だった。気づいた点として、文体指示書に「複雑な情報を提示する」「複雑さを認める」といった記述があったが、その結果AI生成文では他のエッセイよりも「複雑」という単語が多用される傾向が見られた。 私たちが求めた文章スタイルとは少し異なる。

最後に補足すると、私はPangramダッシュボードを用いて、これらのエッセイがAI生成と判別される具体的な要因を分析しました。使用されていた多くの表現は、通常の人間の文章よりもAI生成文においてはるかに頻繁に見られるものでした。

パングラム・ダッシュボード

例えば、当社のモデルは「複雑で多面的な」という表現がAI生成文において人間による文章より700倍多く使用されていることを発見しました。「複雑な相互作用」は100倍、「重要な役割を果たした」は70倍多く使用されています。これらの表現はAI生成文を直感的に検知する一例ですが、モデルは文書の文脈全体を考慮した包括的なアプローチを採用しています。

全体として、クロードの書き換え機能は、各プロンプトに「おしゃべり禁止」と付け加えたくない人にとっては便利な機能のように思えるが、AIの出力を検知不可能にするためのツールではない。