いいえ、LLMは単に人間の文章を模倣するだけではありません

LLMは人間の文章を模倣するように訓練されているため、AIによる検出は不可能だと考える人もいますが、実際はそうではありません。実際、LLMの文章の書き方は人間とは明らかに異なり、それこそがAIによる検出を可能にしているのです。

フレディ・デボーアは、自身のSubstackのエッセイの中で次のように書いている：

「［AIによる文章生成］のパターンはどこから来るのでしょうか？それらは、LLMの構築に使用されるトレーニングコーパスに含まれる、人間が書いたテキストに由来しています。LLMのあらゆるテキストパターン――すべてのLLMのテキストパターン――は、究極的には人間のテキスト生成の産物なのです。LLMの本質とは、人間のテキストに基づいて人間のテキストをモデル化することに他なりません。」

彼は、LLMが出力するテキスト文字列と同じものを、誰かが思いついて書き下す可能性は常に存在するため、誤検知率が極めて低いAI検出器を構築することは不可能であると結論づけている。

よく、次のような話をさまざまな形で耳にします：

「LLMは人間の文章の分布からサンプリングを行っているため、LLMの学習分布自体が人間の文章である以上、LLMが生成したテキストを検出することはできない。」

「LLMは人間のように文章を書くよう訓練されているため、その役割を果たしている限り、AIが生成した文章はどんな検出ツールよりも優れているだろう。」

これらの主張は一見すると妥当に見えますが、現代のLLMが複雑なシステムであるという点を捉えきれていません。現代のLLMは、単に人間のテキスト分布に合わせるだけでなく、それ以上のことを行うよう学習されています。このブログ記事では、ChatGPT、Claude、Geminiといった現代のLLMが、なぜ、またどの点で人間のテキスト分布から逸脱しているのか、そして、それらのLLMに特有のスタイルや語り口がどのような要素から生じ、それによって生成された文章が検出可能になるのかについて解説します。

要約：LLMは人間の文章をモデル化するように学習されているため、その出力は人間の文章と見分けがつかなくなるだろうと考えがちである。しかし実際には、LLMは単に人間の文章を模倣しているだけではない。指示に従う有用なアシスタントとなるよう追加学習されており、その結果、その文章はアルゴリズムによって検出可能な限られた選択肢の範囲に制限されている。

「The Beginning」：Next Tokenの予測

言語モデルの歴史は、補完モデルから始まりました。これらの初期の言語モデルは単純明快なものでした。つまり、膨大なテキストデータから、単語が互いにどのように連なるのが一般的かを学習していたのです。そして、ユーザーが補完モデルに最初の数語を入力すると、モデルはそこから最も可能性の高い次の単語を予測していました。

完成モデルは、次のトークンに関する確率分布を予測する

画像提供：AIML.com

表面上、補完モデルは「Deep learning is very」のような初期の文字列（プレフィックス）を受け取り、その後に続く可能性が高い単語の確率リストを出力します。これらの確率は、主にインターネットデータからなる非常に大規模なトレーニングコーパス内のすべての補完結果について集計されます。 その結果、人間の文章全体を網羅する確率モデルが得られ、訓練データセットにおける単語の自然頻度に基づいて、どの単語が順番に現れる可能性が最も高いかを推測できるようになった。

これにより、最初の言語モデルであるGPT-1、GPT-2、GPT-3が誕生しました。これらのモデルは現在、「ベースモデル」と呼ばれています。これらは人間の言語に関する生の分布を表していますが、その出力は未加工で洗練されておらず、指示に従うことも、会話を続けることもできません。 今日、私たちは言語モデル開発のこの初期段階を「事前学習」と呼んでいますが、これはAIアシスタントやチャットボットを作るための最初の段階に過ぎず、その後にはさらに多くの工程が待っています。

GPTからChatGPTへ

単語に対する単純な分布から、まるで人間のように言語モデルと会話できるようになるまで、一体いつの間に至ったのでしょうか？その疑問に答えるには、2022年3月にさかのぼる必要があります。その年、言語モデルをアシスタントへと進化させる上で最初の大きな飛躍となる出来事――OpenAIがリリースした「InstructGPT」――が起こったのです。

InstructGPTは、言語モデルが単に人間の言語を模倣するだけでなく、ユーザーから与えられた指示（現在では「プロンプト」と呼ばれているもの）に従うよう、明示的に訓練された初めての事例でした。

InstructGPTの論文で提唱されている、トレーニング後の3つのステップ：教師あり微調整、報酬モデルの学習、強化学習

こちらは、InstructGPTの原論文に掲載されている図です。原論文では、「ポストトレーニング」と呼ばれる手法を用いることで、ベースモデル（この場合はGPT-3）をカスタマイズし、役に立ち、指示に従うアシスタントとして機能させることができることが実証されました。具体的には、モデルのスタイルを調整して特定のキャラクター像を付与するものです。

本論文では、以下の3つの手順について述べている：

1. 人間のライターは、プロンプト入力に対してAIが返す回答のうち、自分たちが適切だと考える例を提示します
2. AI研究者たちは、提示された回答のうち、人間がどの回答を好む傾向があるかを学習する報酬モデルを開発した
3. AI研究者は、報酬モデルを用いて、生成された大量の応答に対して報酬を最大化するようLLMを学習させます。

これは心理学の「パブロフの条件付け」に似ています！研究者たちは、特定の出力に対しては報酬を与え、他の出力に対しては与えないようにします。この繰り返しによって、モデルは、以前は中立的だったもの、すなわち人間が好む出力応答を、報酬関数による正の値と関連付けることを学習します。この手法は「インストラクション・チューニング」と呼ばれ、これによりモデルがベースモデルから、会話ができ、ユーザーの指示に従うことができる「インストラクトモデル」へと再構築されるのです。

指示の微調整を行うことで、言語モデルが軌道から外れたり、プロンプトの重要な情報を忘れたり、突拍子もない方向へ逸脱したりするのを防ぐことができます。また、OpenAIやAnthropicといった開発者が、モデルの挙動を制御できるようになります。 例えば、たとえユーザーがそのような回答を求めていたとしても、モデルは爆弾の作り方や銀行強盗の手口を教えることを拒否すべきです。ポストトレーニングがなければ、モデルのアラインメント、すなわち大規模言語モデルを有用で、無害かつ安全なものにする能力は実現できません。 Anthropicは、この種のモデル挙動仕様の先駆者であり、その論文『Constitutional AI』では、ポストトレーニング技術を用いて、Anthropicの「憲法」に定められた一連の原則に従うAIを構築する方法について解説している。最後に、理論上、インストラクション・チューニングはモデルとの会話をより心地よいものにする。人間の評価者が、好ましい回答をしたモデルに報酬を与えるため、モデルはより親しみやすくなり、より良い人格を身につけていく。

「タダより高いものはない」：研修後の悪影響

トレーニング後の結果は、良いことばかりではありません。出力の再形成はモデルの挙動に深刻な影響を与え、その生成文は元のベースモデルとは大きく異なるものになってしまいます。

おべっかい

人間の好みに合わせてLLMを最適化すると、LLMが正確さよりも「人を喜ばせること」を優先してしまう恐れがあります。これが度を越すと、LLMはユーザーの誤った信念に反論するどころか、かえってそれを助長することになります。2025年4月、この種の「おべっか使い」的なモデルの振る舞いをめぐって大きな騒動が起こりました。OpenAIは、新たにリリースしたGPT-4oが、ユーザーに不利益をもたらすほど過度に褒めちぎり、何でもかんでも同意する傾向にあることを認めました。

AIの出力における創造性と多様性の喪失

また、ポストトレーニングを行うと、LLMの応答の独創性や独自性が低下してしまう。一部の研究者は、ポストトレーニングによってLLMのテキストが平板で、模倣的で、画一的、あるいはAIの拙作のように聞こえるようになるのではないかと仮説を立てている。

2024年の論文『Creativity has Left the Chat』は、MetaのAIモデル「Llama 2」の「instruct」バージョンと「base」バージョンの多様性を比較している。その結果、Llama 2のinstructモデルは、出力における意味的・文体的な多様性が著しく低いことが判明した。例えば、物語の登場人物を選ぶ際、Llama 2のinstructモデルは一貫して同じ年齢、国籍、性格タイプの登場人物を選び、さらには同じ名前をつけることさえあった。 以下は、ベースモデルとインストラクトモデルが選択した名前のワードクラウドである。

「Creativity Has Left the Chat」から、ベースモデルとアラインメント済みモデルによって生成された名前のワードクラウド

平坦化されたロジットとモードの収束

これに関連して、トレーニング後のLLMでは、いわゆる「フラットなロジット」が生じます。これは、トレーニング後のLLMが、考えられる次の単語の多様な分布を生成するのではなく、決定論的に単一の次の単語を1つだけ選択してしまう現象を指します。

一見すると悪くはないように思えますが、これはいわゆる「モード崩壊」につながります。モード崩壊とは、LLMが多彩な表現を生み出すことをやめ、代わりに限られた選択肢を繰り返し選ぶだけになってしまう現象のことです。

モードの収束とモードのカバレッジ：収束したモデルでは、確率が単一のモードに集中する

モード崩壊のイメージを以下に示します。ある表現について3つの一般的な言い方が存在する場合、モード崩壊を起こしたLLMは、すべての言い方に確率を分散させるのではなく、最も一般的な言い方をデフォルトとして選択します。

これは検出可能性とどう関係しているのでしょうか？

LLMがこのように学習されているという事実は、検出においていくつかの示唆を与えます。LLMは特定の人間の好みに合わせて最適化されているため、非常に特徴的な個性を持つ傾向があります。こうした個性には、検出モデルが人間の文章と見分けることができるような、癖や特徴、独特な傾向が含まれています。 また、ロジットの平坦化やモード崩壊により、アラインされたLLMはテキスト生成時に非常に一貫した選択を行う傾向があります。つまり、大量の人間によるデータとAIによるデータを分析することで、そうした選択がどのようなものかを把握することができるのです。

さらに、現在開発されているLLMは、単にインターネット上のテキストの質の低下が進んでいるという理由だけで、学習の過程で自らの出力結果を再学習してしまう結果となっています。例えば、2024年後半の時点で、インターネット上の新しい記事の3分の1以上がAIによって生成されています。これほど大量のAI生成テキストが存在すると、モデルファミリーを超えてさえも、新しいモデルが、そのテキストを生成した古いモデルの「個性」を引き継いでしまうという増幅効果が生じます。 だからこそ、まったく異なる研究所によって開発されたにもかかわらず、多くのLLMがオリジナルのChatGPTとスタイルの類似性を示しているのです！時には、これが意図的に行われていることもあります。中国の研究所が、Claudeのようなアメリカの最先端モデルの出力データを用いて学習させることで、その特性を「蒸留」しようとしているのではないかという推測が広く流れています。その結果、これらの言語モデルはClaudeのような個性を持つようになるのです！

LLMはこれからもずっとこれほど検知されやすいままであるのだろうか？

モード崩壊の解明と解決は、人工知能研究において現在も活発に進められている分野です。LLMは、いつの日かより多様な出力分布を生み出せるようになるのでしょうか？私の見解は「はい」であり、すでにかなり多様な出力分布を持つ言語モデルもいくつか存在します。実際、ベースモデルという形で、そうしたモデルはすでに存在しているのです！

しかし、「ポストトレーニング」というパラダイムがなくなることはないでしょう。LLMが一貫した選択を行い、特定の選好を持つ理由は、開発者の選好を反映しているからです。中国語の言語モデルに「1989年の天安門広場で何が起きたか」と尋ねてみれば、その開発者の選好がすぐに見て取れるはずです！ 実のところ、ポストトレーニングなしでは、有益かつ無害に振る舞い、安全で方針に沿った言語モデルを実現することはできません。結局のところ、LLM企業は行動上の要件を伴う消費者向け製品を開発しているのです。人間のテキスト空間には（有害な内容や誤情報など）、LLM企業が自社のモデルにサンプリングしてほしくない領域が存在するからです。 最後に、LLM企業はモデルに好感の持てる性格を持たせるよう最適化も図っています。ユーザーがモデルとのやり取りをより楽しむほど、その特定のモデルを使い続け、競合他社のモデルを選ばなくなる可能性が高まるからです。このことが、OpenAIがGPT-4oの提供を終了した際に、一部のGPT-4oファンが示した反応からも見て取れるでしょう。

こうした開発者や人間の選好は、最終的にはモデルにおいて、アラインメント、行動の形成、およびパーソナリティの最適化と引き換えに、LLMのパーソナリティや出力空間を狭めるという形で現れます。したがって、モデル開発者がモデルの挙動に関して特定の選好や選択を持ち続ける限り、Pangramはそうした選好を一貫して検出できるはずだと私は考えています。