AI検出はどのように機能するのですか？

主なポイント：

• 大規模言語モデル（LLM）は特定のパターンを示すため、AI検出ツールが人間によるものかAI生成かを識別できる。
• 従来の検出器はバースト性とパープレクシティに依存していたが、これらは信頼性に欠ける。新しい検出器はより優れた性能を発揮し、大規模なデータセットと能動的学習に依存している。
• 検出器を選択する際、ユーザーは許容できる偽陽性率と偽陰性率を決定すべきです。また、ツールを選択する前に、剽窃チェック機能やその他の機能が必要かどうかを判断する必要があります。
• AI検出の訓練を受けていない人間は、その能力があまり高くない。しかし、訓練を受けた者やAI生成テキストに日常的に触れている者は、未訓練者よりもAIコンテンツを識別できる。この検出能力とソフトウェアを組み合わせれば、非常に効果的に機能する。

AI検出器とは何ですか？

AIは検出可能です。それは黒魔術ではなく、多くの研究が裏付けとなっているものです。 学術界、メディア、ビジネスにおいてAI生成コンテンツがますます普及する現代において、人間と機械が作成したテキストを見分ける能力は極めて重要なスキルである。AIが行う言語的・文体的・意味論的な選択は、訓練された目や十分な精度を持つ自動検出ソフトウェアによって検知可能だ。これは、AIがなぜそのように表現するのか、そしてそれを特定するために利用できるパターンが何であるかを我々が理解できるからである。

大規模言語モデルはどのように機能するのか？

AI検出ソフトウェアの仕組みについて説明する前に、人工知能モデルが確率分布であることを理解することが重要です。ChatGPTのような大規模言語モデル（LLM）は、この概念を非常に複雑化したもので、文脈内の次に最も出現確率の高い単語（トークン）を絶えず予測しています。これらの確率分布は、膨大な量のデータから学習されており、多くの場合、公開インターネットの大部分を網羅しています。

よく耳にする疑問の一つに「AI言語モデルは人間の文章の平均値なのか？」というものがある。答えは明らかにノーだ。言語モデルは単に人間が言うことの平均を取っているわけではない。第一に、言語モデルは非常に特異的な選択を行う。また、訓練データセットや開発者の偏見によって強くバイアスがかかっている。 最後に、現代のLLMは正確さや正確性よりも、指示に従いユーザーが聞きたいことを言うよう最適化されている。この特性により、有用なアシスタントではあるが、信頼できる真実の源とはなりえない。

これは現代のLLM訓練手順の結果であり、以下の3段階から構成される：

• 事前学習：この学習段階では、モデルは言語の統計的パターンを学習する。訓練データに存在するバイアスがこれらのパターンに現れる。 例えば、ウィキペディアのようにインターネット上で頻繁に現れるデータは過度に代表されるため、AI生成テキストはしばしば形式的で百科事典的な口調を持つ。さらに、安価な外注労働力がトレーニングデータ作成に利用されるため、「delve（掘り下げる）」「tapestry（タペストリー）」「intricate（複雑な）」といった単語がAI生成テキストで極めて頻繁に現れる。これはエンドユーザーではなく、データ作成者の言語規範を反映している。
• 指示調整：この段階では、モデルは指示に従い命令を順守することを学習する。 その結果、モデルは正確で正しい情報を提示するよりも指示に従う方が良いと学習します。これにより、AIはたとえ事実をでっち上げたり「幻覚」を起こす必要があっても、有益で好意的に聞こえる応答を生成することを優先する、おべっか使いや「人に好かれる」行動を取ります。彼らにとって、情報を正しく伝えることよりも人に好かれることがより重要となるのです。
• 調整段階：この段階では、モデルは人々が好む発言や選好を学習する。何が「良い」発言で何が「悪い」発言かを学ぶ。しかし、この選好データは極めて偏りがちで、中立的で安全かつ無難な応答を優先する傾向がある。このプロセスはモデルから独自の声を奪い、論争や強い意見を避けるように仕向ける。LLMには真実性や正しさに対する基盤的な根拠が存在しない。

生成AIモデルは、テクノロジー企業が意図的にバイアスや行動を組み込み、その出力を反映させる形でリリースする製品である。

AI言語におけるパターンとは何か？

大規模言語モデル（LLM）の訓練方法を理解すれば、AIライティングツールの「痕跡」を見抜けるようになる。決定的な証拠は一つではなく、こうした言葉の組み合わせが検知器を鳴らすことが多いのだ。

言語とスタイル

• 単語の選択：AIコンテンツライターには好んで使う単語がある。例えば：側面、課題、掘り下げる、強化する、織物、証言、本物の、包括的な、重要な、意義深い、変革的なといった名詞や、 さらに、加えてといった副詞などである。これは事前学習データセットの偏りが原因だ。これらの単語を頻繁に使うと、過剰に形式的あるいは大げさな口調になり、典型的な学生のエッセイや非公式なコミュニケーションの文脈では場違いに感じられることが多い。
• 表現パターン：AIライティングでは「[動詞]するにつれ」「重要な点として」「だけでなく」「道を開く」「 そして～となると」といった表現パターンが用いられる。これらの表現は文法的には正しいものの、会話のつなぎとして多用される傾向があり、文章を画一的かつ定型的な印象にさせがちである。
• スペルと文法：AIによる文章は一般的に完璧なスペルと文法を用い、複雑な文を好んで使用します。人間の文章は単純な文と複雑な文を組み合わせており、専門家レベルの書き手であっても、強調のために文の断片を使用するなど、文体上の理由で「教科書通りの完璧さ」ではない文法パターンを用いることがあります。

構造と組織

• 段落と文構造：AI生成文は概して、ほぼ同じ長さの非常に整然とした段落とリスト形式の構造を好んで用いる傾向がある。これにより、人間の文章に見られる自然な変化に欠けた単調なリズムが生じることがある。これは文の長さにも当てはまる。
• 導入部と結論部：AI生成のエッセイは通常、非常に整った導入部と結論部を持ち、結論部はしばしば非常に長く、「全体として」や「結論として」で始まり、既に書かれた内容の大半を繰り返す。本質的には新たな洞察や統合を加えることなく、論旨と主要なポイントを言い換えているに過ぎない。

目的と個性

• 目的と意図：文章は通常、非常に曖昧で一般論に満ちている。これは、指示調整がプロンプトへの順守を過度に優先するためであり、話題から外れないようにするために、モデルは誤りを最小限に抑えるには非常に曖昧で一般的な表現が最善であると学習する。
• 内省とメタ認知：AIは文章を内省し、個人的経験と関連付けることが非常に苦手だ…なぜなら関連付けられる個人的経験自体を持っていないからだ！人間の文章は作者の独自の声と個人的経験を示し、既存情報の単なる再構成ではなく、新たなつながりを生み出し斬新なアイデアを生み出すことができる。
• 文体とトーンの急激な変化：時折、トーンや文体に非常に違和感のある急激な変化が生じることがあります。これは、学生が文章の一部をAIで作成しているが、全てではない場合に発生し、結果として一貫性のない支離滅裂な最終成果物を作り出します。

AI検出の仕組み：3つのステップ

• AI検出モデルの訓練：まずモデルを訓練する。初期のAI検出器は、パープレクシティやバースト性が高いテキストを検出しようとしたため、あまり効果的ではなかった。 パープレクシティとは、大規模言語モデルにとってテキスト内の各単語がどれほど予想外か、あるいは驚くべきかを示す指標である。バーストネスとは、文書全体におけるパープレクシティの変化を指す。しかしこの手法には複数の欠陥があり、 AI出力を検出できない場合が多かった。また、訓練に用いるテキストデータセットも限定的であった。Pangramのような現代的で成功したモデルは、より広範なデータセットを使用し、アクティブラーニングなどの技術を採用することで、より正確な結果を導き出している。
• 分類が必要なテキストを入力し、トークン化します：ユーザーが入力を提供します。分類器が入力テキストを受け取ると、それをトークン化します。つまり、テキスト全体を取り込み、モデルが理解できる一連の数値に分解します。その後、モデルは各トークンを埋め込み（エンベディング）に変換します。埋め込みとは、各トークンの意味を表す数値のベクトルです。
• トークンを人間 かAIかに分類する：入力はニューラルネットワークを通過し、出力エンベディングを生成する。分類器ヘッドは出力エンベディングを0または1の予測値に変換し、0は人間ラベル、1はAIラベルを示す。

偽陽性および偽陰性についてはどうでしょうか？

AI検出ツールの価値は、そのツールの使用によって生じる誤検知（FPR）と見逃し（NPR） の数によって測定される。誤検知とは、検出器が人間が書いたコンテンツサンプルを誤ってAI生成と予測する場合を指す。一方、見逃しとは、AI生成サンプルが人間が書いたテキストと誤って予測される場合を指す。

人間による検出 vs. 自動検出

AIを目視のみで検出する場合、訓練が必要です。専門家でない者は、ランダムな推測以上の成果は得られません。高度な言語学者でさえ、明示的な訓練なしではAIを検出できません。最良の結果を得るためには両方の手法を併用し、より堅牢で公平な評価プロセスを構築することを推奨します。

一方、AIコンテンツ検出ツールは、何かがAIツールによって生成されたかどうかを判断できます。人間は、単にAI生成かどうかを判断するだけでなく、その判断に追加の文脈やニュアンスを加えることができます。人間は文脈を理解しています：過去の生徒の作文サンプル、学年レベルの作文がどのようなものか、そして生徒からの典型的な課題回答がどのようなものか。この文脈は極めて重要です。なぜなら、AI使用の適切さは、課題の指示内容によって大きく異なる可能性があるからです。

AI検出ツールはあくまで出発点に過ぎません。学生が学術的誠実性に違反した決定的な証拠ではなく、さらなる文脈に基づく調査を必要とする初期のデータポイントです。AIの使用は意図せず偶発的な場合もあれば、特定の課題の範囲内で許容される場合もあります。状況次第です！

おまけ：ヒューマナイザーはどうなってるの？！

ヒューマナイザーは、 AIコンテンツを「人間らしく」改変し、 AI検出を回避するためのツールです。コンテンツライターは、AI生成文の見た目を変えるためにこれらをよく使用します。 ヒューマナイザーはテキストを言い換えたり、特定の単語を除去したり、人間らしい「誤り」をコンテンツに追加します。場合によってはテキストがほぼ読めなくなったり、品質が著しく低下することもあります。多くのAI検出ツールは、こうした加工されたテキストを検知するよう訓練されています。ヒューマナイザーの使用は、テキストの品質を劇的に低下させるリスクを伴うため、特に学生の課題においては懸念材料となります。

仕組みがわかったところで、自分のコンテンツを試してみてください。AIか人間か？