AIによる検出はどのように機能するのでしょうか？

主なポイント：

1. LLMには特定のパターンが見られ、それにより様々なAI検出ツールが、それが人間によって生成されたものか、AIによって生成されたものかを判別できるようになっています。
2. 従来の検出器はバースト性やパープレキシティに依存していましたが、これらは信頼性に欠けます。新しい検出器は、より大規模なデータセットとアクティブラーニングを活用しており、はるかに優れた性能を発揮します。
3. 検出ツールを選ぶ際には、ユーザーはどの程度の誤検知率や検知漏れ率であれば許容できるかを判断する必要があります。また、ツールを選択する前に、盗用チェック機能やその他の機能が必要かどうかを確認しておくべきです。
4. AIの検知について訓練を受けていない人間は、その能力があまり高くありません。しかし、訓練を受けている人や、AI生成テキストに日常的に接している人は、訓練を受けていない人よりもAIコンテンツを的確に見分けられます。この検知能力をソフトウェアと組み合わせることで、非常に高い効果を発揮します。

AI検出ツールとは何ですか？

AIによる生成テキストは判別可能です。これは魔法のようなものではなく、多くの研究に基づいたものです。 学術界、メディア、ビジネスの各分野でAI生成コンテンツがますます普及している現代において、人間と機械が作成したテキストを見分ける能力は極めて重要なスキルとなっている。AIが行う言語的、文体的、意味的な選択は、訓練された目や十分に優れた自動検出ソフトウェアによってすべて見抜くことができる。なぜなら、AIがなぜそのような表現をするのか、そしてそれを特定するために利用できるパターンが何であるかを、私たちは理解できるからだ。

大規模言語モデルはどのように機能するのでしょうか？

AI検出ソフトウェアの仕組みについて説明する前に、人工知能モデルが確率分布であることを理解しておくことが重要です。ChatGPTのような大規模言語モデル（LLM）は、この確率分布の極めて複雑な形態であり、シーケンスの中で次に現れる可能性が最も高い単語、つまり「トークン」を絶えず予測しています。これらの確率分布は、膨大な量のデータから学習されたものであり、多くの場合、一般公開されているインターネット上の情報の大部分を網羅しています。

よく耳にする質問の一つに、「AI言語モデルとは、人間が書いた文章の平均値のようなものなのか？」というものがあります。答えは明らかに「いいえ」です。言語モデルは、単に人間が口にする言葉の平均値を算出しているわけではありません。第一に、言語モデルは非常に個性的な選択を行います。また、学習データセットや開発者の偏見の影響を受け、強いバイアスを帯びています。 最後に、現代のLLMは、正確性や正確さよりも、指示に従い、ユーザーが聞きたいことを言うように最適化されています。この特性により、LLMは有用なアシスタントにはなりますが、信頼できる真実の情報源にはなり得ません。

これは、3つの段階からなる現代のLLMの学習手順によるものです：

1. 事前学習：この学習段階において、モデルは言語の統計的パターンを学習します。学習データに内在するバイアスが、これらのパターンに反映されます。 例えば、ウィキペディアのようにインターネット上で頻繁に見られるデータが過大に反映されるため、AIが生成するテキストはしばしば形式的で百科事典的な口調になります。さらに、トレーニングデータの作成には安価な外部委託労働力が使用されるため、「delve（掘り下げる）」「tapestry（タペストリー）」「intricate（複雑な）」といった単語がAI生成テキストで極めて頻繁に見られるようになります。これは、エンドユーザーではなくデータ作成者の言語的規範を反映しているのです。
2. 指示の調整：この段階では、モデルは指示に従い、命令を履行することを学習します。 その結果、モデルは正確で正しい情報を提示することよりも、指示に従うことの方が有益であると学習してしまいます。これにより、AIはたとえ事実をでっち上げたり「幻覚」を見たりする必要があっても、役に立ち、好意的に聞こえる応答を生成することを優先する、おべっか使いや「人に好かれること」を優先する行動をとるようになります。彼らにとって、情報を正確に伝えることよりも、人に好かれることの方が重要なのである。
3. アライメント：この段階では、モデルは人々が何を好み、何を好むかを学習します。つまり、どのような発言が「良い」か「悪い」かを学習するのです。しかし、この嗜好データには極めて強い偏りが生じやすく、中立的で無難、かつ誰の気分も害さないような応答が好まれる傾向があります。このプロセスにより、モデルは独自の個性を失い、物議を醸す話題や強い意見の表明を避けるようになってしまう可能性があります。LLMには、真実性や正しさに対する根本的な根拠が欠如しているのです。

生成AIモデルとは、テクノロジー企業がリリースする製品であり、その出力結果に反映されるような偏見や挙動が意図的に組み込まれているものである。

AI言語にはどのようなパターンがあるのでしょうか？

LLMの学習方法を理解すれば、AIライティングツールの「見破る手がかり」を見つけられるようになります。多くの場合、決定的な証拠となるのは単一の言葉ではなく、こうした言葉の組み合わせが検知器を反応させるのです。

言語と文体

• 語彙の傾向：AIコンテンツライターには、好んで使う単語があります。例えば、「側面（aspect）」「課題（challenges）」「掘り下げる（delve）」「強化する（enhance）」「タペストリー（tapestry）」「証言（testament）」「本物の（authentic）」「包括的な（comprehensive）」「極めて重要な（crucial）」「重要な（significant）」「変革的な（transformative）」といった言葉や、 「さらに（additionally）」、「加えて（moreover）」といった副詞などです。これは、事前学習データセットに偏りがあるためです。これらの単語を頻繁に使用すると、過度に堅苦しく、あるいは大げさな口調になりがちで、一般的な学生の論文やカジュアルなコミュニケーションの文脈では、場違いに感じられることがよくあります。
• 定型表現：AIによる文章作成では、「～するにつれて」「注目すべき点は」「～だけでなく～も」「道を開く」 「～となると」といった定型表現がよく使われます。これらの表現は文法的には正しいものの、会話におけるつなぎ言葉として使われることが多く、文章に型にはまった印象を与え、画一的な印象を与える可能性があります。
• スペルと文法：AIによる文章は概してスペルや文法が完璧で、複雑な文を好んで使います。一方、人間が書く文章は単純な文と複雑な文が混在しており、熟練した書き手であっても、強調のために文の断片を使うなど、文体の理由から「教科書通りの完璧さ」とは異なる文法パターンを用いることがあります。

構造と組織

• 段落と文の構成：AIによる文章生成では、一般的に、すべてほぼ同じ長さで、リストのような構成を持つ、非常に整然とした段落が好まれます。その結果、人間の文章に見られる自然な変化に欠け、単調なリズムになってしまうことがあります。これは文の長さについても同様です。
• 序論と結論：AIが生成したエッセイは、通常、非常に整った序論と結論を持っています。結論はしばしば非常に長く、「総じて言えば」や「結論として」という言葉で始まり、すでに書かれた内容のほとんどを繰り返す傾向があります。つまり、新たな洞察や統合を加えることなく、単に論旨や要点を言い換えているに過ぎないのです。

目的と個性

• 目的と意図：生成される文章は通常、非常に曖昧で、一般的な表現ばかりが並んでいる。これは、指示の調整においてプロンプトへの忠実さが過度に重視されるためであり、話題から逸れないようにするため、モデルは「間違った回答をするリスクを最小限に抑えるには、あえて曖昧で一般的な表現を使うのが最善だ」と学習してしまうからだ。
• 内省とメタ認知：AIは、文章を内省し、それを自身の経験と結びつけることが非常に苦手です……というのも、結びつけるべき個人的な経験がそもそもないからです！人間の文章には、著者の独自の視点や個人的な経験が表れており、単なる既存情報の寄せ集めにとどまらない、新たなつながりや斬新なアイデアを生み出すことができます。
• 文体や口調の急激な変化：文体や口調が、非常に不自然で急激に変化することがあります。これは、学生が文章の一部にAIを利用しているものの、すべてではない場合に起こり、結果として一貫性を欠き、まとまりのない仕上がりとなることがあります。

AI検出の仕組み：3つのステップ

1. AI検出モデルの学習：まず、モデルを学習させます。初期のAI検出器は、パープレキシティやバースト性が高いテキストの断片を検出しようとしたため、あまりうまく機能しませんでした。 パープレキシティとは、大規模言語モデルにとって、テキスト中の各単語がいかに予期せぬ、あるいは意外なものかを示す指標です。バーシティとは、文書全体を通じてパープレキシティがどのように変化するかを指します。しかし、このアプローチにはいくつかの欠点があり、 AIの出力を検出できないことがよく あります。また、これらのモデルは限られたテキストデータセットのみを使用して学習を行っています。Pangramのような最新かつ成功しているモデルは、より広範なデータセットを使用し、アクティブラーニングなどの技術を採用することで、より正確な結果を得ています。
2. 分類対象のテキストを入力し、トークン化します：ユーザーが入力を提供します。分類器が入力テキストを受け取ると、それをトークン化します。つまり、テキスト全体を取り込み、モデルが理解できる一連の数値に分解します。その後、モデルは各トークンを埋め込み（embedding）に変換します。埋め込みとは、各トークンの意味を表す数値のベクトルです。
3. トークンを「人間」か 「AI」 かに 分類する：入力はニューラルネットワークを通過し、出力埋め込みが生成される。分類器ヘッドは、この出力埋め込みを0または1の予測値に変換する。ここで、0は「人間」のラベル、1は「AI」のラベルを表す。

偽陽性や偽陰性についてはどうでしょうか？

AI検出ツールの性能は、そのツールを使用することで生じる誤検知率（FPR）と検知漏れ率（NPR） によって評価されます。誤検知とは、検出器が人間が書いたコンテンツのサンプルを誤ってAI生成と判定してしまうことを指します。一方、検知漏れとは、AIが生成したサンプルが人間が書いたテキストであると誤って判定されてしまうことを指します。

人間による検出と自動検出

AIを目視だけで判別しようとするなら、それ相応の訓練が必要です。専門家でない限り、単なる当てずっぽうと大差ない結果にしかなりません。高度な言語学者であっても、明確な訓練なしにAIを見分けることはできません。最良の結果を得るためには、両方の手法を併用し、より堅牢で公平な評価プロセスを構築することをお勧めします。

一方、AIコンテンツ検出ツールは、ある文章がAIツールによって生成されたものかどうかを判断することはできます。しかし、人間であれば、単にAIによるものかどうかを判断するだけでなく、その判断にさらなる文脈やニュアンスを加えることができます。人間は、過去の生徒の作文サンプルや、その学年の文章の書き方、そして生徒による典型的な課題の回答がどのようなものかといった文脈を理解しています。課題の指示内容によってAI利用の適切性は大きく異なるため、こうした文脈の理解は極めて重要です。

AIによる不正検知ツールはあくまで第一歩に過ぎません。これは学生が学術的誠実性に違反したことを決定的に示す証拠ではなく、あくまでさらなる状況に応じた調査を必要とする初期のデータに過ぎません。AIの使用は、意図しないものや偶発的なものである場合もあれば、課題の範囲内で許可されている場合もあります。状況次第です！

おまけ：ヒューマナイザーはどうなの？！

ヒューマナイザーとは、 AIによる生成と見破られないよう、AI生成コンテンツを「人間らしく」見せるために使用されるツールです。コンテンツライターは、AIが生成した文章の印象を変えるために、よくこれらを利用します。 ヒューマナイザーは、テキストを言い換えたり、特定の単語を削除したり、人間らしい「ミス」をコンテンツに加えるものです。場合によっては、テキストが実質的に読めなくなったり、品質が著しく低下したりすることもあります。多くのAI検出ツールは、ヒューマナイザーで加工されたテキストを検出できるようソフトウェアを学習させています。ヒューマナイザーの使用は、テキストの品質を劇的に低下させるリスクを伴うため、特に学生の課題においては懸念されることが多いです。

仕組みがわかったところで、ぜひ自分のコンテンツで試してみてください。AIか、それとも人間か？