「学術的誠実性とAIによる不正検出の現状：2025年版」

パングラム・ラボのCTOであるブラッドリー・エミ氏は、ICAIカンファレンスにおいて「AI検出の現状」に関するセッションを行った。

学生たちはChatGPTを活用している一方で、悪用もしています。多くの学生がAIツールを日常的に利用しており、これらのツールを使えば成績が向上すると考えています。AIの使用を禁止する明確な方針があっても、学生たちは利用を続ける可能性が高いでしょう。

一般的な認識とは異なり、AIによる生成は判別可能です。その言語表現、文体、意味の選択は、人間だけでなく（十分な学習を経た）自動ソフトウェアによっても見分けがつきます。

なぜAIはあんな風に聞こえるのか？

LLMは、大量のデータを通じて学習する確率分布です。これらは、人間が書いたすべての文章の平均値ではありません。これは、モデルの学習方法によるものです。

モデルの学習は、事前学習、インストラクション・チューニング、アラインメントの3つの段階で行われます。

事前学習の段階では、モデルは大規模なデータセットから統計的なパターンを分析します。この学習データセットには、統計的なパターンに表れるバイアスが含まれています。例えば、インターネット上で頻繁に見られるデータが過大に反映されています。 ガーディアン紙の記事で、アレックス・ハーンは、ケニアやナイジェリアの労働者がOpenAIのトレーニングデータ提供のために搾取されていた実態を解説している。これらの労働者が頻繁に使用した「delve」や「tapestry」といった単語は、AIが生成したテキストにも頻繁に現れる単語と同じである。

「指示チューニング」では、モデルはプロンプトに応答するように学習されます。モデルは、正確で正しい情報を提示するよりも、指示に従うほうが良いと学習します。安全フィルターが実装されていても、AIライティングはユーザーを喜ばせようとするあまり、依然として誤った情報に悩まされています。

アラインメントの過程で、モデルはプロンプトに対する適切な応答と不適切な応答の違いを学習します。好悪データは、必ずしも事実に基づくものではなく、トレーナーの視点に基づいているため、極めて偏ったものになり得ます。

AIライティングで最もよく使われる単語やフレーズの例をいくつか挙げました。これらは、事前学習の段階で組み込まれたバイアスに由来するものです。

AIは、高度に構造化された言語や書式設定で知られています。「アラインメント」段階の影響により、AIによる文章には、接続詞や箇条書き、整然とした文章構成が多く見られます。

AIによる文章作成は、しばしば堅苦しいものになりがちです。これは、インターネット上では堅苦しい文章が過剰に存在するため、AIの学習データセットにもそれが過剰に含まれているからです。アラインメントの過程では、前向きな表現や有用性が強調されます。

注：Pangramは、テキストにAI関連の一般的な用語や書式が含まれているという理由だけで、AIの使用を予測するものではありません。

学術界におけるヒューマナイザー

私たちは19種類のヒューマナイザーツールを調査し、独自のツールも1つ開発しました。その結果、AIヒューマナイザーは元の意味をさまざまな程度で保持していることがわかりました（わずかな修正から、意味不明なテキストになる場合まで様々です）。一部のヒューマナイザーは言い換えは上手ですが、検出を回避することはできません。ヒューマナイズされたテキストが流暢であればあるほど、検出を回避できる可能性は低くなります。 ヒューマナイザーは、GoogleのSynthIDウォーターマーク（Geminiが生成したテキストに付与されるもの）を削除することができます。

AIによる自動検出と人間による検出

第一世代のAI検出ツールとその欠点は、一般の人々のAI検出に対する認識を形作ってきた。これらのツールは、因果関係を示すシグナルではなく、AIの使用との相関関係に依存していた。それらは99％の精度を謳っていたが、学術的な用途には不向きである。

この新世代の検出ツールは、99.9%を超える精度と極めて低い誤検知率（FPR）を誇ります！また、言い換えツールや人間味を加えるツールに対しても高い耐性を備えています。

しかし、AI検出ツールはどれも同じではありません！検出ツールの学習方法の違いにより、精度にはばらつきがあります。

Pangram、TurnItIn、Ghostbustersは、学習ベースの検出技術を採用しています。学習ベースの検出では、モデルは膨大なサンプルから、何がAI生成であり、何がそうでないかを学習することで訓練されます。一方、

LLMを用いた文章作成の経験を持つ人間の専門家は、92％の精度でAIによる生成テキストを見分けることができます。一方、ChatGPTのようなツールの使用経験がない言語学者では、同等の精度を達成することはできませんでした。人間の検出者は、テキストに関して特定の予測を選んだ理由を詳しく説明することができます。Pangramは精度が高く偽陽性率も低いものの、テキストの文脈を理解することはできません。

公正なAIによる学術的誠実性の審査プロセスの構築

AIの利用に関する方針や基準を策定する際には、明確なコミュニケーションが不可欠です。AIは、アウトラインの作成、アイデアの創出、文法ミスの修正、調査、下書き、あるいは本格的な執筆作業などに活用される可能性があります。AIの利用がどの程度まで許可され、どの程度までが禁止されるかについて、明確なガイドラインを策定する必要があります。参考として、Gradpilotが提供する170校以上の大学が掲載されたディレクトリで、実際の大学におけるAI利用方針を閲覧することができます。

生徒や教師は、一般的なツールがAIによってどのように進化しているかを理解しておく必要があります。Google Docsの「Help me write」機能は、Geminiから結果を取得しています。Grammarlyには現在、AIによる文章生成や言い換え機能が搭載されています。翻訳ツールも、その機能を実現するためにLLMを利用している可能性があります。また、AIが生成した研究論文の一部を引用したり、ブレインストーミングのヒントとして利用したりすると、検出されることもあります。

人間の判断と自動検出の両方を併用することをお勧めします。FPRが0.01%であるにもかかわらず、AI検出のみを用いて学生の課題を評価することは、学生にとって極めて不公平です。陽性判定が出た場合は、次に学生の執筆プロセスを評価し、問題のテキストと過去の課題を比較検討する必要があります。検出器をいくつかのテキストでテストし、課題にLLMを使用した場合にどのような結果が得られるかについても検討してください。

学生がAIで作成された課題を提出したことが明らかになってきた場合、これは教育の好機となる可能性があります。学生を尊重し、過度に罰する態度は避けることが重要です。課題をやり直させ、なぜAIを使用することになったのかについて話し合うことは、学生にとって有益となるでしょう。

この記事に関する詳細については、ウェビナーの全編をご覧ください：https://www.pangram.com/resources/the-state-of-ai-detection-in-2025。