学術的誠実性とAI検出の現状 2025年

Pangram Labs の CTO、ブラッドリー・エミ氏が、ICAI カンファレンスで AI 検出の現状について講演を行いました。

学生たちはChatGPTを活用しつつも乱用している。大半の学生はAIツールを日常的に利用しており、これらのツールによって自身の成績が向上すると信じている。AI使用を明確に禁止する方針があっても、学生たちは使用を継続する可能性が高い。

一般的な認識とは異なり：AIは検出可能である。言語、文体、意味論的な選択は、人間と自動化されたソフトウェア（十分な訓練を受けたもの）の両方によって識別できる。

なぜAIはそんな風に聞こえるのか？

大規模言語モデル（LLM）は、大量のデータを通じて学習する確率分布です。これらは人間の文章全体の平均ではありません。これはモデルの訓練方法に起因します。

モデルは3段階で訓練される：事前学習、指示チューニング、アラインメント。

事前学習段階では、モデルは大規模データセットから統計的パターンを分析する。学習データセットには統計的パターンに現れるバイアスが含まれている。例えば、インターネット上で頻繁に現れるデータが過大評価されている。 ガーディアン紙の記事でアレックス・ハーンは、ケニアとナイジェリアの労働者がOpenAIのトレーニングデータ提供のために搾取された実態を解説している。これらの労働者が頻繁に使用した「delve（掘り下げる）」や「tapestry（タペストリー）」といった単語は、AI生成テキストに頻繁に出現する単語と一致している。

指示調整では、モデルはプロンプトに応答するよう訓練される。モデルは正確な情報を提示するよりも指示に従う方が望ましいと学習する。安全フィルターが実装されていても、AIライティングはユーザーを喜ばせようとするあまり、誤情報が依然として蔓延している。

アラインメントの過程で、モデルはプロンプトに対する良い応答と悪い応答の違いを学習する。選好データは、必ずしも事実に基づくものではなく、トレーナーの視点に基づいているため、非常に偏っている可能性がある。

AIライティングで最も頻繁に使用される単語やフレーズのサンプルを提供しました。これらは事前学習段階で導入されたバイアスに起因するものです。

AIは高度に構造化された言語と書式設定で知られている。移行フレーズ、箇条書きリスト、整然とした文章は、調整段階のためAIの文章に広く見られる。

AI生成文が形式的なのは、インターネット上で形式的なテキストが過剰に存在するため、AIの学習データセットでも過剰に代表されるからだ。アライメント過程では、肯定性と有用性が強化される。

注：パングラムは、テキストに一般的なAI言語や書式が含まれているという理由だけで、AIの使用を予測するものではありません。

学術分野におけるヒューマナイザー

19種類の異なるヒューマナイザーツールを調査し、独自ツールも開発しました。その結果、AIヒューマナイザーは元の意味を様々な程度で保持していることが判明しました（軽微な編集から意味不明なテキストまで）。一部のヒューマナイザーは言い換えは上手ですが、検出回避には失敗します。人間らしい文章ほど、検出を回避しにくくなります。 ヒューマナイザーはGoogleのSynthID透かし（Gemini生成テキストを識別するために使用される）を除去することが可能です。

自動化および人間のAI検出

第一世代のAI検出ツールとその欠陥は、一般大衆のAI検出に対する認識を形作ってきた。これらのツールは因果関係を示す信号ではなく、AI使用との相関関係に依存していた。99%の精度を主張していたが、学術用途には不適切である。

この新世代の検出ツールは、99.9%を超える精度と極めて低い偽陽性率（FPR）を誇ります！また、言い換えや人間化に対しても頑健です。

しかし、AI検出器は全て同じではありません！検出器の学習方法が異なるため、精度の程度には差があります。

パングラム、ターンイットイン、ゴーストバスターズは学習ベースの検出を採用している。学習ベースの検出では、モデルは大規模なサンプルからAI生成物と非生成物を学習することで訓練される。一方、

LLMを用いたライティング業務の経験を持つ人間の専門家は、92%の精度でAI生成文を検出できる。言語学者はChatGPTなどのツール使用経験がない場合、同等の精度を達成できなかった。人間の検出者は、テキストに関する特定の予測を選択した理由を詳細に説明できる。Pangramは精度と偽陽性率がより高いものの、文脈を考慮することができない。

公正なAI学術的誠実性プロセス構築

AI利用に関する方針や基準を策定する際には、コミュニケーションを明確にしなければならない。AIは、アウトライン作成、アイデア生成、文法誤りの修正、調査、下書き作成、あるいは本格的な執筆作業などに利用される可能性がある。どの程度のAI利用が許可され、どの程度が許可されないかについてのガイドラインを策定し、実施しなければならない。

学生と教師は、一般的なツールがAIと共に進化している方法を理解しなければならない。Google Docsの「文章作成支援」機能はGeminiから結果を得ている。Grammarlyは現在、AI生成と言い換え機能を備えている。翻訳ツールはLLMを活用して動作している可能性がある。AI生成の研究論文やブレインストーミングからセクションを引用することも検出される。

人間の推論と自動検出の両方の使用を推奨します。0.01%の偽陽性率（FPR）のため、AI検出のみで学生の作品を評価することは学生にとって非常に不公平です。陽性判定を受けた後の次のステップは、学生の執筆プロセスを評価し、陽性判定されたテキストを過去の作品と比較することです。検出器をいくつかのテキストでテストし、LLMを課題に使用した場合の結果を考慮することを必ず行ってください。

学生がAI作成の課題を提出したことが次第に明らかになった場合、これは教育の機会となり得る。学生を尊重し、過度に懲罰的になることは避けることが重要である。学生は課題をやり直し、AI使用に至った経緯について話し合うことで学びを得られる可能性がある。

この記事の詳細については、以下のウェビナーのフルバージョンをご覧ください：https://www.pangram.com/resources/the-state-of-ai-detection-in-2025