ESLにおけるPangram AI検出機能の精度はどの程度ですか？

2026年5月、[Pangram 3.3のリリース]に伴い更新されました

AI検出ツールに対するよくある批判として、英語が母語でない人々に対して偏りがあるという点が挙げられます。英語が母語でない人々が書いた文章は、ESL（第二言語としての英語）と呼ばれることがありますが、より正確にはELL（英語学習者）と表現されます。以前の記事では、パープレキシティやバースト性に基づく他のAI検出ツールが、なぜこの欠点に陥りやすいのかについて解説しました。

英語が母語でない人々は、高いバースト性を示す文章を書くのに必要な豊富な語彙や、複雑な英文構文を自在に操る能力を備えていない。そのため、これまでのAIによる検出の試みは不十分であり、ESL（英語を第二言語とする人による文章）をAI生成の文章と誤って判定してしまうことが多く、その結果、ESLに対して高い誤検知率を示している。

AI検出とESLに関するこれまでの研究

2023年7月、Weixin Liang、James Zouらによる注目すべきスタンフォード大学の研究が発表され、GPT検出器は英語を母語としない執筆者に偏見を持っていると主張している。 この研究はサンプルサイズが小さく（TOEFL試験のエッセイ91編のみ）、方法論上の欠陥もいくつかあった（著者らは検出器のテストにおいて、GPT-4で改変された人間のテキストを「人間によるもの」とラベル付けすることを決定した）ものの、全体として、 テストされた7つのAI検出器（本研究ではPangramはテスト対象外）は、ESL（英語を第二言語とする）の文章に対して強い偏りを見せており、ESLの文章サンプルの60％以上がAI生成と判定された。

大学院入学試験の標準テストであるGREを実施する試験サービス機関ETSが2024年8月に発表した最新の研究では、GREを受験した英語非母語話者による約2,000件のライティングサンプルを対象に、パープレキシティを含む手作業で作成された特徴量を用いて自ら学習させた単純な機械学習検出器について、より大規模な調査が行われた。 実験設定は極めて単純化・人為的なものであり、本研究と実世界との間には重要な相違点があるものの、彼らは自らが開発した検出器において非ネイティブ英語に対するバイアスを確認できなかった。さらに、彼らは実務で実際に使用されている商用検出器については調査していない。それにもかかわらず、この研究は興味深い点を浮き彫りにしている。すなわち、トレーニングセットに非ネイティブ英語話者のデータが十分に含まれている場合、結果として生じるバイアスは十分に軽減されるということである。

ESLにおけるパングラムのパフォーマンス

ESLデータにおけるPangramの偽陽性率を測定するため、4つの公開ESLデータセットに対してPangramのAI検出器を実行した（トレーニング中にこれらのデータセットをテスト用として除外し、トレーニングデータとテストデータ間の情報漏洩を防ぐため）。

我々が研究対象とするデータセットには、以下のものが含まれます：

• ELLIPSE 英語学習データセット

• アジアの英語学習者国際コーパス

• ピッツバーグ英語教育コーパス

• Liangらによるスタンフォード大学の研究に基づくTOEFLデータセット

結果は以下の通りです。

Pangramの全体的な誤検知率は0.078%であり、当社の一般的な誤検知率である0.01%と比べて有意に高いわけではありません。

パングラム対ターンイットイン

私たちは、TurnItInが自社のAIライティング指標の公開評価で使用したのと同じデータセットを用いて、PangramとTurnItInを直接比較しました。

TurnItInと同じデータセットを用いて、「L1」（非ESL）と「L2」（ESL）の英語の両方を評価します。TurnItInは300語を超える文書を評価しないため、評価前にデータセットに対して同様のフィルタリングを適用します。

本研究の結果、ESLテキストにおいてPangramはTurnItInよりも2桁高い精度を示し、また、本研究で用いたネイティブ英語テキストに対しては、Pangramは誤検知を一切見せないことが判明した。

パングラム対GPTZero

GPTZeroは、LiangのTOEFLに関する原論文において、誤検知率が1.1%であると報告しているが、LiangのTOEFLデータセットの6.6%も「AIによるコンテンツの可能性あり」と誤分類されている。

これに対し、PangramはLiang TOEFLデータセットにおいて誤検知を1件も報告しておらず、我々はすべての例について高い確信を持っています。

Pangramは、ESLライティングにおける誤検知をどのように軽減しているのでしょうか？

Pangramでは、英語が母語でないユーザーによる投稿の品質を非常に重視しており、そのため、AIによる文章生成の検出モデルにおける誤検知を減らすために、いくつかの対策を講じています。

データ

機械学習モデルは、学習データに含まれる分布の範囲外では十分な性能を発揮しないため、データセットには英語以外のテキストも必ず含めるようにしています。

しかし、私たちはそこで止まりません。他のAI文章検出ツールが学生の作文や学術論文のみに特化しているのに対し、私たちのモデルは幅広い種類の文章を用いて学習させています。 エッセイのみで学習された他のAI文章検出ツールは、トレーニングデータにおいて、よりカジュアルで会話的な英語が十分に含まれていないという課題を抱えていることがよくあります。それに対し、私たちはソーシャルメディアやレビュー、一般的なインターネット上のテキストを使用しています。これらは非公式な表現が多く、非ネイティブスピーカーや英語学習者が示すような、不完全な文章をよりよく反映しています。

また、特にESLデータセットとして指定されていないものであっても、非ネイティブによる英語文章が含まれている可能性のある情報源を、意図的に取り入れるようにしています。例えば、外国のドメインを持つウェブサイト上の英語テキストは、非ネイティブによる英語文章の優れた情報源となります。

多言語対応機能

また、他のAI検出ツールとは異なり、当サービスは対応言語を英語に限定していません。実際、当モデルの対応言語に一切制限を設けていません。インターネット上に存在するあらゆる言語を用いてモデルを学習させることで、一般的な言語すべてにおいて高い精度を発揮できるようにしています。

以前、当社の優れた多言語対応の実績についてご紹介しましたが、他の言語においてPangramを効果的に機能させるために用いた手法は、ESL（英語を第二言語とする学習者）の分野にも非常にうまく応用できると考えています。

優れた汎化能力と転移能力の背景にあるメカニズムを正確に特定することはできませんが、ESLは英語とほぼ隣接する言語と見なすことができるのではないかと推測しています。すべての言語で良好な性能を発揮するようにモデルを最適化することで、特定の言語特有の表現スタイル、文法構造、あるいは特定の言語における一般的な表現方法に特有の語彙選択などに、モデルが過学習してしまうことを防ぐことができます。 あらゆる言語の人間のテキストを分析することで、私たちはモデルに、英語ネイティブスピーカーだけでなく、すべての人間がどのように書くかを教えます。これにより、モデルがネイティブスピーカーによる慣用的な表現パターンに誤って重点を置く可能性が低くなります。

能動的学習

当社のアクティブラーニング手法により、Pangramは競合他社よりもはるかに高い精度を誇り、人間の文章をAI生成テキストと誤判定するケースが大幅に少なくなっています。

トレーニングとハードネガティブマイニングを交互に繰り返すことで、AI生成テキストに最も類似した人間の作成した例をトレーニング用に抽出します。このアプローチは、AI生成テキストに最も類似した人間の作成した例を抽出するだけでなく、モデルがESLテキストとAI生成テキストの微妙な違いを理解するのを助けるだけでなく、ESLテキストと類似しており、転移学習がうまく機能し、モデルが全体としてより良いパターンを学習するのに役立つ例を見つけるのにも役立ちます。

プロンプト作成の戦略

モデルが学習するためのAI用例を作成する際は、モデルがさまざまな文章スタイルに対応できるよう、可能な限り多様なプロンプトを使用するようにしています。例えば、プロンプトの最後に「このエッセイを高校生のスタイルで書いてください」や「この記事を英語が母国語ではない人のスタイルで書いてください」といった条件を追加することがよくあります。

これほど多様な文章スタイルを生成することで、このモデルは単にAI言語モデルが文章を書く際のデフォルトの方法を学ぶだけでなく、AIテキストの根底にある基本的なパターンを学習するのです。

統計的な観点から、我々は合成ミラーパイプラインを、トピック、文章レベル、トーンといった無関係な特徴に対してモデルが不変となるように設計しています。人間のテキストの特徴と一致する形でモデルにプロンプトを与えることで、各特徴を示す人間による例とAIによる例を同数用意することにより、この不変性を組み込んでいます。

厳格な評価と品質保証

最後に、新しいモデルの更新を承認する前に、極めて包括的かつ厳格な評価および品質保証プロセスを実施しています。

評価にあたっては、質と量の両方に重点を置いています。例えば、Liang TOEFLデータセットには91例しか含まれていないため、このデータセットのみを使用した場合、ESLにおける誤検知率については非常に大まかな推定しか得られません。 もし1例だけ誤判定した場合、誤検知率（FPR）は1.1%と報告されることになるため、実際のFPRが1%未満であるモデル間の違いを見分けることはできません。

誤検知率を1%を大幅に下回る水準（目標誤検知率は1万分の1から10万分の1の間）に抑えることを目指しているため、そのレベルの精度を確認するには、数百万件の事例を分析する必要があります。

大規模な評価を行うことは、モデルが示す失敗のパターンについてより深い理解を得る上でも役立ちます。また、より質の高いデータを収集し、失敗事例に特化したより優れたアルゴリズム戦略を考案することで、時間をかけてそれらを修正していくことが可能になります。

ESLにおけるAI検出ツールは信頼できるのでしょうか？

我々の測定結果、詳細な評価結果、および説明可能な改善策を通じて、Pangramは英語を母語としない学習者に対しても十分な精度を有しており、教育現場での導入が可能であると確信しています。

しかし、十分に偏りのないAI検出ツールを導入したとしても、学術的誠実性のプロセスにおけるあらゆる形態の偏見を防ぐには不十分です。教育者は、偏見が無意識のうちに表れる可能性があることを認識しておく必要があります。例えば、ESL（英語を第二言語とする）の学生は誠実さに欠けるという無意識の疑念から、英語が母語でない学生の提出物に対してAI検出ツールをより頻繁に使用してしまう場合、それは偏見の一形態となります。

さらに、教員は、英語が母語でない学生が、英語が母語の学生と比べて学業面で本質的な不利な立場にあることを認識しておく必要があります。ESL（英語を第二言語とする）の学生は、ライティングの質を高めるためにChatGPTなどの外部ツールを利用する傾向が強く、こうしたツールを多用すると、AI検出ソフトに検知されてしまう可能性があります。そのため、どのようなAI支援が許可され、どのようなものが許可されないかについて、学生と明確に意思疎通を図るために、「パーキンスAI評価尺度」の利用をお勧めします。

最後に、生徒はストレスやプレッシャーにさらされたとき、特に同級生と比較して自己効力感の欠如を感じたとき、そして不正行為の手段を用いることが成功への唯一の道だと感じたときに、不正行為に走る傾向があることが分かっています。私たちは教育者に対し、こうした懸念に積極的に対処するよう促します。具体的には、該当する生徒への支援を提供し、どのような支援が利用可能で許容されるかを明確に伝え、また、もともと不利な状況にある生徒に対して完璧な英語力を求めるような評価方法を再考することも検討すべきです。

パングラムは、学術的誠実さを支えるためのツールとして活用されるべきであり、それによって教育者は、生徒の学習を支援するためにどのようなアプローチが最適かを理解できるようになる。

当社の研究や、AI検出ソフトウェアにおけるバイアスの軽減策について詳しくお知りになりたい場合は、info@pangram.com までお問い合わせください。