AI検出ツールが誤検知した場合、どうなるのでしょうか？

人工知能（AI）がますます普及するにつれ、教師たちは生徒が課題の作成にAIを利用していないかを見極めたいと考えている。教師向けのAI検出ツールは当然の解決策のように思えるが、多くの教師は導入に躊躇している。もしソフトウェアが誤りを犯したらどうなるのだろうか？

その懸念はもっともです。これまで、AI検出ツールは信頼性に欠けるものでした。数多くの研究により、これらのツールはAIによって生成された文章を認識できないことが多く、また、悪意のある不正行為者が、わずかな言い換えやスペルミスを織り交ぜることで、ツールを欺くことができることが明らかになっています。こうした「検知漏れ」は、コンピュータ生成された文章が検出されずにすり抜けてしまうため、非常に厄介な問題です。

しかし、より懸念されるのは、早期検知ツールの誤検知率の高さである。これは、実際には人間が書いた文章がAIによるものと判定されてしまう場合に発生し、何の過ちもない生徒にストレスや不当な処分をもたらし、教師による不必要な監視を招き、学校内の信頼関係を損なうことにつながる。

この問題は、英語が母語ではない学生の間で特に深刻です。いくつかのAI検出ツールには、非ネイティブスピーカーに対する偏りが見られます。スタンフォード大学が2023年に発表した論文によると、複数の検出ツールが、非ネイティブスピーカーが書いたエッセイの5本に1本を、満場一致で（かつ誤って）AI生成であると判定したことが判明しました。それらのエッセイのほぼすべてが、少なくとも1つの検出ツールによって誤ってフラグ付けされていました。

AI検出ツールはどのくらいの頻度で誤検知を起こすのでしょうか？

最も普及しているAI検出ツールの多くは、こうした誤りをかなり頻繁に起こすことを認めています。 例えば、TurnItInは誤検知率を約200件に1件と公表しており、これは教師が200件の論文を検査するごとに、1人の学生のオリジナル作品が誤ってAI生成と判定されることを意味します。他のツールでは誤検知率が500件に1件から100件に1件の間であると謳われていますが、独立した調査によると、その数値はさらに高くなる可能性があることが判明しています。

一方、Pangramの誤検知率は、数千万件の文書を用いたテストの結果、わずか1万分の1にとどまっています。当モデルは、完全な文で構成され、数百語を超えるテキストにおいて特に高い信頼性を発揮します。これはまさに、学生が重要な課題として提出する文章の典型的な形態です。

教師は、AI検出ツールが生徒の文章を誤ってフラグ付けしてしまったかどうか、どうすれば分かるのでしょうか？

AI検出ツールが特定のテキストをAI生成と判定した場合、教師にはその結果を確認するためのいくつかの選択肢があります。まず、謙虚な姿勢で生徒にAIの使用について尋ねてみるべきです。もし判定結果が誤りだった場合、生徒はGoogleドキュメントの詳細な修正履歴や初期草案のコピーなど、執筆過程を示す証拠を提示できるかもしれません。 この場合、教師は極めて稀な誤検知（偽陽性）だった可能性を認めることができます。また、生徒は自身の執筆プロセスを詳細に説明できるはずです。この会話を通じて、提出された課題に対する深い理解が明らかになり、生徒が実際に自分で書いたものであることが示唆されるかもしれません。一方で、生徒が誤りだと気づかずにAIを使用していたことが判明し、検出ツールの結果が正しいことが確認される可能性もあります。

もし生徒がAIを使用していないと主張し続けるものの、それを証明する証拠を提示できなかったり、自分の作品について筋の通った説明ができなかったりする場合でも、疑わしきは罰せずの原則を適用しても構いません。何しろ、やっていないことで罰せられることになれば、その生徒にとって甚大な損害となるからです。 このような場合、教師は生徒に対し、今後は執筆の過程を記録するように指導することができます。そうすることで、今後の誤解を解消するのに役立つでしょう。もし生徒がAIの使用について故意に嘘をついているのであれば、今後はそうするのを躊躇するようになるでしょう。しかし、Pangramのような正確なAI検出ツールによってその作品が繰り返し検出されるようであれば、事態をエスカレートさせるべき時が来たと言えるでしょう。一度のミスが起きる確率はすでに低いですが、複数のミスが起きる確率は極めて低いのです。