AI検出に関する誤解と誤った認識

ジェイソンはロサンゼルスのニュー・ローズ校で英語と哲学の教師を務めている。

はじめに

よく聞かれるのは、AI検出ツールにできることとできないことです。今日は、AI検出に関する最も一般的な誤解や誤った認識を探っていきましょう。さっそく見ていきましょう！

神話1：AI検出を使う代わりに、AIを教育に取り入れ、生徒にその使い方を教えるべきだ。

教育にAIを組み込むべきであり、学生にAIの活用方法を教えるべきだ！しかしAI検出ではなくAI統合を主張するのは、実際には対立しない二つの概念を対立させる行為である。AI検出はAI統合の必要不可欠な前提条件であり、技術に適切な防護柵を設けることで、技術が乱用ではなく支援的な目的で使用されることを保証する役割を担う。

新しい技術が登場し、いかなる制限が提案される際に生じる、ある種の反技術的な誤謬がある。この場合、「検知は抑止に等しい」という主張がそれだが、これは誤りである。

実際には逆の現象が見られる。強力なAI検出ツールを求める人々は、往々にして教室でAIを最も活用したいと考えている層だ。ツールは活用したいが、その悪用は望まない。一方で、AIの未来に熱狂するあまり「これが未来だ」という理想のもと、教室でAIツールを無条件に導入しようとする人々もいる。彼らは何の制約も歓迎しない。 それでもなお、AIを嫌悪し「ペンと紙」派を自認する者も存在する。彼ら個人や学校は、AIへの唯一の正当なアプローチは一切導入しないことだと決断している。 授業がコンピュータ導入以前の時代に戻れば、検知の必要など生じない。しかし現実には、AI検知を求める者こそが、教室での学習にAIを最大限活用することに関心を寄せる人々である。彼らはAIを用いた実践と技法の拡大において、不必要な制約を避けたいと考えている。我々には、これが正しいアプローチに思える。

神話2：AI検出器はブラックボックスであり、その手法を明らかにしないため、信頼できない。

確かに他のAI検出ツールは手法を明かしていませんが、Pangramは自社の手法を公に共有しています。Pangramが手法を公開しているのは、研究コミュニティの信頼を得ることと、ソフトウェアの正確性を実証することが重要だと考えているからです。Pangramは自社ウェブサイト上で、手法をインタラクティブかつアニメーションで解説するデモを提供しています。

PangramはAI関連の学会や学術誌でも技術革新の一部を発表している。例えば、同社は最近COLING会議において、システムが人間化ツールや言い換えツールに対して頑健である仕組みを説明する研究を発表した。

神話3：AI検出技術は学術界による査読や検証を受けていない。

パングラムの著作は査読を経ているだけでなく、いつでも誰でも閲覧できる。

パングラムは最近、複数の査読付き論文で特集され、ベンチマーク評価を受けています。パングラムは、複数のオープンソースおよび市販のAI検出器が競うCOLING共有タスクにおいて、最も正確で堅牢な検出器として表彰されました。

パングラムは最近、メリーランド大学の研究でも取り上げられ、AI生成テキストの検出において訓練を受けた人間の専門家を上回る唯一の自動AI検出器であることが示されました。また、ヒューストン大学の別の研究論文では、パングラムが翻訳に対して頑健な唯一のAI検出器であることが実証されています。

2023 年のヴェーバー・ウルフの研究や、AI 検出器が ESL に対して偏見を持っていることを実証した梁の研究など、よく引用される古い研究は、Pangram をベンチマークとしていません。これらの研究は時代遅れであるだけでなく、Pangram はこれらのベンチマークで優れた性能を発揮するのに対し、他の検出器はそうではないことを我々は実証しています。

パングラムは研究者による負荷テストを恐れません。だからこそ、パングラムのAI検出器の精度を研究したい学術研究者には無制限の無料アクセスを提供しているのです。

神話4：AI検出器は不正確である。

人間が書いた作品がAIと判定されたと主張する人々から、度々相談を受けてきました。残念ながら、ここにはいくつかの要因が絡んでいると考えます。

AI検出器は全く役に立たないという主張を、証拠もなく堂々と繰り返す著者や機関がいるため、そう信じる人々も存在する。例えばこの記事では 「2024年半ば時点で、AI生成コンテンツを偶然の確率を上回る精度で確実に識別できる検出サービスは存在せず、イリノイ州立大学はこれらのサービスと一切の関係を持たない」と主張しているが、これは虚偽の主張である。なぜなら、最も精度が低いAI検出ツールでさえ、一部のAIコンテンツを検出できているからだ。 Pangramは偽陽性率1/10,000を誇っている。その開発と方法論（ホワイトペーパーで確認可能）において、実際に観測された誤検知数がこれであり、これは次に優れた商用ソフトウェアよりも約100倍優れている。

検出ソフトウェアが100%正確であることは不可能です。AI検出器は概ね有効ですが、パングラム検出の方がより優れています。 AI検出は100%正確ではない。人間が書いたと主張する2つの文章をパングラム（または任意の検出器）で検証した場合、実際にはAIではないのに両方ともAIと判定される確率と比べ、検出器が誤っている統計的確率は途方もなく低い。これが学校が解決したい問題だ——AIで書かれたと主張するものの、実際にはそうではないという確信である。 パングラムを用いれば、人間が「AIではない」と主張するよりも、はるかに確信を持って文章がAI生成であると判断できる。

神話5：AI検出ツールはGrammarlyのような文章作成支援ツールを検知しない

生成AI支援ツール（例：Grammarly）は検出されないという誤解があります。他の検出ツールではそうかもしれませんが、Pangramは文章中に十分な量の生成AI支援を検出します。つまり、あなたが書いた論文は確かにあなた自身のものですが、AIで「修正」した部分が顕著なためAI使用としてフラグが立っているのです。学生の論文でこの現象は頻繁に見られます。

Grammarlyはもはや単なる文法チェッカーではありません。大規模言語モデルを用いて学生のエッセイを完全に書き換える、本格的なAI支援ツールです。学生がこの方法でGrammarlyを使用し、元の文章の構成や文体を根本的に変更した場合、PangramはそのエッセイをAI生成と判定します。

このため、教師にはAIポリシー（例えばPangramのウェブサイトにある階層システムなど）を採用することを強く推奨します。そうすることで、執筆プロセスにおいてどのようなAIツール支援が許可され、何が不正行為に該当するのかについて誤解が生じないようにするためです。

神話6：AI検出ツールは、誠実な学生に対する虚偽の告発を生み出すことで害を及ぼす。

AI検出の批判者は、学生をAI使用と誤って告発することは、学生の評判と教師の信頼性に修復不可能な損害をもたらすとよく主張する。

しかしながら、パングラムはそれ自体、非難の道具ではない。

私の経験上、生徒の文章でAI使用が検出される場合、その大半は誤解か、単に締め切りのプレッシャーに押しつぶされた善意の生徒によるものです。教師と生徒の対話は、必ずしも対立的な性質を持つ必要はありません。 教師は、この機会を利用して生徒の執筆プロセスを理解すべきだと私たちは考えます。具体的には、生徒が基礎となる資料をどの程度理解しているか尋ね、文書の構成過程を把握するために生徒の修正履歴を確認し、編集過程でAI支援を実際に使用したかどうか、またその方法について説明を求めることです。生徒が意図的に不正行為を行ったと即断するのではなく、こうしたアプローチを取るべきでしょう。

パングラムはAI検出器を金属探知機に例えることが多い：金属探知機が反応しても、すぐに逮捕されるわけではない。むしろ、陽性反応はさらなる対話を開始し、実際に何が起きているのかをより深く理解するための理由となる。

結論

教師がAI検出の強みと限界の両方を理解することは、あらゆるツールと同様に重要です。

パングラムのようなシステムはAI生成テキストの検出において極めて正確ですが、まれに誤りが生じることもあります。

そのため、教師が教室においてどのようなAI支援が許可されるかについて明確な指針・方針・境界線を確立することが極めて重要であり、Pangramによる陽性検出を真剣に受け止めるべき理由もここにある。ただし、AI利用に関する対話には共感と好奇心をもって臨むべきである。Pangramによる陽性検出は、生徒の執筆プロセスを深く理解することなく、単独で学業不正行為の罰則や非難に用いるべきではない。

引き続きご相談されませんか？ジェイソンが喜んでお話しし、教室向けのAIポリシー策定についてさらにご指導いたします。連絡先はjason@pangram.comです。