AI検出に関する誤解と誤った認識

ジェイソンは、ロサンゼルスのニュー・ローズ・スクールで英語と哲学の教師を務めています。

はじめに

よく、「AI検出ツールには何ができるのか、何ができないのか」という質問を受けます。今日は、AI検出に関するよくある誤解や誤った認識について探っていきましょう。さっそく見ていきましょう！

誤解その1：AIによる検知に頼るのではなく、教育にAIを取り入れ、生徒にその活用方法を教えるべきだ。

教育にAIを取り入れるべきであり、生徒たちにAIの活用方法を教えるべきです！しかし、AIの活用とAI検出を対立させるのは、本来矛盾しない二つの概念を無理に結びつけているに過ぎません。AI検出は、AI導入のための不可欠な前提条件であり、技術に対して適切な安全策を設け、その技術が乱用されることなく、支援的な役割として活用されることを保証するためのものです。

新しい技術が登場し、何らかの規制が提案される際、ある種の「ルダイト的誤謬」が生じがちだ。今回のケースでは、「検知＝抑止」という考え方がそれにあたるが、これは誤りである。

実際には、その逆が当てはまります。強力なAI検出ツールを求めている人々は、たいてい教室でAIを最も活用したいと考えている人たちです。彼らはツールを使いたい一方で、そのツールが悪用されることを望んでいません。一方で、「これが未来だ」という理想のもと、AIの未来に熱狂し、教室でAIツールを全面的に導入したいと考える人々もいます。彼らはいかなる制限も歓迎しません。 それでもなお、AIを嫌悪し、「紙とペン」派を貫く人々も存在する。彼らは、AIに対する唯一の正当なアプローチは、一切導入しないことだと決めた個人や学校である。 授業がコンピュータ化以前の時代に戻れば、検知の必要性はなくなります。しかし実際には、AI検知を求める人々は、たいてい教室での学習にAIを最大限活用することに最も関心を持っている人々です。彼らは、AIを用いて教育手法を実験し、その幅を広げていく過程で、不必要な制約を避けたいと考えているのです。私たちには、これこそが正しいアプローチのように思えます。

誤解その2：AI検出ツールは、その手法を明らかにしない「ブラックボックス」であり、したがって信頼できない。

他のAI検出ツールが手法について透明性を欠いているのは事実ですが、Pangramはその手法を公に公開しています。Pangramが手法を公開しているのは、研究コミュニティの信頼を得ること、そしてソフトウェアの精度が高い理由を事実に基づいて示すことが重要だと考えているからです。Pangramは、自社ウェブサイト上で、その手法に関するインタラクティブなアニメーションによるデモンストレーションを提供しています。

また、PangramはAI関連の学会や学術誌において、自社の技術的革新の一部を発表しています。例えば、同社は最近、COLINGカンファレンスにおいて、同システムがヒューマナイザーやパラフレーズツールに対して高い耐性を持つことを示す研究成果を発表しました。

誤解その3：AIによる検出技術は、学術的な査読や検証を受けていない。

パングラムの研究は、ピアレビューを経ているだけでなく、誰でもいつでも閲覧することができます。

Pangramは最近、複数の査読付き論文で取り上げられ、比較評価の対象となりました。Pangramは、複数のオープンソースおよび市販のAI検出器が参加したコンペティション「COLING Shared Task」において、最も正確かつ堅牢な検出器として賞を受賞しました。

また、メリーランド大学の最近の研究では、PangramがAI生成テキストの検出において、訓練を受けた人間の専門家を上回る性能を発揮する唯一の自動AI検出ツールであることが示されました。さらに、ヒューストン大学の別の研究論文では、Pangramが翻訳に対しても高い耐性を示す唯一のAI検出ツールであることが実証されています。

2023年のWeber-Wulffの研究や、AI検出器がESLに対してバイアスを持っていることを示したLiangの研究など、よく引用される過去の研究では、Pangramのベンチマーク評価は行われていない。これらの研究は時代遅れであるだけでなく、我々は、他の検出器では達成できないような優れた性能を、Pangramがこれらのベンチマークで発揮することを実証した。

Pangramは研究者による厳格な検証を厭いません。そのため、PangramのAI検出器の精度を検証したい学術研究者には、無制限の無料アクセスを提供しています。

誤解その4：AI検出ツールは精度が低い。

「人間が書いたのにAI生成と判定された」と訴える人から、よく相談を受ける。残念ながら、ここにはいくつかの要因が絡んでいると思う。

著者や研究機関が証拠も示さずに平然とそう言い続けているため、AI検出ツールはまったく役に立たないと信じている人々がいます。 例えば、この記事を例に挙げよう。 そこでは、「2024年半ばの時点で、AI生成コンテンツを偶然の確率を上回る精度で確実に特定できる検出サービスは存在せず、イリノイ州立大学はこれらのサービスとは一切関係がない」と主張しているが、これはでっち上げの主張である。なぜなら、最も精度の低いAI検出器でさえ、ある程度のAIコンテンツを検出できているからだ。 Pangramは1万分の1という誤検知率を誇っている。これは、ホワイトペーパーで公開されている開発手法や方法論において、実際に確認された誤検知数がその数値であり、市場で次に優れた商用ソフトウェアよりも約100倍優れているからだ。

検出ソフトが100%正確であるということはあり得ません。それは不可能です。AI検出ツールは概して優秀ですが、Pangramの検出精度はさらに優れています。 AI検出が100%正確なことはありません。もし、人間が書いたと主張する2つの文章をPangram（または任意の検出ツール）にかけたところ、どちらも実際にはAIで書かれていないにもかかわらずAIとしてフラグが立った場合、検出ツールが間違っているという統計的な確率は、その文章が実際にAIによって書かれたという確率よりも、途方もなく低いのです。これが学校が解決したい問題です。つまり、AIで書かれていないものをAIで書かれたと断言する際の確信度の問題です。 パングラムを使えば、ある文章がAIによるものであるという確信を、それがそうではないと主張する人の言葉よりもはるかに強く持つことができます。

誤解その5：AI検出ツールは、Grammarlyのような文章作成支援ツールを検出できない

「Grammarlyのような生成AIツールを使っても検出されない」という誤解があります。他の検出ツールではそうかもしれませんが、Pangramなら文章作成における生成AIの関与を十分に検知します。つまり、あなたが書いた論文は確かにあなた自身のものであっても、「推敲」のために多量のAIツールを使用したため、AI使用としてフラグが立てられてしまうのです。学生たちには、こうしたケースを頻繁に見かけます。

Grammarlyはもはや単なる文法チェッカーではありません。これは大規模言語モデルを用いて学生のエッセイを完全に書き換える、本格的なAIアシスタントツールです。もし学生がGrammarlyをこのように使用し、自身のオリジナル文章の構成や文体を根本的に変更した場合、PangramはそのエッセイをAI生成のものとして検知します。

だからこそ、私は教師の皆さんに、Pangramのウェブサイトに掲載されているような段階別ガイドラインなどのAI利用方針を策定することを強く推奨します。そうすることで、執筆プロセスにおいてどのようなAIツールの利用が許容され、何が不正行為に当たるのかについて、誤解が生じないようにするためです。

誤解その6：AI検出ツールは、真面目な学生に対して不当な非難を招き、害を及ぼす。

AI検出に反対する人々は、学生をAIの使用で誤って非難することは、学生の評判や教師の信頼性に取り返しのつかない損害を与えるとよく指摘している。

しかし、パングラムはそれ自体、非難のための道具というわけではない。

私の経験上、学生の文章からAIの使用が検出された場合、そのほとんどは誤解であるか、あるいは単に締め切りのプレッシャーに押しつぶされてしまった善意の学生によるものである可能性が高いです。教師と学生との間の簡単な会話は、必ずしも対立的なものになる必要はありません。 私たちは、教師がこの機会を利用して、学生の執筆プロセスを理解すべきだと考えています。つまり、学生に基礎となる教材をどの程度理解しているかを尋ね、修正履歴を確認して文書がどのように作成されたかを把握し、編集過程でAI支援を利用したかどうか、またその方法について説明を求めるべきであり、すぐに「学生が不正を意図していた」という結論に飛びつくべきではないのです。

パングラムは、AI検出器を金属探知機に例えることがよくあります。金属探知機が反応したからといって、すぐに逮捕されるわけではありません。むしろ、反応があったということは、さらなる対話を始め、実際に何が起きているのかを深く理解するためのきっかけとなるのです。

結論

他のツールと同様、教師がAIによる剽窃検出の強みと限界の両方を理解することが重要です。

パングラムのようなシステムは、AI生成テキストの検出において極めて高い精度を誇りますが、ごくまれに誤検出が起こることもあります。

だからこそ、教師は教室において、どのようなAI支援が許容されるかについて明確な指針、方針、および境界線を定めることが極めて重要です。また、Pangramによる「陽性判定」は真剣に受け止めるべきですが、AIの利用に関する議論には共感と好奇心を持って臨む必要があります。Pangramによる陽性判定は、生徒の執筆プロセスを深く理解することなく、それ単体で生徒を懲戒したり、学術的不正行為で非難したりするために決して利用されてはなりません。

引き続きお話しませんか？ジェイソンが、教室でのAIポリシーの策定について、喜んでご相談に応じ、さらに詳しいアドバイスをご提供いたします。ご連絡はjason@pangram.com までお願いいたします。