AIに関する学術的誠実性の問題において、証拠を収集する方法

本記事の構想に協力いただき、また本記事で使用した画像資料の一部を提供してくださった、カリフォルニア大学デービス校（UC Davis）の学生支援・司法担当副部長、マリリン・ダービー氏に感謝申し上げます。また、学生による文章とAIによる文章の特徴を区別するための優れた参考資料を提供してくださった、カリフォルニア州ビューポイント・スクールの英語科主任、アマンダ・クラーク氏にも感謝いたします。

提出された小論文を読み、直感的に「これは自分のクラスの生徒が書いたものではない」と感じたことはありませんか。Pangramで分析してみると、その文章がAIによって生成されたものである確率が99.9%と判定されたとします。

あるいは、あなたが学術的誠実性担当官であり、ある教授が学生の課題についてAIによる剽窃の疑いを報告してきたにもかかわらず、その学生と保護者が「学生が自分で書いたものだ」と断固として主張している、といったケースもあるかもしれません。

その文章を読んでみると、AIが書いたものだと一目でわかる特徴がすべて備わっている。「今日の技術の時代において」という書き出しで始まる。その学生は、著者が「多様な視点の織りなす豊かなタペストリーを通じて、細部を精巧に織り上げている」と説明している。文法的に完璧で、構成も整ったそのエッセイは、「結論として……」あるいは「総じて……」といった定番のフレーズで締めくくられている。

心のどこかで、その生徒が課題を自分で書いていないことは分かっているものの、それを証明する手立てがない。説得しようとしている相手が「AI検出ツールは機能しないし、信用できない」とか「確実に判断することは不可能だ」と言ってきたら、あなたならどうしますか？

以前もお話しした通り、AIによる検出結果が陽性となったとしても、それはあくまで議論の始まりに過ぎず、学生に対する懲戒処分を検討する際には、それだけでは決して決定的な根拠とはなりません。当社は自社製品の精度に自信を持っていますが、重大な問題に関わる場合には包括的なアプローチを取るべきだと考えています。また、学生の課題が不正なものであるか、あるいは独自性がないものであることを合理的な疑いの余地なく立証するためには、AIによる検出結果が出た後も、さらなる証拠を収集する必要があります。

本日は、こうしたケースにおいて追加の証拠を収集するための7つの戦略について解説します。

1. より詳細な文献的証拠を収集する

AIが生成した文章は、特定のフレーズや単語の選び方だけで「見破られる」ことはありません。Pangramは、テキスト内に散在する多くの微弱なシグナルの蓄積に基づいて判断を下します。同様に、AIが生成したテキストに含まれる多くのシグナルを探し出し、それらを総合的に活用することで、AIによるシグナルが単なる偶然で現れたものではないことを立証することができます。まずはAIによく使われるフレーズを探し、それらが頻繁に現れるかどうかを確認すべきです。明らかなケースでは、AIが生成した文章にはこうしたフレーズがあまりにも多く含まれているため、それが偶然であるとは言い難いものです。以下のサンプルがその例です。

AIに関する一般的なフレーズや用語

ジェナ・ラッセルのガイドでは、AI分野でよく使われる用語や表現パターンの包括的なリストを確認できます。

Pangramは、これらのフレーズとその出現頻度を自動的に抽出することも可能です。重要なのは、これらのフレーズのどれ一つを取っても、そのテキストがAIによって生成されたという証拠にはならないということです。しかし、これらのフレーズが多数組み合わさっている場合は、極めて有力な証拠となります。なぜなら、これらすべてのフレーズが偶然に現れる可能性は、ほぼ皆無だからです。

AIによるフレーズ出現頻度分析の例

個々の単語やフレーズというレベルを超えて、AIによる文章のより高次な特徴にも注目することができます。

学生による文章とAIによる文章を見分けるためのガイド

アマンダ・クラークによるこの優れたガイドでは、学生が書いた文章とAIが生成した文章に見られる、スタイルやトーンの違いについて解説しています。このガイドを要約すると、主なポイントは以下の通りです：

• AIによる文章生成は、具体的な根拠に踏み込むことを好まず、曖昧な一般論で語ろうとする傾向があります。もし具体的な根拠を挙げようとしても、その詳細をでっち上げてしまう可能性があります。作品に対する学生自身の考察や、具体的な文章の引用は、AIチャットボットがまだ再現できない、学生の文章特有の特徴です。
• AIによる文章作成では、学生の視点からそのテーマについて真摯に考察することはできない。
• AIによる文章は、常に完璧な文法を用い、滑らかで中立的な口調で書かれています。

また、生徒が書いた本来の文章とAIが生成した文章が混在すると、口調や文体が唐突に変わることも少なくないという点にも留意すべきである。

2. 手続きの証明書類を収集する

学生が自ら執筆する場合、その作品は、ブレインストーミング、構成の練り上げ、下書き、推敲、校正といった一連の執筆プロセスを経て完成します。一方、生成AIから盗用された作品の場合、多くの場合、単にコピー＆ペーストされたものに過ぎません。

生徒の執筆過程の証拠を確認する簡単な方法は、単に「資料」を提示してもらうことです。具体的には、メモやブレインストーミングのメモ、構成案などを提出してもらうのです。もしそれが最終稿であれば、下書きを見せてくれるよう依頼しましょう。多くの場合、これだけで執筆過程の証拠を確認するのに十分です。不正をしていない生徒はそれを証明することを恐れませんし、不正をしている生徒は往々にしてこうした資料を提示できないからです。

生徒の執筆プロセスを確認するためのツールも利用可能です。例えば、「Draftback」は、Google ドキュメント上で生徒の執筆履歴を再生できる Chrome 拡張機能です。また、「Brisk Teaching」、「Cursive Technologies」、「Visible AI」といったツールも知られています。これらを「Pangram」と組み合わせて使用すれば、非常に強力なツールとなります。

ドラフトバックのリプレイデータの例

上記のDraftbackのトレースでは、生徒がどこで文章を編集していたか、あるいは一度に大量のコピー＆ペーストが行われたかどうかを確認できます。

執筆支援ツールそのものを、絶対的な証拠と見なすべきではありません。現在、教員が学術的誠実性を確認するために編集履歴をチェックしていることを知っている学生たちは、コピー＆ペーストを行うと不審な点が見つかりやすいことを熟知しています。中には、ChatGPTの出力結果をそのまま自分の文書に書き写し、あたかも自分で書いたかのように見せかける学生もいるでしょう。

さらに悪いことに、この「Human Auto Typer」というChrome拡張機能のように、変更履歴を偽造するソフトウェアツールが現在存在している。

「Human Auto Typer」Chrome拡張機能の例

生徒の執筆過程や推敲の経緯を確認することは有益ですが、現在では生徒がこうした単純なチェックを回避する方法が存在することに注意が必要です。

3. 引用情報の妥当性を確認する

生成AIは、引用をでっち上げたり、出典を誤って引用したり、出典の明示において明らかに誤った記述をしたりすることがよくあります。AIチャットボットは、自身の主張を裏付ける出典が分からない場合、たいていの場合、平然と架空の引用を作り上げてしまいます。以下のClaudeの例をご覧ください。

クロードが引用をでっち上げる例

引用ミスは、AI関連のケースにおいて最も説得力のある証拠の一つとなることがよくあります。なぜなら、研究資料を意図的に偽造すること自体が、学術的誠実性への違反にあたるからです。多くの場合、参考文献一覧や引用文献リストを確認し、そこに記載された論文が実在するものかどうかを調べるだけで済みます。最初の論文をGoogleで検索した際に実在しないことが判明した場合、それは違反の極めて有力な証拠となります。

繰り返しになりますが、注意が必要です。実際の引用があるからといって、その学生がAIを使用していないとは断言できません。「Deep Research」や「Perplexity」といった新しいツールは、実際に正しい出典を引用しており、チャットボットも虚偽の出典を提示しないよう急速に進化しています。

4. 生徒が自分の文章を理解していることを確認する

学生の提出物がオリジナルか、それとも偽造されたものかを確認する最も簡単な方法の一つは、その論文について質問をすることです。提出物の文章レベルが学生の実際の文章レベルと一致しない場合は、文章の中で最も複雑な部分について尋ねてみてください。 低学年の学生の場合、ChatGPTが頻繁に使用するものの、そのレベルの学生が決して使わないような難しい単語（例えば「公理的（axiomatic）」など）の意味を尋ねるだけで、学生がAIを使用したことを認めてしまうことがよくあります。

大学レベルでは、学生に斬新で独創的なアイデアを考案することが求められるため、そのアイデアをどのように思いついたのかについて質問してみるとよいでしょう。多くの場合、これは執筆プロセスに関する議論へとつながり、第2項で説明したように、文章がどのように形作られていったのかについての情報を収集することができます。

共感を持ち、安心して話し合える場を設けることが重要です。学生との学術的誠実性に関する話し合いは、学生にとって大きなストレスとなる場合があり、証拠を突きつけられた際に防御的な態度をとることもあります。学生との対話を進める上で最善の方法は、単に何が起きたのかをしっかりと理解し、将来的にその学生が成功できるよう最善を尽くすことです。 学生に過ちを正す機会を与え、なぜ自分で課題に取り組むのではなくAIに頼らざるを得なかったのかを説明させてください。また、AIの使用が意図的な不正行為ではなく、誤解によるものだった可能性もあるという事実に対して、柔軟な姿勢で臨むことをお勧めします。こうした対話の進め方については、以前のブログ記事でも詳しく取り上げています。

5. その作品を、その生徒の過去の作品と比較する

特に低学年の生徒や成長過程にある生徒の場合、AIによる文章は、生徒の文章力から予想されるレベルをはるかに上回っていることがよくあります。

学生の過去の作文を参照することをお勧めします。大学には、他の授業で提出された小論文を閲覧できる中央データベースが整備されていることがよくあります。その学生を初めて担当する場合は、以前の担当教員に、その学生の作文のサンプルをいくつか提供してもらえるよう遠慮なく依頼してください。

文章力が低い生徒が、突然、スペルや文法が完璧な文章を書くようになるのは、懸念すべき事態である。

6. その作品をChatGPTの回答と比較する

ChatGPTの出力には、それほど大きなばらつきが見られることはめったにありません。同じプロンプトをChatGPTに2回入力しても、まったく同じテキストが返ってくることはありませんが、偶然の一致とは思えないほど類似した内容になることがよくあります。

ChatGPTとの並列比較例

Pangramの「Side By Side」機能を使用すると、ChatGPTの出力結果の横に、ユーザーが投稿した内容を自動的に表示させることができます。フレーズが完全に一致するわけではありませんが、意味が非常に似ているフレーズをハイライト表示し、関連付けます。

もう一つの方法は、ChatGPTから複数の回答を生成し、その類似性を確認することです。もし提出された回答が他の回答の中から容易に見分けがつかない場合、それもAIによるものと考えられます。

課題の内容が分かっていれば便利です。そうすれば、その課題自体をChatGPTへのプロンプトとして直接使うことができます。しかし、課題の内容が分からない場合でも、妥当なプロンプトを考え出すことは可能です。手元のエッセイのような文章が生成されるほど具体的でありながら、単にコピーしただけで全く同じものになってしまうほど具体的ではない、適切なプロンプトを考えてみてください。 この際、ChatGPT自体を活用するのも有効な手段です。エッセイをChatGPTに貼り付け、「この論文が扱っている主なアイデア、トピック、問いは何ですか」と尋ねてみてください。また、複数のプロンプトを試して、意味的にかなり似たエッセイが生成されるか確認し、文体も一致しているかチェックしてみましょう。

7. さらに多くの意見を募る

以前取り上げたメリーランド大学のラッセルらによる研究によると、専門家はテキストがAIによって生成されたものかどうかを92.7%の精度で判別できるという。しかし、5人の専門家からなる委員会が多数決で判断した場合、その精度はほぼ完璧なものとなる（研究者が調査した300件のテキストにおいて、多数決による判定の精度は100%であった）。

部署内や学校内で、AI生成テキストを目視で判別する方法を同僚や生徒に指導することをお勧めします。そうすれば、判断が難しいケースに遭遇した際、複数の意見を求めることができるようになります。各判定者がどのような兆候を捉えているかについて話し合うことは、文章の真偽を評価する際の自信を深めるための有効な手段です。

さらに、法的な問題に関わるあらゆるケースと同様に、学生の意思とは無関係な理由により、個人が無意識のうちに、あるいは意識的に判断に偏りを持たせてしまう可能性があります。学生が学術的誠実性に違反したかどうかを判断する際に複数の委員からなる委員会を設置することは、判断の精度を高めるだけでなく、最終的には手続きの公平性を高めることにもつながるはずです。

AI関連訴訟における追加証拠の重要性

このブログ記事では、スコア以上の情報を活用し、パングラム（Pangram）やその他のツールを用いて、AIの不正使用を立証したり、AIによるカンニングの疑いをかけられながらも実際には無実である学生を擁護したりするための根拠を構築する、さまざまな方法について検討してきました。

事件の結末を決定づける上で、絶対的に確実な証拠など一つとして存在しませんが、証拠を収集・蓄積すればするほど、学術的誠実性に関する手続きはより公正かつ正当なものとなります。