パングラムが学部生および大学院生のエッセイに与える影響

我々は以前、PERSUADEコーパス（多様な中高生による約26,000編のエッセイからなるデータセット）を用いてPangramの評価を行った。今回の評価では、その分析をさらに発展させ、学部生および大学院生の執筆サンプル、特に母語が英語ではない大学院生の執筆サンプルを用いて、Pangram 4.1のベンチマーク評価を行った。

このベンチマークでは、Pangram 4.1 を使用して、英語を第二言語とする学部生および大学院生が執筆した 15,420 件の文書からなる 9 つのコーパスをスキャンしました。これらの文書は、3 大陸にわたる 16 カ国の大学で執筆・収集されたものであり、中国語、アラビア語、日本語、スペイン語、ロシア語など、51 の母語グループによる文章が含まれています。

パフォーマンス

この評価では、合計で950万語が対象となり、最も長い文書は10,916語、最も短い文書は52語でした。

Pangram 4.1 は、9つのデータセットすべてにおいて誤検知がゼロでした。

すべてのデータセットには、著者の第一言語に関するデータが含まれており、その多くは課題の種類、クラス、学年、または学位プログラムに関する情報も含まれていた。これらの詳細は、以下にコーパスごとにまとめた。

データセットの詳細

本分析では、2022年以前に外部で人間によって作成された複数のデータセットから抽出した学部生のエッセイを用いて、Pangram 4.1を評価する。第一言語は、L1と表記されることもある。

• ArCC：アラビア語を第一言語とする学士・修士課程の学生が英語で執筆した、論説・考察エッセイ779編のコレクション。各テキストの語数は53語から889語の範囲であった。
• 名古屋大学の研究者らが作成した「名古屋英語改革インターランゲージコーパス（NICER）」は、日本語を母語とする学部生が監督下で1時間かけて執筆した英語のエッセイ381編を収録したものです。
• 「中国語および英語学習者言語（CELL）コーパス」は、香港オープン大学の学部生が執筆した2,850編のエッセイを収録したものです。母語には広東語や普通話などが含まれます。これらのエッセイは、自宅での課題として提出されたもので、文字数は91語から5,929語まであり、平均文字数は1,307語です。
• 「トルコ人学部生による英語作文コーパス（TUWE）」は、356語から1,312語の範囲で、平均778語の長さを持つ説得文341編を収録したコレクションである。これらの作文は、エルジエス大学のトルコ語を母語とする学生たちが英語で執筆したものである。
• 「ザイード・アラビア語・英語バイリンガル学部生コーパス（ZAEBUC）」は、アラブ首長国連邦のザイード大学の学生が執筆した短編エッセイのコレクションである。研究者らは2019年8月から9月にかけてこのデータセットを収集した。 本稿では、平均228語で、欧州言語共通参照枠（CEFR）レベルがA1からC1までの383編の英語エッセイからなるサブセットに関する結果を報告する。さらに、215編のアラビア語エッセイのサブセットに対してもPangramを実行し、計397名の学生が執筆した603編のエッセイを分析対象とした。Pangram 4.1は、いずれのサブセットにおいても誤検知はゼロであった。
• 「南アフリカ多言語学習者学術テキストコーパス（SAMuLCAT）」は、南アフリカの学部生が、スペルチェックや辞書の助けを借りながら自宅課題として作成した文章のコレクションである。ジャンルには、論証的・説得的エッセイ、ディスカッション、物語文などが含まれる。エッセイの文字数は52語から5,233語の範囲で、平均は687語である。 このサブセットの執筆者の第一言語（L1）には、セソト語、イズールー語、セツワナ語、イシコサ語などが含まれる。上記では、4,839例の英語サブセットに関する結果を報告したが、さらに第一言語が英語のエッセイ579例をスキャンし、合計5,660例のエッセイを分析した。いずれのサブセットにおいても、誤検知はゼロであった。
• 「ミシガン大学上級学生論文コーパス（MICUSP）」は、ミシガン大学の学部4年生および大学院生が執筆した、AまたはA-の評価を受けた成績優秀な論文829編を収録したコレクションであり、平均語数は3,157語である。このうち、英語が母語でない学生が執筆した論文は148編で、学部生の論文が38編、大学院生の論文が110編である。 このサブセットに含まれる第一言語（L1）には、中国語、韓国語、スペイン語、ロシア語、ヒンディー語などがあり、論文は心理学、社会学、工学、生物学、人文科学のコースを含む16の分野に及んでいます。上記では英語以外の第一言語（L1）を持つサブセットについて報告していますが、さらに、第一言語が英語である681編の論文に対してもPangram 4.1を実行したところ、いずれのサブセットにおいても誤検知は確認されませんでした。
• USaskデータセットは、カナダの複数の大学に在籍する51名の第二言語としての英語学習者（L2）が執筆した141編の大学院生向け文献レビューの集まりであり、これらの学生の英語能力は国際英語能力テスト（IELTS）で6.5から8.5の範囲に及んでいます。学生たちは、言語学、教育学、政治学などのプログラムに在籍していました。レビューの文字数は264語から4,391語の範囲で、平均は1,028語でした。

また、『Pangram 4 技術報告書』には1つのデータセットが記載されており、ここではPangram 4.1向けにその内容を転載する。

• 「アジアの英語学習者国際コーパス・ネットワーク（ICNALE）」は、英語で書かれた5,593編の制限時間付きエッセイからなるデータセットの「エッセイ（WE）」モジュールを公開した。ICNALE WEには母語に関するデータは含まれていないが、中国、香港、インドネシア、日本、韓国を含むアジア10カ国の大学生による英語の作文が収録されている。

エッセイの選択肢が幅広いことから、このベンチマークには、持ち帰り課題から時間制限付きエッセイまで、さまざまな課題形式、制限なしの支援から監督付き試験まで、さまざまな支援レベル、英語能力レベル、および学位プログラムが含まれています。

方法論

以下の条件を満たす研究用データセットを検索しました：

• 学部生または大学院生の執筆作品集。ただし、進学希望者、非学位取得者、高校生による作品、および大学出願用エッセイは除く。
• L1または英語学習者のステータスに関するメタデータ、あるいは別途指定された内容（例えば、データセット全体が1つのL1グループに由来する場合など）が含まれる
• 主にエッセイ、レポート、長文回答、文献レビュー、論文、創作などから構成されており、短答形式の回答のみで構成されるデータセットは除外される。
• 100件以上の文書を含み、その単語数の中央値が175語を超えるもの

重複する文書を除去し、50語未満の項目はすべて削除しました。それ以外については、項目に対する前処理は最小限にとどめました。各テキストをPangram 4.1で2回スキャンすることにしました。1回目は前書きや参考文献を除外して、2回目はそれらを含めてスキャンしましたが、結果は変わりませんでした。また、同じ15,420件のテキストを以前のモデルであるPangram 4でもスキャンしたところ、こちらも誤検知はゼロでした。

いつものように、我々は「誤検知」について厳格な定義を採用しています。すなわち、文書内のいずれかのセグメントが「AI」または「AI支援」とフラグ付けされた場合、その文書を誤検知とみなします。

Pangram 4.1はこれらの文書を用いて学習や調整が行われていないため、これはPangramが大学生による未見の文章に対してどのような性能を発揮するかを検証する、公平なテストとなります。

この評価の過程で、特定の基準を満たさなかったため（主に、母語が英語の著者によって書かれたという理由で除外されたもの）見出しの結果には含まれていなかった1,743件のテキストを追加でスキャンしたところ、そこでは誤検知は0件でした。