パングラムは、さまざまな学生の作文において、誤検知が0件であることを示している

Pangramがさまざまなタイプの執筆者に対してどのような性能を発揮するかを理解することは重要です。執筆者の人口統計情報を含む、人間が書いたエッセイのデータセットを入手するのは容易ではありませんが、障害のある学生、有色人種、英語を母語としない人々、経済的に恵まれない層など、さまざまな背景を持つ執筆者が作成したテキストに対してPangramの性能を評価することは、このモデルがすべての執筆者を公平に扱っているかどうかを理解する上で不可欠です。

PERSUADEデータセットは、この課題の解決に役立ちます。生徒の作文を評価するための偏りのないアルゴリズムの開発を促進するために構築されたPERSUADE（「Persuasive Essays for Rating, Selecting, and Understanding Argumentative and Discourse Elements」の略）は、2010年から2020年の間に米国の中学生および高校生が執筆した約2万6千編の作文からなる、ラベル付きデータセットです。 このデータセットは、多様な背景や能力レベルの生徒を対象としており、各エッセイには、学年、性別、民族、社会経済的背景など、執筆者に関する人口統計情報がラベル付けされています。

PERSUADEデータセットは、2つの理由からPangramを評価する絶好の機会を提供しています。第一に、PangramはPERSUADEデータセットを用いて学習していないため、このデータセットを用いて、Pangramがこれまでに見たことのない学生の作文に対してどの程度汎化できるかを検証することができます。第二に、PERSUADEの人口統計データ（社会的弱者層による作文サンプルを含む）により、Pangramがさまざまな人口統計学的グループにおいて公平に機能するかどうかを検証することができます。

主なポイント：多様な学生のエッセイで構成されるPERSUADE 2.0データセットを用いてPangram 4を評価したところ、25,996編のエッセイすべてにおいて誤検知はゼロでした。また、障害の有無、性別、学年、人種・民族、英語学習者の有無、経済的困難の有無といった項目ごとに結果を検証しました。Pangramは、報告されたすべてのサブグループにおいて、誤検知を一切生じさせませんでした。

以下の内訳は、PERSUADEデータセットにおいて研究者が各人口統計学的属性をどのように定義したかを説明するとともに、各グループに含まれるエッセイの数を示しています。

障がい

PERSUADE 2.0 データセットにおける「障がい状況」とは、IEP（個別教育計画）または504プランの対象となっている生徒を指し、幅広い学習障害や健康状態を持つ生徒が含まれる可能性があります。

性別

PERSUADEデータセットにおける性別は自己申告によるもので、男性と女性の割合はほぼ半々です。パングラムを用いた検証では、どちらの性別グループにおいても誤検知は確認されませんでした。

学年

Pangram 4は、調査対象となったすべての学年レベルにおいて誤検知がゼロであり、これはPangramがさまざまなライティング能力レベルに対して高い堅牢性を備えていることを示しています。

民族

PERSUADEデータベースに登録されている執筆者の大半は白人（45％）とされており、次いでヒスパニック系（25％）、黒人（19％）の順となっており、これは米国の学生人口の人口構成と概ね一致している。

英語学習者（ELL）の認定

初期の研究の中には、旧式のAI検出プログラムが、第二言語としての英語や英語学習者に対してバイアスを示していた可能性を示唆するものもあったが、Pangramはこうした著者に対して実質的にバイアスを示しておらず、PERSUADEデータセットにおける英語学習者（ELL）の学生に対する観測されたFPRは0%である。

経済的格差

PERSUADEコーパスにおける「経済的恵まれない状況」とは、学校給食の無償化・割引や補足的栄養支援プログラム（SNAP）など、特定の連邦政府による支援の対象となる学生の状況を指す。

結論

PERSUADE 2.0 コーパスに含まれる、人間が執筆した全 25,996 編のエッセイにおいて、Pangram 4 は、障害の有無、性別、学年、民族、英語学習者の有無、経済的恵まれない状況など、あらゆるサブグループにおいて誤検知をゼロに抑えました。この結果は、Pangram が多様な執筆者のグループに対しても良好な汎化性能を示しており、これらの執筆者の作品を AI 生成と過度に誤分類することがないことを示しています。

私たちは、すべての著者グループにおいて誤検知を可能な限り少なくすることを目指しており、継続的な評価が重要です。しかし、PERSUADE 2.0の範囲内において、Pangram 4はあらゆる人口統計学的サブグループで誤検知がゼロであることを示しています。

参考文献

• PERSUADE データセット — The Learning Agency Lab
• PERSUADE 1.0 論文
• 『PERSUADE 2.0』論文
• GitHub上のPERSUADE 2.0コーパス