潘格拉姆在本科生和研究生作文中的表现
在涵盖9个数据集和51个母语群体的15,420篇由将英语作为第二语言的本科生和研究生撰写的论文中，Pangram 4.1未产生任何误报。
我们此前曾在PERSUADE语料库上对Pangram进行了评估，该语料库包含近26,000篇来自不同背景的中学生和高中生的作文。在本次评估中，我们扩展了该分析范围，针对一组本科生和研究生的写作样本对Pangram 4.1进行了基准测试，特别是针对母语非英语的研究生的写作样本。
在本次基准测试中，我们使用 Pangram 4.1 对 9 个语料库中的 15,420 份文档进行了扫描，这些文档由将英语作为第二语言的本科生和研究生撰写。这些文档是在 3 大洲 16 个国家的大学中撰写和收集的，涵盖了 51 个母语群体的写作作品，包括汉语、阿拉伯语、日语、西班牙语和俄语。
性能
本次评估共包含950万个单词，其中最长的文档包含10,916个单词，最短的文档包含52个单词。
| 数据集 | n | FPR |
|---|---|---|
| ArCC | 779 | 0% |
| NICER | 381 | 0% |
| CELL | 2,850 | 0% |
| TUWE | 335 | 0% |
| SAMuLCAT | 4,810 | 0% |
| ZAEBUC | 383 | 0% |
| MICUSP | 148 | 0% |
| 萨斯喀彻温大学 | 141 | 0% |
| ICNALE WE | 5,593 | 0% |
| 全部 | 15,420 | 0% |
Pangram 4.1 在全部 9 个数据集上均实现了零误报。
所有数据集都包含有关作者第一语言的信息，其中许多还包含关于作业类型、班级、年级或学位项目的信息——这些细节在下文按语料库进行了汇总。
数据集详情
在本次分析中，我们利用Pangram 4.1对来自多个外部、由人类撰写且发布于2022年之前的数据集中的部分本科生论文进行了评估。母语有时用L1表示。
- ArCC：一套由以阿拉伯语为第一语言的本科生和研究生用英语撰写的779篇论说文和反思性文章。这些文章的字数在53至889词之间。
- 由名古屋大学研究人员编纂的“名古屋英语改革跨语言语料库”（NICER），收录了381篇由日语母语本科生在监考下用英语撰写的、时长为一小时的作文。
- “中文与英语学习者语言（CELL）语料库”收录了香港公开大学本科生撰写的2,850篇论文。学生的母语包括粤语、普通话等。这些论文是学生完成的带回家完成的学术课程作业，字数范围在91至5,929字之间，平均字数为1,307字。
- 《土耳其本科生英语写作语料库》（TUWE）收录了341篇说服性文章，字数在356至1,312之间，平均长度为778个单词。这些文章均由埃尔吉耶斯大学的母语为土耳其语的学生用英语撰写。
- 扎耶德阿拉伯语-英语双语本科生语料库（ZAEBUC）是一套由阿联酋扎耶德大学学生撰写的短文集合。研究人员于2019年8月至9月期间收集了该数据集。 上文报告了英语子集的分析结果，该子集包含383篇短文，平均每篇228个单词，其欧洲语言共同参考框架（CEFR）等级范围从A1到C1。此外，我们还对包含215篇短文的阿拉伯语子集运行了Pangram，总计603篇由397名学生撰写的短文。Pangram 4.1在这两个子集中均未出现任何误报。
- 南非多语言学习者学术文本语料库（SAMuLCAT）是一套由南非本科生撰写的写作作品集，这些作品作为带回家完成的作业，在撰写过程中使用了拼写检查和词典辅助工具。文体包括论证性或说服性文章、讨论文以及叙事文。文章字数范围为52至5,233词，平均为687词。 该子集作者的第一语言（L1）包括索托语、祖鲁语、茨瓦纳语、科萨语等。上文报告了我们针对4,839篇英语子集样本的研究结果；此外，我们还扫描了579篇母语为英语的论文，总计5,660篇论文。我们发现这两个子集中均未出现任何误报。
- 《密歇根大学高年级学生论文语料库》（MICUSP）收录了829篇成绩优异（获得A或A-等级）的论文，这些论文由密歇根大学的本科高年级学生和研究生撰写，平均篇幅为3,157个单词。其中，148篇由非英语母语学生撰写：38篇本科生论文和110篇研究生论文。 该子集的母语（L1）包括普通话、韩语、西班牙语、俄语、印地语等，论文涵盖16个学科领域，包括心理学、社会学、工程学、生物学及人文学科课程。本文报告了上述非英语母语的子集；此外，我们还对681篇英语母语的论文运行了Pangram 4.1，结果发现两个子集中均未出现误报。
- USask数据集收录了141篇由51名就读于加拿大多所大学的英语作为第二语言（L2）研究生撰写的文献综述，这些学生的国际英语语言测试系统（IELTS）成绩在6.5至8.5分之间。这些学生所修读的专业包括语言学、教育学和政治学等。文献综述的字数范围为264至4,391字，平均字数为1,028字。
《Pangram 4 技术报告》中还报告了一个数据集，我们在此将其重新呈现用于 Pangram 4.1。
- “亚洲英语学习者国际语料库”（ICNALE）发布了其数据集中的书面作文（WE）模块，该模块包含5,593篇限时英语作文。ICNALE WE 未记录母语数据，但收录了来自10个亚洲国家（包括中国、香港、印度尼西亚、日本和韩国）的大学生的英语写作作品。
由于作文题型的范围广泛，该基准涵盖了多种作业类型，从带回家完成的作文到限时作文；多种协助级别，从无限制协助到监考考试；不同英语水平；以及各类学位课程。
方法论
我搜索了符合以下标准的研究数据集：
- 本科生或研究生写作作品集；不包括由准学生、非学位学生或高中生撰写的文章，以及大学申请文书
- 包括有关母语（L1）或英语学习者身份的元数据，或另有说明（例如，如果整个数据集均来自同一母语群体）
- 主要包括论文、报告、长篇答题、文献综述、学位论文、创意写作等；不包括仅包含简答题的数据集
- 包含至少100份文档，且每份文档的词数中位数超过175个词
我对文档进行了去重处理，并删除了词数少于50个的条目。除此之外，对条目仅进行了最少的预处理。我选择使用Pangram 4.1对每篇文本进行两次扫描：一次去除了前言和参考文献，一次包含这些内容，结果发现两者的结果一致。我还使用我们之前的模型Pangram 4对同一批15,420篇文本进行了扫描，该模型同样实现了零误报。
与往常一样，我们采用严格的“误报”定义：如果文档中的任何一个片段被标记为“AI”或“AI辅助”，则将该文档视为误报。
Pangram 4.1 并未使用这些文档进行训练或校准，因此这可以作为一项公正的测试，用来评估 Pangram 在处理大学生的未见文本时的表现。
在本次评估过程中，我们还扫描了1,743篇未在主要结果中报告的文本——这些文本因未满足某些标准（通常是因为作者以英语为母语而被排除在外）——并发现其中没有出现任何误报。
