我们认为，由第三方研究人员对Pangram等AI检测工具进行审计至关重要。目前，我们样本量最大的第三方评估是由芝加哥大学进行的，该评估于一年多前使用Pangram 3完成的。新的大型语言模型（LLM）层出不穷，而仅针对“完全由AI生成”与“完全由人类撰写”的文档进行二元评估，无法全面反映其在现实世界中的表现。
我们需要更多高质量、完全独立的Pangram基准测试。一个优秀的基准测试将有助于我们理解和改进Pangram，同时也将有助于塑造未来几年人类与人工智能互动的方式。
我们正在征集新的第三方评估报告。我们希望看到的评估报告应尝试回答以下问题之一：
- 当前的检测器在识别最新前沿AI模型生成的文本方面表现如何？
- 在高语境场景（如深度研究、代理框架内或经过多次AI编辑迭代）中，AI检测器的表现如何？
- 检测器在处理多作者文本时的表现如何？该领域的研究可以探索人工智能辅助的全部范围，从简单的语法修改到完全的共同创作。
- AI文本检测工具在检测AI语音转文本程序生成的文本时表现如何？这些程序会对文本进行多大程度的修改？
- AI检测工具在处理不同语言的AI文本和人类文本时表现如何？
- AI检测工具在处理不同背景、不同种族或文化群体 作者所写的、属于不同体裁或类型的文本时，表现如何？即使检测结果为零（表明不存在偏见），对我们来说仍然很有意义。
- AI检测工具在处理新型文本（例如新扫描的历史文献）时表现如何？
- 在处理技术文档、数学公式或代码时——无论是AI生成的还是人类撰写的——AI检测工具的表现如何？
我们在基准测试中看重的是极其干净的数据、前沿的大语言模型（LLM）数据，以及足够高的难度——这样该基准测试才不会被大多数检测器所饱和。
我们很乐意为这类评估提供研究资助。一旦资助课题获得批准，我们不会在资助协议中附加任何发表条款——研究人员可以自由发表其获得的任何研究结果，无论这些结果是否对Pangram有利。
如果您是研究人员，并希望对我们进行基准测试，请在此申请。
马克斯·斯佩罗首席执行官、联合创始人
马克斯是一位经验丰富的机器学习工程师。他最近在Nuro从事自动驾驶汽车相关工作，负责领导该公司的主动学习项目。此前，他在谷歌、Two Sigma和Yelp拥有丰富的成功部署机器学习产品的经验。
马克斯拥有斯坦福大学理论计算机科学学士学位和人工智能硕士学位。除了对游戏开发的热情外，他还是《万智牌》Cube社区的活跃成员。
