员工风采：认识凯瑟琳，人工智能研究科学家

员工风采：凯瑟琳·泰

欢迎阅读我们的第二期“员工专访”！我们与公司创始人工智能研究科学家凯瑟琳·泰（Katherine Thai）进行了深入交谈，探讨了她踏入自然语言处理（NLP）领域的独特历程、她在文学分析方面的研究，以及她在Pangram Labs正在开展的工作。（注：本次访谈内容已由人工智能进行文字转录，并为提升可读性进行了轻微编辑。）

---

从数学和英语到自然语言处理研究

您是如何对自然语言处理（NLP）产生兴趣并决定攻读博士学位的？

起初，我并没有直接对自然语言处理（NLP）产生兴趣。本科期间，我学习了数学、计算机科学和英语，并参与了许多本科生研究项目，因为我热爱研究和实验，但当时还不清楚自己究竟想研究什么。

临近大四时，一位同学建议我，既然自然语言处理（NLP）是将计算机技术应用于文本处理的领域，那么我的英语专业背景应该很适合研究这个方向。此前我对此知之甚少——我读本科的学校既没有从事自然语言处理研究的学者，也没有相关课程。

我最终找到了现在的导师莫希特·伊耶尔（Mohit Iyyer），他当时正在研究长篇故事和书籍的叙事理解。这让我非常感兴趣，因为我热爱书籍，而且本科毕业论文的题目就是《挫折感的叙事机制》。 申请时，我的导师以为这些是计算机科学中的技术机制，但其实并非如此——那只是我用来描述文学作品中发生现象的方式！他认为我的背景很有吸引力，并觉得我的数学基础将有助于我掌握该领域的核心原理。我确实是在攻读博士学位的第一学期才修读了第一门自然语言处理（NLP）课程。

借助人工智能研读文学

请介绍一下您的博士研究。

我的论文题目是《文本中人机协作的模式：基准、度量标准与解释性任务》。我感兴趣的是探究语言模型如何解读文本，并像人文学者那样得出更深刻的结论，而非仅仅停留在表面特征的层面。

早期针对文学的自然语言处理研究主要集中在从书籍中提取专有名词、梳理人物互动关系以及构建粗略的情节时间线。而我更感兴趣的是贯穿整部作品的总体主题，人物动机如何影响其决策，以及文本在作者创作时的时空背景中处于何种位置。

我主要将此视为一个评估问题——旨在检验语言模型是否能够从文学文本中提取出这些更高层次的观点。

在您攻读博士学位期间，随着ChatGPT的出现，借助人工智能进行文学分析的学习体验是怎样的？

关于这件事，我有个挺离奇的故事。我在博士阶段的第一个研究项目提出了一项名为“文学证据检索”的任务。学者们在分析中总是会引用原始文本中的段落，于是我们选取了人文学者分析《了不起的盖茨比》的段落，将小说中的引文隐藏起来，然后让语言模型去检索出这些引文。

我在第一项研究中使用了一个基于RoBERTa的小型紧凑检索器，因为我们无法将整部小说纳入语言模型中。我在研究动机部分明确写道，我们需要这种方法，因为无法将完整的小说纳入上下文中。

五年后，我在最新研究中利用能够处理整部小说的大型语言模型重新探讨了这一课题。 今年二月，我首次亲自尝试了这项任务——当时我手持纸质书，耗时八小时才完成。在40个示例中，没有任何模型能比我做得更好。但三个月后论文被录用时，Gemini Pro 2.5已经问世，并且表现得比我还出色。虽然样本量很小，但看到技术进步如此之快，着实令人惊叹。

刚开始读博士的时候，我根本没写过任何提示词。那简直是闻所未闻。现在我妈妈在工作中也用到了大型语言模型——以前她根本不知道我在做什么，现在却拥有了企业级大型语言模型的访问权限。

凯瑟琳正在进行博士论文答辩

你认为大型语言模型（LLMs）的阅读方式与人类有何不同？

最明显的区别在于速度——Gemini 只需 30 秒就能给出答案，而我平均每道题要花 12 分钟。当我复盘错误时，往往只是记不起那些长达 200 到 400 页的小说中的具体句子，而该模型却能完美复现。

我认为，大型语言模型（LLMs）处理文本的方式类似于文学分析中的细读法，即逐词剖析文本。但当人类阅读400页内容时，并非每个词都会像在模型中那样，被大脑视为一个独立的单元。

评估的挑战

为什么设计出优质的评估方案如此困难？为什么当前的评估结果与人们实际使用这些模型时的体验之间存在如此大的差距？

这是一种矛盾：一方面希望借助自动评估快速扩大评估规模，另一方面又需要专家进行精细的人工评估。我的很多工作都致力于招聘真正的专家。在文学作品的机器翻译领域，我们聘请了拥有比较文学博士学位的文学翻译家。他们的见解与 Mechanical Turk 平台上的参与者截然不同，即使是在简单的 A/B 测试中也是如此。

另一方面则是评估的制作成本。去年我参与制定了一项针对智能代理的基准测试，当时我们手动编写了问题，并亲手对所有智能代理进行了评估。整个三月份，我几乎都在观察OpenAI的操作员如何点击界面并搜索信息。光是处理100到150个示例就耗费了大量时间，但通过人工观察智能代理的行为，我们收获颇丰。

在希望扩大评估规模与需要更慢、更细致的人工评估之间，始终存在着一种矛盾。

在 Pangram 构建 AI 检测系统

你在Pangram负责什么工作？

我正在开发一个模型，用于检测人工智能在一篇文本中的渗透程度。我们知道，人们不仅会使用人工智能生成文本，还经常带着自己写好的文本，请人工智能进行修改。这些修改范围从微小的语法修正，到大幅的结构调整，甚至完全的改写。

我们之所以想要衡量这种影响，是因为我们可以将文本从纯人工撰写到完全由人工智能撰写的过程视为一个连续体，而经过人工智能编辑的文本则位于两者之间。我们正在训练一个模型，以识别某篇文本在这个连续体中的具体位置。

这对我们的教育领域客户而言至关重要，但鉴于大型语言模型（LLMs）现已集成到Google Docs等文本编辑器中，我们也收到了许多其他领域的关注。人们想了解AI对文本的干预程度——哪些修改可以被视为“可以接受的”，而哪些又能显著减轻用户的认知负担。

凯瑟琳和团队正在加班撰写一篇研究论文

你为什么决定加入Pangram担任创始研究员？

我非常喜欢这里的团队。布拉德利和马克斯带领创始团队的表现简直太棒了。我90%的时间都和Pangram的同事们在一起，但说实话，我乐在其中——这从我过去10天里一直和大家一起健身就能看出来！

能有一个可以去的工作室真是太好了。我之前当了一段时间的远程博士生，现在能有一个大家朝着共同目标努力的空间，感觉很棒。我是在本科毕业后直接攻读博士的，那时正值新冠疫情的第一年，所以整个过程都是完全远程的，无处可去。我从未体验过在办公室工作，也没有做过“普通工作”。

布拉德利是我迄今为止共事过的最聪明的人之一——这绝非夸大其词。 我觉得自己学到了很多，而且正在积累一些在读博士期间没机会接触的实践经验。当初大语言模型（LLMs）刚出现时，大家都争相研究它们，结果把建模给冷落了。既然想跟上大型实验室的步伐，自己训练模型根本没什么意义，所以我除了微调之外，几乎没做过什么建模工作。

学习这些实用技能真的很有趣。我本来不是个优秀的软件工程师，因为我是一名研究人员，所以这段经历让我乐在其中。今天Elyas还花了一半小时帮我解决GitHub上的问题！能和聪明的人一起工作、做研究，还住在布鲁克林——这里地理位置绝佳，而且我非常喜欢东海岸。

人工智能研究领域中的一位人工智能怀疑论者

你对人工智能持怀疑态度多于乐观态度，而且日常生活中很少使用人工智能。这种怀疑态度是基于什么原因？

有两点。从微观层面来看，在我的大学密友中，只有我一人投身于计算机科学研究。其他人都是精算师，在语言模型刚出现时他们对此一无所知。直到Instagram在搜索栏和聊天功能中加入AI后，他们才开始听说ChatGPT。很长一段时间里，我都是唯一了解这些技术的人，但我的朋友们似乎在没有这些技术的情况下也过得很好。 我这才意识到，当他们浑然不觉却依然过得很好时，我的脑海里竟有这么多AI相关的内容在“白吃白住”。

我身处一个信息茧房，里面的人要么是AI末日论者，要么就是极力吹捧大型语言模型，但这并不是95%的人讨论的话题。

从哲学层面而言，在我的写作历程中——我逐渐意识到自己并不想写作，却热爱分析——我意识到我只重视源自人类的文字。我不在乎大型语言模型（LLMs）写了什么，也不在乎它们能否完成文学分析任务，因为我认为具备这些能力对人类而言才具有价值。这是人类可以拥有的技能，但如果大型语言模型拥有这项技能，我认为这毫无意义。

写作是一项非常具有人性化的工作，我非常看重背后有一位人类作者。这也让我成了一个不称职的AI文本检测者，因为我根本不读AI生成的文本！

工作之外的生活

工作之余，你喜欢做什么来放松？

我喜欢在布鲁克林遛狗——我养了两只狗，其中一只特别喜欢长途散步。我喜欢运动、读小说，而且对编织和钩针编织相当着迷。

你把和Pangram团队的每个人一起锻炼定为今夏的目标。到目前为止，你最喜欢哪种锻炼方式？

我觉得和卢一起攀岩很棒，而且45分钟后我们又要去攀岩了！攀岩是一项非常社交的活动，因为每次尝试之间都会休息，所以大家会聊天、聚在一起。

我练过踢拳，那是一项全程高强度的训练，主要对着单人沙袋练，所以不太注重团队协作。我还和我们的创始人一起参加过另一场训练，整整一小时简直乱成一团——根本没机会说话，我们只是在拼命坚持！虽然大家士气有时很高，但对马克斯来说，某些时刻可能有点低落。这是一次很棒的团队凝聚力体验，不过要论社交性，攀岩才是赢家。

给有志于从事研究工作者的建议

对于想要投身机器学习研究的人，你会给出什么建议？

主要有两点：不要试图独自完成研究项目。有些刚入行的博士生会陷入这个误区，但你需要与比你资历更深的人合作。如果这是你的第一个项目，说实话，即使他们做的事情让你感到震惊和钦佩也完全没关系——与这些非常聪明的人共事，你会学到很多东西。

其次，你需要亲自尝试这些内容，并走出舒适区。我之所以学会Python，完全是因为有一次在暑假期间，我决定将其作为研究项目的唯一编程语言。对所有事情都要亲力亲为，包括数学——把导数手算出来！

其实六个月前我就迷上了《数学学院》，虽然这听起来有点疯狂，但对重温数学基础知识来说真是太棒了。

潘格拉姆的凯瑟琳

---

凯瑟琳最近在马萨诸塞大学阿默斯特分校获得了计算机科学博士学位，即将全职加入Pangram Labs，担任我们首位创始研究科学家。当她不在训练人工智能检测模型或使用语言模型分析文献时，你可能会看到她在布鲁克林遛狗，或者正在筹划下一次团队健身活动。