「社員紹介：AI研究科学者のキャサリンをご紹介します」

注目の社員：キャサリン・タイ

第2回「社員インタビュー」へようこそ！今回は、創業メンバーでありAI研究科学者のキャサリン・タイ氏に、NLP（自然言語処理）の世界に入った彼女のユニークな経緯、文学分析に関する研究、そしてPangram Labsで取り組んでいるプロジェクトについてお話を伺いました。（注：このインタビューは文字起こしされ、読みやすさを考慮してAIによって軽微な編集が施されています。）

---

数学や英語からNLP研究へ

NLPに興味を持つようになったきっかけは何ですか？また、博士号取得を目指すことにした理由は何ですか？

当初、私はNLPに直接的な関心を持ったことはありませんでした。学部時代には数学、コンピュータサイエンス、英語を学び、研究や実験という活動そのものが好きだったため、多くの学部生向け研究プログラムに参加しましたが、具体的に何を研究したいのかははっきりとは分かっていませんでした。

大学4年生になる頃、ある同級生から、私の専攻である英文学は、テキストへのコンピュータ応用であるNLPの研究に役立つだろうと勧められた。それまでNLPについてはほとんど聞いたことがなかった。私が通っていた大学には、NLPの研究者も、関連する講義もなかったからだ。

やがて、長編物語や書籍の物語理解に関する研究を行っていた、現在の指導教官であるモヒット・アイヤー氏に出会いました。私は本が大好きで、学部時代の卒業論文も『フラストレーションの物語的メカニズム』というタイトルで書いていたため、この研究には非常に興味を惹かれました。 私が応募した際、指導教官はこれらがコンピュータサイエンスの技術的なメカニズムだと思っていたようですが、そうではありませんでした。それは単に、私が文学の中で起きていることを説明したに過ぎなかったのです！彼は私の経歴に魅力を感じ、数学のバックグラウンドがあれば基礎を習得するのに役立つだろうと考えました。私は文字通り、博士課程の最初の学期に初めてNLPの講義を受講しました。

AIを活用した文学研究

博士課程での研究について教えてください。

私の修士論文のタイトルは「テキストにおける人間とAIの協働のあり方：ベンチマーク、評価指標、および解釈的タスク」です。私は、言語モデルがテキストをどのように解釈し、単なる表面的な特徴にとどまらず、人文科学の研究者が導き出すようなより深い結論を導き出すことができるのかを理解することに興味を持っています。

文学分野における初期のNLP研究は、書籍から固有名詞を抽出したり、登場人物間のやり取りを整理したり、大まかなプロットの時系列を作成したりすることに重点が置かれていました。しかし、私はむしろ、テキスト全体に共通する包括的なテーマや、登場人物の動機が彼らの決断にどのように影響するか、そしてそのテキストが、作者が執筆した時代や場所というより広い文脈の中でどのように位置づけられるかといった点に、はるかに強い関心を持っています。

私は主に、これを評価課題として取り組んでいます。つまり、言語モデルが文学作品からこうした高次元の概念を抽出できるかどうかを検証しているのです。

博士課程在学中にChatGPTが登場した際、AIを使って文学分析を学ぶのはどのような体験でしたか？

これに関して、ちょっと変わったエピソードがあります。私の博士課程での最初の研究では、「文学的証拠の抽出」というタスクを提案しました。研究者は分析において常に原典からの引用を挙げるため、私たちは人文学の研究者が『グレート・ギャツビー』を分析した文章を取り上げ、小説からの引用部分を隠した上で、言語モデルにそれらの引用を抽出させる実験を行いました。

私の最初の研究では、小説全体を言語モデルに組み込むことができなかったため、RoBERTaをベースにした小型で高密度なリトリーバーを使用しました。実際、研究の背景説明のセクションには、小説全体をコンテキストとして組み込むことができなかったため、このアプローチが必要だったと明記しました。

それから5年後、私の最新の研究では、小説一冊分を処理できる大規模言語モデルを用いて、この課題に再び取り組んだ。 2月、私は初めてこの課題に自ら挑戦してみた。紙の本を使って8時間かかった。40の例題において、どのモデルも私ほどの成績は上げられなかった。しかし、3ヶ月後に論文が採択された頃には、Gemini Pro 2.5が登場し、私を上回る成績を収めていた。サンプル数はごくわずかだったが、技術の進歩の速さには驚かされた。

博士課程を始めた当初、私はプロンプトを一切書いていませんでした。そんなことは前代未聞でした。今では母も仕事でLLMを使っています。以前は私が何に取り組んでいるのか全く知らなかったのに、今では企業向けのLLMにアクセスできるようになったのです。

キャサリンが博士論文の口頭試問に臨む

LLMは人間とはどのように読み方が異なると思いますか？

最も明らかな違いは処理速度です。Geminiは30秒で回答しますが、私は1つの例題につき平均12分もかかっていました。自分の間違いを振り返ってみると、200～400ページにも及ぶ小説の中の特定の文章を単に思い出せなかっただけの場合が多かったのに対し、このモデルは完璧に記憶していました。

LLMは、文学分析における精読のように、単語単位でテキストを細かく分析しながら、トークンごとにテキストを処理しているのだと思います。しかし、人間が400ページもの文章を読む場合、モデルのようにすべての単語が脳内で独立した単位として認識されるわけではありません。

評価の課題

なぜ優れた評価手法の設計はこれほど難しいのでしょうか。また、なぜ現在の評価結果と、人々が実際にこれらのモデルを通じて体験していることとの間に、これほど大きな隔たりがあるのでしょうか。

これは、自動評価によって迅速に評価の規模を拡大したいという要望と、人間による専門家のきめ細かな評価が必要であるという要請との間のせめぎ合いです。私の仕事の多くは、実際の専門家を雇用することに注力してきました。文学作品の機械翻訳においては、比較文学の博士号を持つ文学翻訳者を採用しました。たとえ単純なA/Bテストであっても、彼らの洞察は、Mechanical Turkの参加者から得られるものとは明らかに異なっていました。

もう一つの側面は、評価を作成するためのコストです。私は昨年、エージェントのベンチマーク作成に携わり、質問を手作業で作成し、すべてのエージェントを手作業で評価しました。3月はほぼ丸々、OpenAIのオペレーターが画面上を操作して何かを探している様子を見守っていました。たった100～150件の事例を処理するだけでも非常に時間がかかりましたが、人間の目でエージェントの動作を確認したことで、多くのことを学ぶことができました。

評価の規模を拡大したいという要望と、より時間をかけてきめ細かく人間による評価を行う必要性との間には、常に緊張関係が存在している。

PangramにおけるAI検知機能の構築

パングラムではどのような業務に携わっていますか？

私は、あるテキストの中にAIがどの程度浸透しているかを検出できるモデルの開発に取り組んでいます。人々は単にAIを使ってテキストを生成するだけでなく、自分で書いたテキストを持ち込んで、AIに編集を依頼することもよくあります。その編集内容は、些細な文法修正から、大幅な構成の変更、あるいは完全な言い換えに至るまで多岐にわたります。

その効果を測定したいのは、人間が書いたテキストからAIが完全に作成したテキストまでを連続的なスペクトルとして捉え、AIが編集したテキストはその中間に位置すると考えられるからです。私たちは、あるテキストがそのスペクトルのどこに位置するかを特定できるモデルを学習させています。

これは教育機関のお客様にとって非常に重要な点ですが、現在ではGoogle DocsなどのテキストエディタにLLMが組み込まれているため、その他の分野からも多くの関心が寄せられています。人々は、AIがテキストに対してどの程度深く介入しているのかを知りたがっています。つまり、どの編集が「許容範囲」であり、どの編集がユーザーの認知的負荷を大幅に軽減してくれるのか、という点です。

キャサリンとチームは、研究論文の執筆で夜遅くまで働いている

なぜパングラムの創設メンバーとして参加することにしたのですか？

ここのチームが大好きです。ブラッドリーとマックスは、創業メンバーとして本当に素晴らしい仕事をしてくれました。私は時間の90％をパングラムの仲間たちと過ごしていますが、正直なところ、これ以上の環境は望めません。この10日間、みんなと一緒に運動していることからも、それがよくわかるでしょう！

オフィスに通えるのは本当にいいものです。以前、しばらくリモートで博士課程の学生をしていたのですが、皆が同じ目標に向かって働く場があるのは楽しいですね。私は大学卒業直後に博士課程に進み、ちょうどコロナ禍の最初の年だったので、完全にリモートで、行く場所もありませんでした。オフィスで働いた経験も、「普通の仕事」をした経験もありません。

ブラッドリーは、私がこれまで一緒に仕事をしてきた中で最も優秀な人物の一人です。決して大げさな表現ではありません。 本当に多くのことを学べたし、博士課程ではできなかった実務的な経験も積めていると感じています。LLMが登場した当初、誰もがLLMの研究に飛びつき、モデリングの重要性を忘れてしまっていました。大手研究所に追いつこうと独自のモデルを学習させるのは無意味だったため、私はファインチューニング以外、モデリングをほとんど行っていませんでした。

実践的なスキルを身につけられて、本当に楽しいです。私は研究者なので、ソフトウェアエンジニアとしてはあまり得意ではないのですが、だからこそ楽しいんです。今日はイライアスが30分もかけて、GitHubのイシューの修正を手伝ってくれました！それに、優秀な人たちと一緒に仕事ができ、研究にも取り組め、しかもブルックリンにいられるなんて――最高のロケーションですし、東海岸も大好きです。

AI研究におけるAI懐疑論者

あなたはAIに対して楽観的というよりは懐疑的で、日常生活にAIをあまり取り入れていません。この懐疑的な姿勢の背景には、どのような理由があるのでしょうか？

2つあります。まず、個人的な話ですが、大学の親しい友人の中で、コンピュータサイエンスの研究の道に進んだのは私だけです。他の友人たちは保険数理士になっており、言語モデルが登場した当時はその存在すら知りませんでした。彼らがChatGPTの存在を知り始めたのは、Instagramが検索バーやチャット機能にAIを導入してからでした。長い間、こうした技術を知っていたのは私だけでしたが、友人たちはそれらがなくても平気な様子でした。 彼らが何も知らずに平穏に過ごしている間、私の頭の中ではAI関連の知識がタダ乗りで居座っていたことに気づきました。

私は、AIの終末論者か、あるいはLLMを大々的に持ち上げる人ばかりが集まるような「エコーチェンバー」の中にいたが、実際のところ、人々の95％が話しているのはそういうことではない。

哲学的な観点から言えば、執筆活動を通じて――自分は書くことよりも分析することの方が好きだと気づいた――私は、人間から生まれたテキストにしか価値を見出せないのだと悟りました。LLMが何を書こうと、あるいは文学分析ができるかどうかは私にはどうでもよいのです。なぜなら、そうした能力は人間にとってこそ価値があるものだと考えているからです。それは人間が持つことのできるスキルですが、LLMがそれを備えていたとしても、何の意味もないと私は思います。

文章を書くことはまさに人間ならではの作業であり、その背後に人間がいるという点を私はとても大切に思っています。そのせいで、私はAI生成テキストを見分けるのが下手になってしまいました。というのも、そもそもAIが書いた文章なんて読まないからです！

仕事以外の生活

仕事以外では、どんなことをして楽しんでいますか？

ブルックリンで犬を散歩させるのが大好きです。犬を2匹飼っているのですが、そのうちの1匹は長い散歩が大好きなんです。運動や小説を読むのも好きですし、編み物やかぎ針編みにもかなりハマっています。

パングラムチームのメンバー全員と一緒に運動することを、今年の夏の目標に掲げましたね。これまでのところ、一番気に入っているワークアウトは何ですか？

ルーとクライミングをするのが好きだ。ちょうど45分後にまた登る予定だから、最高だね！クライミングは、トライの合間に休憩を取るから、おしゃべりしたり一緒に過ごしたりできて、とても社交的なスポーツなんだ。

以前、キックボクシングをやっていたんですが、あれは個人用のサンドバッグを使って常に高強度のトレーニングだったので、チームワークを重視するものではありませんでした。それから、創業メンバーと一緒に別のワークアウトをしたこともありますが、あれは1時間ずっと大混乱状態でした。話す暇なんてなく、ただ生き残ることに必死でした！ チームの士気は高かったですが、マックスにとっては時々辛かったかもしれません。チームの一体感を高める素晴らしい経験ではありましたが、社交性という点ではクライミングの方が勝っています。

研究者を目指す方へのアドバイス

機械学習の研究を始めようと考えている人に対して、どのようなアドバイスをしますか？

主に2つのポイントがあります。まず、プロジェクトを一人でやろうとしないことです。博士課程の初期の学生の中にはこの罠にはまってしまう人もいますが、自分より経験豊富な人々と協力することが必要です。初めてのプロジェクトであれば、彼らのやり方に驚きや感銘を受けることがあっても、正直なところ全く問題ありません。非常に優秀な人たちと仕事をする中で、多くのことを学べるはずです。

第二に、自分で実際に試してみて、慣れた環境から一歩踏み出す必要があります。私自身、ある夏、研究プロジェクトでPythonだけを言語として使うと決めたおかげで、Pythonを習得することができました。数学を含め、何事にも積極的に取り組んでください。微分も手書きで計算してみましょう！

実は半年前に『Math Academy』にハマってしまったんだけど、ちょっとやりすぎだったかもしれないけど、数学の基礎を復習するには最高だったよ。

パングラムのキャサリン

---

キャサリンは最近、マサチューセッツ大学アマースト校でコンピュータサイエンスの博士号を取得し、パングラム・ラボの初代研究員としてフルタイムで入社することになりました。AI検知モデルのトレーニングや言語モデルを用いた文献分析をしていない時は、ブルックリンで愛犬を散歩させたり、次回のチームワークアウトの計画を立てたりして過ごしています。