Çalışan Spot Işığı: Katherine ile Tanışın, Yapay Zeka Araştırma Bilimcisi

Çalışan Spot Işığı: Katherine Thai

İkinci çalışan spot ışığına hoş geldiniz! Kurucu AI araştırma bilimcimiz Katherine Thai ile oturup, NLP alanına girişindeki benzersiz yolculuğunu, edebi analiz üzerine yaptığı araştırmaları ve Pangram Labs'ta geliştirmekte olduğu projeleri konuştuk. (Not: Bu röportaj, okunabilirlik için AI tarafından yazıya dökülmüş ve hafifçe düzenlenmiştir.)

Matematik ve İngilizceden NLP Araştırmalarına

NLP ile nasıl ilgilenmeye başladınız ve doktora yapmaya karar verdiniz?

Başlangıçta NLP ile doğrudan ilgilenmedim. Lisans eğitimimde matematik, bilgisayar bilimi ve İngilizce okudum ve araştırma ve deney yapma fikrini sevdiğim için birçok lisans araştırma programına katıldım, ancak tam olarak ne okumak istediğimi bilmiyordum.

Son sınıfa geldiğimde, bir sınıf arkadaşım İngilizce derecemle NLP okumamın uygun olacağını söyledi, çünkü NLP bilgisayarların metinlere uygulanmasıyla ilgili bir alan. Bu konuda pek bir şey duymamıştım, çünkü lisans eğitimimi aldığım kurumda NLP araştırmacıları ya da dersleri yoktu.

Sonunda, uzun hikayelerin ve kitapların anlatı anlayışına ilişkin çalışmalar yapan şu anki danışmanım Mohit Iyyer'i buldum. Kitapları çok sevdiğim ve "Hayal Kırıklığının Anlatı Mekanizmaları" adlı bir lisans tezi yazdığım için bu konu beni gerçekten çok ilgilendirdi. Başvurduğumda, danışmanım bunların teknik bilgisayar bilimi mekanizmaları olduğunu düşündü, ama öyle değildi — sadece edebiyatta olanları nasıl tarif ettiğimdi! Geçmişimi ilgi çekici buldu ve matematik geçmişimin temel bilgileri öğrenmeme yardımcı olacağını düşündü. İlk NLP dersimi, doktora programımın ilk döneminde aldım.

Yapay Zeka ile Edebiyat Çalışmak

Doktora araştırmanızdan bahsedin.

Tezimin başlığı "Metinlerde İnsan-Yapay Zeka İşbirliği Modları: Karşılaştırmalar, Ölçütler ve Yorumlama Görevleri"dir. Dil modellerinin metinleri nasıl yorumlayabileceğini ve bir beşeri bilimler akademisyeninin yapabileceği gibi yüzeysel özelliklerin ötesinde daha derin sonuçlara nasıl varabileceğini anlamakla ilgileniyorum.

Edebiyat üzerine yapılan ilk NLP çalışmaları, kitaplardan adlandırılmış varlıkları çıkarmak, karakter etkileşimlerini haritalamak ve kabaca olay örgüsü zaman çizelgeleri oluşturmak üzerine odaklanmıştı. Ben ise metinlerin genelinde yer alan ana temalar, karakterlerin motivasyonlarının kararlarını nasıl etkilediği ve metinlerin yazarın onları yazdığı zaman ve yer gibi daha geniş bağlamda nasıl konumlandırıldığı ile daha çok ilgileniyorum.

Ben bunu esas olarak bir değerlendirme sorunu olarak ele alıyorum; dil modellerinin edebi metinlerden bu üst düzey fikirleri çıkarabilip çıkaramadığını inceliyorum.

Doktora programınız sırasında ChatGPT ortaya çıktığında yapay zeka ile edebiyat analizi çalışmak nasıldı?

Bu konuda çılgın bir hikayem var. İlk doktora çalışmamda "edebi kanıt bulma" adlı bir görev önerdim. Akademisyenler analizlerinde her zaman birincil metinlerden alıntılar yaparlar, bu yüzden beşeri bilimler akademisyenlerinin The Great Gatsby'yi analiz ettikleri paragrafları aldık, romandan alıntıları gizledik ve dil modellerinden bu alıntıları bulmalarını istedik.

İlk çalışmamda, romanların tamamını dil modellerine sığdıramadığımız için küçük ve yoğun bir RoBERTa tabanlı retriever kullandım. Motivasyon bölümünde, romanların tamamını bağlama sığdıramadığımız için bu yaklaşıma ihtiyaç duyduğumuzu açıkça belirttim.

Beş yıl sonra, en son çalışmamda romanların tamamını kapsayabilecek büyük dil modelleriyle bu görevi yeniden ele aldım. Şubat ayında, bu görevi ilk kez kendim denedim — fiziksel kitap kopyalarıyla sekiz saatimi aldı. Hiçbir model, 40 örnekte benim yaptığım kadar iyi performans göstermedi. Ancak üç ay sonra makale kabul edildiğinde, Gemini Pro 2.5 çıkmış ve benden daha iyi performans göstermişti. Çok küçük bir örneklemdi, ancak işlerin ne kadar hızlı ilerlediğini görmek çılgınca bir şeydi.

Doktora programımın başlangıcında, hiçbir ödev yazmadım. Bu duyulmamış bir şeydi. Şimdi annem işinde LLM'leri kullanıyor. Eskiden benim ne üzerinde çalıştığımı hiç bilmezdi, ama şimdi kurumsal LLM erişimine sahip.

Katherine doktora tezini savunuyor

LLM'lerin insanlardan farklı olarak nasıl okuduğunu düşünüyorsunuz?

En belirgin fark hızdır: Gemini 30 saniye içinde yanıt verirken, ben örnek başına ortalama 12 dakika harcadım. Hatalarımı gözden geçirdiğimde, genellikle 200-400 sayfalık romanlardaki belirli cümleleri hatırlamıyordum, oysa model mükemmel bir hatırlama yeteneğine sahipti.

LLM'lerin metni, edebi analizde metni kelime düzeyinde parçalara ayırarak yapılan yakın okumaya benzer bir şekilde, token token işlediğini düşünüyorum. Ancak insanlar 400 sayfalık bir metni okuduğunda, her kelime modellerde olduğu gibi beynimizde ayrı bir birim olarak kaydedilmez.

Değerlendirmenin Zorluğu

İyi değerlendirmeler tasarlamak neden bu kadar zor ve mevcut değerlendirmeler ile insanların bu modellerle gerçekte yaşadıkları deneyimler arasında neden bu kadar büyük bir uçurum var?

Otomatik değerlendirme ile değerlendirmeleri hızlı bir şekilde ölçeklendirmek istemek ile ayrıntılı insan uzman değerlendirmesi ihtiyacı arasındaki gerilimdir. Çalışmalarımın çoğu, gerçek uzmanları işe almaya yatırım yapmaya odaklanmıştır. Edebiyatın makine çevirisi için, karşılaştırmalı edebiyat doktorası olan edebiyat çevirmenleri işe aldık. Onların içgörüler, basit A/B testlerinde bile, mekanik turkerlerden elde edeceğiniz içgörülerden kesinlikle farklıydı.

Diğer taraf ise değerlendirmeleri oluşturmanın maliyeti. Geçtiğimiz yıl, ajanlar için bir kıyaslama çalışması yapmaya yardımcı oldum. Bu çalışmada soruları manuel olarak oluşturduk ve tüm ajanları elle değerlendirdik. Muhtemelen tüm Mart ayını OpenAI'nin operatörünün tıklamalarını ve aradığı şeyleri izleyerek geçirdim. 100-150 örneği incelemek bile çok uzun sürdü, ancak ajanların yaptıklarını insan gözüyle görmekten çok şey öğrendik.

Değerlendirmeleri genişletmek istemek ile daha yavaş, ayrıntılı insan değerlendirmelerine ihtiyaç duymak arasında sürekli bir gerilim vardır.

Pangram'da AI Algılama Oluşturma

Pangram'da ne üzerinde çalışıyorsunuz?

Bir metinde yapay zekanın ne kadar yaygın olduğunu tespit edebilen bir model üzerinde çalışıyorum. İnsanların yapay zeka ile sadece metin üretmediklerini biliyoruz; genellikle yazdıkları metinleri getirip yapay zekadan düzenlemesini istiyorlar. Bu düzenlemeler, küçük gramer düzeltmelerinden büyük yeniden yapılandırmalara veya tamamen başka kelimelerle ifade etmeye kadar uzanıyor.

Bu etkiyi ölçmek istiyoruz çünkü insan tarafından yazılmış metinden tamamen yapay zeka tarafından yazılmış metne kadar olan ölçeği bir spektrum olarak görebiliriz ve yapay zeka tarafından düzenlenmiş metinler bu spektrumun bir yerinde yer alır. Bir metnin bu spektrumda nereye düşebileceğini belirlemek için bir model eğitiyoruz.

Bu, eğitim sektöründeki müşterilerimiz için gerçekten önemli, ancak LLM'ler artık Google Docs gibi metin editörlerine entegre edildiği için birçok başka sektörden de ilgi görüyoruz. İnsanlar, bir metinde yapay zekanın ne kadar müdahaleci olduğunu bilmek istiyorlar — hangi düzenlemelerin "affedilebilir" olduğu ve hangilerinin kullanıcıya önemli bir bilişsel yük getirdiği konusunda.

Katherine ve ekibi bir araştırma makalesi üzerinde geç saatlere kadar çalışıyor.

Neden Pangram'a kurucu araştırmacı olarak katılmaya karar verdiniz?

Buradaki ekibi çok seviyorum. Bradley ve Max, kurucu ekip ile gerçekten harika bir iş çıkardılar. Zamanımın %90'ını Pangram çalışanlarıyla geçiriyorum, ama dürüst olmak gerekirse başka türlüsünü istemezdim — son 10 gündür herkesle birlikte spor yapmam da bunun kanıtı!

Gidebileceğim bir ofis alanının olması gerçekten çok güzel. Bir süre uzaktan doktora öğrencisiydim ve herkesin benzer bir hedef için çalıştığı bir alanın olması çok eğlenceli. Doktora programına lisans eğitimimden hemen sonra, COVID'in ilk yılında başladım, bu yüzden tamamen uzaktan çalışıyordum ve gidecek hiçbir yerim yoktu. Ofiste çalışmayı veya "normal bir iş" sahibi olmayı hiç deneyimlemedim.

Bradley, şimdiye kadar birlikte çalıştığım en zeki kişilerden biri — abartmıyorum. Çok şey öğrendiğimi ve doktora programında yapamadığım şeyleri pratik olarak deneyimlediğimi hissediyorum. LLM'ler çıktığında, herkes onlar üzerinde araştırma yapmak istedi ve modellemeyi unuttuk. Büyük laboratuvarlara ayak uydurmak için kendi modelinizi eğitmenin bir anlamı yoktu, bu yüzden ince ayar dışında pek modelleme yapmadım.

Pratik beceriler edinmek gerçekten çok güzeldi. Araştırmacı olduğum için iyi bir yazılım mühendisi değilim, bu yüzden bu çok eğlenceliydi. Elyas bugün yarım saat boyunca GitHub sorunlarını çözmeme yardım etti! Akıllı insanlarla çalışabilmek, araştırma yapabilmek ve Brooklyn'de olmak... Burası harika bir yer ve Doğu Kıyısı'nı çok seviyorum.

AI Araştırmalarında AI Şüphecisi

AI konusunda iyimser olmaktan çok şüphecisiniz ve AI'yı günlük hayatınıza pek entegre etmiyorsunuz. Bu şüpheciliğin altında yatan neden nedir?

İki şey var. Mikro ölçekte, üniversiteden yakın arkadaşlarım arasında bilgisayar bilimi araştırmalarına yönelen tek kişi benim. Diğerleri aktüerler ve dil modellemesi ortaya çıktığında bunun ne olduğunu bilmiyorlardı. Instagram arama çubuklarına ve sohbet özelliklerine yapay zeka eklediğinde ChatGPT'yi duymaya başladılar. Uzun süre bu teknolojileri bilen tek kişi bendim, ama arkadaşlarım bunlar olmadan da gayet iyi yaşıyorlardı. Onlar mutlu bir şekilde farkında olmadan, ama gayet iyi idare ederken, yapay zeka ile ilgili konuların ne kadar çok kafamda yer kapladığını fark ettim.

Ben, ya yapay zeka konusunda karamsar ya da LLM'leri gerçekten abartılı bir şekilde öven insanların oluşturduğu bu yankı odasındaydım, ama insanların %95'i bu konuyu konuşmuyor.

Felsefi açıdan, yazma yolculuğumda — yazmak istemediğimi ama analiz etmeyi sevdiğimi öğrenerek — sadece insanlardan çıkan metinlere değer verdiğimi fark ettim. LLM'lerin ne yazdığı veya edebi analiz görevlerini yapıp yapamadıkları umurumda değil, çünkü bu tür şeyleri yapma becerisinin insanlar için değerli olduğunu düşünüyorum. Bu, insanların sahip olabileceği bir beceridir, ancak bir LLM'nin bu beceriye sahip olmasının bir anlamı olduğunu düşünmüyorum.

Yazmak çok insani bir iştir ve bunun arkasında bir insan olduğunu gerçekten çok takdir ediyorum. Bu beni kötü bir AI metin dedektörü yaptı çünkü AI metinlerini okumuyorum!

İş Dışı Yaşam

İş dışında eğlenmek için ne yapmaktan hoşlanırsınız?

Brooklyn'de köpeklerimi gezdirmeyi çok seviyorum. İki köpeğim var ve biri uzun yürüyüşleri çok seviyor. Spor yapmayı, roman okumayı seviyorum ve örgü ve tığ işi ile oldukça ilgileniyorum.

Pangram ekibindeki herkesle birlikte egzersiz yapmayı yaz hedefiniz olarak belirlediniz. Şimdiye kadar en sevdiğiniz egzersiz hangisi oldu?

Lu ile tırmanmak çok güzel, çünkü 45 dakika sonra tekrar tırmanacağız! Tırmanmak çok sosyal bir aktivite, çünkü denemeler arasında molalar veriyorsunuz, bu sayede sohbet edip vakit geçiriyorsunuz.

Bireysel kum torbalarıyla, takım odaklı olmayan, baştan sona yüksek yoğunluklu kickboks yaptım. Ayrıca kurucularımızla bir saat boyunca kaos içinde geçen başka bir antrenman yaptık. Konuşma fırsatı bile yoktu, sadece hayatta kalmaya çalışıyorduk! Moraller bazen yüksekti, ama Max için bazı anlarda düşük olabilir. Takım ruhunu güçlendiren harika bir deneyimdi, ama en sosyal olan tırmanış oldu.

Araştırmacı Adaylarına Tavsiyeler

ML araştırmalarına girmek isteyen birine ne tavsiye edersiniz?

İki önemli nokta var: Projeleri tek başına yapmaya çalışmayın. Bazı yeni doktora öğrencileri bu tuzağa düşer, ancak sizden daha kıdemli kişilerle işbirliği yapmanız gerekir. Eğer bu sizin ilk projenizse, onların sizi şaşırtan ve etkileyen şeyler yapması gerçekten sorun değil; çok zeki kişilerle çalışarak çok şey öğreneceksiniz.

İkincisi, bunları kendiniz denemeli ve rahatlık alanınızdan çıkmalısınız. Python'u, bir yaz araştırma projesi için tek dil olarak kullanmaya karar vererek öğrendim. Matematik dahil her şeye çok pratik yaklaşın; türevleri elle yazın!

Aslında altı ay önce Math Academy'ye bağımlı oldum, bu çılgınca bir şeydi ama matematik temellerine geri dönmek için harika bir şeydi.

Pangram'daki Katherine

Katherine, kısa süre önce UMass Amherst'te Bilgisayar Bilimleri alanında doktora eğitimini tamamladı ve Pangram Labs'a ilk kurucu araştırma bilimcisi olarak tam zamanlı olarak katılacak. Yapay zeka algılama modellerini eğitmediği veya dil modelleriyle literatürü analiz etmediği zamanlarda, Brooklyn'de köpeklerini gezdirirken veya bir sonraki takım antrenmanını planlarken onu görebilirsiniz.