Çalışanımızla Tanışın: Yapay Zeka Araştırma Bilimcisi Katherine

Çalışanımızdan Haberler: Katherine Thai

İkinci "Çalışanımızla Sohbet" bölümümüze hoş geldiniz! Kurucu yapay zeka araştırma bilimcimiz Katherine Thai ile bir araya gelerek, onun doğal dil işleme (NLP) alanına uzanan benzersiz yolculuğunu, edebi analiz üzerine yaptığı araştırmaları ve Pangram Labs'ta üzerinde çalıştığı projeleri konuştuk. (Not: Bu röportaj, okunabilirlik amacıyla yapay zeka tarafından metne dökülmüş ve hafifçe düzenlenmiştir.)

---

Matematik ve İngilizceden NLP Araştırmalarına

NLP ile nasıl ilgilenmeye başladınız ve doktora yapmaya karar verdiniz?

Başlangıçta NLP ile doğrudan ilgilenmemiştim. Lisans eğitimim sırasında matematik, bilgisayar bilimleri ve İngilizce okudum ve araştırma ve deney yapma fikrini çok sevdiğim için pek çok lisans araştırma programına katıldım, ancak tam olarak ne okumak istediğimi bilmiyordum.

Son sınıfa yaklaşırken, bir sınıf arkadaşım, İngilizce bölümünden mezun olmanın NLP çalışmalarına çok uygun olacağını söyledi; zira NLP, metinlere bilgisayar teknolojisinin uygulanmasıydı. Bu konuda pek bir şey duymamıştım; lisans eğitimini aldığım üniversitede NLP araştırmacıları ya da dersleri yoktu.

Sonunda, uzun öykülerin ve kitapların anlatı anlayışına yönelik çalışmalar yürüten şu anki danışmanım Mohit Iyyer’i buldum. Bu konu beni gerçekten çok cezbetti çünkü kitapları çok seviyorum ve lisans tezimde “Hayal Kırıklığının Anlatı Mekanizmaları” başlığını kullanmıştım. Başvurduğumda, danışmanım bunların teknik bilgisayar bilimi mekanizmaları olduğunu düşündü, ama öyle değildi — bunlar sadece edebiyatta olanları tarif etme biçimimdi! Danışmanım geçmişimi ilgi çekici buldu ve matematik geçmişimin temel kavramları kavramama yardımcı olacağını düşündü. Doktora programımın ilk döneminde, kelimenin tam anlamıyla ilk NLP dersimi aldım.

Yapay Zeka ile Edebiyat Çalışmak

Doktora araştırmanızdan bahsedin.

Tezimin başlığı "Metinlerde İnsan-Yapay Zeka İşbirliğinin Biçimleri: Karşılaştırmalı Değerlendirmeler, Ölçütler ve Yorumlama Görevleri"dir. Dil modellerinin metinleri nasıl yorumlayabileceğini ve bir beşeri bilimler akademisyeninin yapabileceğinden daha derin sonuçlara nasıl varabileceğini anlamakla ilgileniyorum; sadece yüzeysel özelliklere odaklanmak yerine.

Edebiyat alanındaki ilk NLP çalışmaları, kitaplardan isimlendirilmiş varlıkların çıkarılmasına, karakterler arası etkileşimlerin haritalandırılmasına ve olay örgüsünün genel zaman çizelgesinin oluşturulmasına odaklanmıştı. Ben ise metinlerin genelinde ortaya çıkan ana temalarla, karakterlerin motivasyonlarının kararlarını nasıl etkilediğiyle ve metinlerin, yazarın onları yazdığı zaman ve mekan gibi daha geniş bir bağlamda nasıl konumlandırıldığıyla çok daha fazla ilgileniyorum.

Bu konuyu esas olarak bir değerlendirme sorunu olarak ele alıyorum; dil modellerinin edebi metinlerden bu üst düzey kavramları çıkarabilip çıkaramadığını görmek için.

Doktora eğitiminiz sırasında ChatGPT ortaya çıktığında, yapay zeka ile edebi analiz çalışmak nasıldı?

Bu konuda çok ilginç bir hikayem var. Doktora tezimin ilk çalışmasında "edebi kanıt bulma" adlı bir görev önermiştim. Akademisyenler analizlerinde her zaman birincil metinlerden alıntılara başvururlar; bu nedenle, beşeri bilimler akademisyenlerinin "The Great Gatsby"yi inceledikleri paragrafları aldık, romandan yapılan alıntıları gizledik ve dil modellerinden bu alıntıları bulmalarını istedik.

İlk çalışmamda, romanların tamamını dil modellerine sığdıramadığımız için RoBERTa tabanlı küçük ve yoğun bir bilgi arama sistemi kullandım. Gerekçe bölümünde, romanların tamamını bağlama dahil edemediğimiz için bu yaklaşıma ihtiyaç duyduğumuzu açıkça belirtmiştim.

Beş yıl sonra, son çalışmamda bu görevi, romanların tamamını işleyebilen büyük dil modelleriyle yeniden ele aldım. Şubat ayında, bu görevi ilk kez kendim denedim; kitapların basılı kopyalarıyla bu iş sekiz saatimi aldı. Hiçbir model, 40 örnek üzerinde benim kadar iyi performans gösteremedi. Ancak üç ay sonra makale kabul edildiğinde, Gemini Pro 2.5 piyasaya çıkmış ve benden daha iyi performans göstermişti. Çok küçük bir örneklemdi, ancak işlerin ne kadar hızlı ilerlediğini görmek inanılmazdı.

Doktora programımın başlangıcında, hiç komut yazmamıştım. Bu duyulmamış bir şeydi. Artık annem işinde büyük dil modellerini kullanıyor; eskiden ne üzerinde çalıştığımı hiç bilmezdi, şimdi ise kurumsal büyük dil modeli erişimine sahip.

Katherine doktora tezini savunuyor

Sizce büyük dil modelleri insanlardan nasıl farklı bir şekilde okur?

En belirgin fark hızdır: Gemini 30 saniye içinde yanıt verirken, ben her örnek için ortalama 12 dakika harcadım. Hatalarımı gözden geçirdiğimde, çoğu zaman 200-400 sayfalık romanlardaki belirli cümleleri hatırlayamıyordum; oysa model her şeyi kusursuz bir şekilde hatırlıyordu.

Bence büyük dil modelleri (LLM'ler), metni kelime kelime işliyor; bu, metni kelime düzeyinde inceleyen edebi analizdeki "ayrıntılı okuma" yöntemine benziyor. Ancak insanlar 400 sayfalık bir metni okurken, her kelime modellerde olduğu gibi beynimizde ayrı bir birim olarak algılanmıyor.

Değerlendirmenin Zorluğu

Neden iyi değerlendirmeler tasarlamak bu kadar zor ve neden mevcut değerlendirmelerle insanların bu modellerle gerçekte yaşadıkları arasında bu kadar büyük bir uçurum var?

Bu, değerlendirmeleri otomatik değerlendirme yoluyla hızla genişletme isteği ile, ayrıntılı insan uzmanı değerlendirmelerine duyulan ihtiyaç arasındaki gerilimdir. Çalışmalarımın büyük bir kısmı, gerçek uzmanları işe almaya odaklanmıştır. Edebiyatın makine çevirisi için, karşılaştırmalı edebiyat alanında doktora sahibi edebiyat çevirmenleri işe aldık. Onların sağladığı içgörüler, basit A/B testlerinde bile, Mechanical Turk kullanıcılarından elde edilebilecek sonuçlardan kesinlikle farklıydı.

Diğer bir husus ise değerlendirmeleri hazırlamanın maliyeti. Geçtiğimiz yıl, acenteler için bir performans karşılaştırması çalışmasına katkıda bulundum; bu çalışmada soruları elle hazırladık ve tüm acenteleri manuel olarak değerlendirdik. Muhtemelen Mart ayının tamamını OpenAI’nin operatörünün tıklamalarını izleyerek ve çeşitli şeyleri araştırarak geçirdim. Sadece 100-150 örneği incelemek bile çok uzun sürdü, ancak acentelerin yaptıklarını insan gözüyle izlemek bize çok şey kattı.

Değerlendirmeleri genişletme isteği ile daha yavaş ve ayrıntılı bir insan değerlendirmelerine duyulan ihtiyaç arasında sürekli bir gerilim var.

Pangram'da Yapay Zeka Tespit Sistemi Geliştirme

Pangram'da ne üzerinde çalışıyorsun?

Bir metinde yapay zekanın ne kadar yaygın olarak kullanıldığını tespit edebilen bir model üzerinde çalışıyorum. İnsanların sadece yapay zeka ile metin üretmediğini biliyoruz; genellikle kendi yazdıkları metinleri getirip yapay zekadan bunları düzenlemesini istiyorlar. Bu düzenlemeler, küçük gramer düzeltmelerinden büyük çaplı yeniden yapılandırmalara veya metnin tamamen başka kelimelerle ifade edilmesine kadar uzanıyor.

Bu etkiyi ölçmek istiyoruz; çünkü insan tarafından yazılan metinlerden tamamen yapay zeka tarafından yazılan metinlere kadar uzanan bir yelpazeyi bir spektrum olarak ele alabiliriz; yapay zeka tarafından düzenlenmiş metinler ise bu spektrumun ortasında yer alır. Bir metnin bu spektrumun hangi noktasına denk geldiğini belirlemek için bir model eğitiyoruz.

Bu, eğitim sektöründeki müşterilerimiz için gerçekten çok önemli; ancak büyük dil modelleri (LLM'ler) artık Google Dokümanlar gibi metin düzenleyicilere entegre edildiği için, başka birçok kesimden de ilgi gördük. İnsanlar, bir metinde yapay zekanın ne kadar müdahaleci olduğunu bilmek istiyor; hangi düzenlemelerin "affedilebilir" olduğu, hangilerinin ise kullanıcının zihinsel yükünü önemli ölçüde azalttığı konusunda.

Katherine ve araştırma makalesi üzerinde geç saatlere kadar çalışan ekip

Pangram'a kurucu araştırmacı olarak katılmaya neden karar verdiniz?

Buradaki ekibi çok seviyorum. Bradley ve Max, kurucu ekiple birlikte gerçekten harika bir iş çıkardılar. Zamanımın %90’unu Pangram çalışanlarıyla geçiriyorum, ama açıkçası başka türlüsünü istemezdim — son 10 gündür herkesle birlikte spor yapmam da bunun en iyi kanıtı!

Gidip çalışabileceğim bir ofis alanının olması gerçekten çok güzel. Bir süre uzaktan doktora öğrencisiydim ve herkesin benzer bir hedef için çalıştığı bir ortama sahip olmak çok keyifli. Doktora programına lisans bitiminden hemen sonra, COVID’in ilk yılında başladım; o yüzden tamamen uzaktan çalışıyordum ve gidecek hiçbir yerim yoktu. Daha önce hiç ofiste çalışmayı ya da “normal bir iş”e sahip olmayı deneyimlemedim.

Bradley, bugüne kadar birlikte çalıştığım en zeki kişilerden biri; bu hiç de abartı değil. Çok şey öğrendiğimi hissediyorum ve doktora programımda yapamadığım şeyleri pratik olarak deneyimliyorum. LLM'ler ortaya çıktığında herkes onlar üzerinde araştırma yapmak istedi ve modellemeyi unuttuk. Büyük laboratuvarlarla ayak uydurmak için kendi modelinizi eğitmeye çalışmanın bir anlamı yoktu, bu yüzden ince ayar dışında pek modelleme yapmadım.

Pratik beceriler edinmek gerçekten çok keyifli. Araştırmacı olduğum için pek iyi bir yazılım mühendisi sayılmam, bu yüzden bu süreç benim için eğlenceli geçti. Elyas bugün yarım saat boyunca GitHub’daki sorunları çözmemde bana yardım etti! Ayrıca zeki insanlarla çalışabilmek, araştırma yapabilmek ve Brooklyn’de bulunmak… Burası harika bir yer ve ben Doğu Kıyısı’nı çok seviyorum.

Yapay Zeka Araştırmalarında Bir Yapay Zeka Şüphecisi

Yapay zekaya karşı iyimser olmaktan çok şüpheci bir yaklaşıma sahipsiniz ve yapay zekayı günlük hayatınıza pek dahil etmiyorsunuz. Bu şüpheciliğin altında yatan neden nedir?

İki şey var. Mikro ölçekte bakarsak, üniversiteden yakın arkadaşlarım arasında bilgisayar bilimi araştırmalarına yönelen tek kişi benim. Diğerleri aktüerlik yapıyor ve dil modelleme ilk ortaya çıktığında bu konudan haberdar değillerdi. ChatGPT’yi, Instagram arama çubuklarına ve sohbet özelliklerine yapay zeka eklediğinde duymaya başladılar. Uzun bir süre bu teknolojilerden haberdar olan tek kişi bendim, ama arkadaşlarım bu teknolojiler olmadan da gayet iyi idare ediyor gibi görünüyordu. Onlar mutlu bir şekilde habersizken ve gayet iyi idare ederken, kafamın içinde ne kadar çok yapay zeka konusu bedavaya yer kapladığını fark ettim.

Kendini ya yapay zeka konusunda karamsar ya da büyük dil modellerini (LLM) aşırı öven insanlardan oluşan bir yankı odasının içinde bulmuştum, ama insanların %95'i aslında bu konulardan bahsetmiyor.

Felsefi bir bakış açısıyla, yazma yolculuğum boyunca —yazmak istemediğimi ama analiz etmeyi sevdiğimi fark ederek— yalnızca insanlardan çıkan metinlere değer verdiğimi anladım. Büyük dil modellerinin (LLM) ne yazdığı ya da edebi analiz görevlerini yerine getirip getiremedikleri umurumda değil, çünkü bu tür şeyleri yapabilme yeteneğinin insanlar için değerli olduğunu düşünüyorum. Bu, insanların sahip olabileceği bir beceridir, ancak bir LLM’nin bu beceriye sahip olmasının bir anlamı olduğunu sanmıyorum.

Yazmak son derece insani bir iştir ve bunun arkasında bir insanın olması benim için çok önemli. Bu durum beni kötü bir yapay zeka metin tespitçisi haline getirdi, çünkü yapay zeka tarafından yazılmış metinleri hiç okumuyorum!

İş Dışı Yaşam

İş dışında boş zamanlarında ne yapmaktan hoşlanırsın?

Brooklyn'de köpeklerimi gezdirmeyi çok seviyorum—iki köpeğim var ve bunlardan biri uzun yürüyüşlere bayılıyor. Spor yapmayı ve roman okumayı seviyorum; ayrıca örgü ve tığ işine de oldukça meraklıyım.

Pangram ekibindeki herkesle birlikte spor yapmak yaz hedefin haline geldi. Şimdiye kadar en çok hangi antrenmanı sevdin?

Sanırım Lu ile tırmanmak; bu çok iyi, çünkü 45 dakika sonra yine tırmanacağız! Tırmanış çok sosyaldir, çünkü denemeler arasında mola veriyorsun, bu sayede sohbet edip vakit geçiriyorsun.

Daha önce kickboks yapmıştım; bu antrenman baştan sona yüksek yoğunlukluydu ve bireysel kum torbalarıyla yapıldığı için pek takım odaklı değildi. Ayrıca kurucularımızla bir başka antrenman daha yaptık; o bir saat boyunca tam bir kaos ortamı vardı—konuşmaya fırsat bile yoktu, sadece hayatta kalmaya çalışıyorduk! Moraller zaman zaman yüksekti, gerçi Max için bazı anlarda biraz düşük olabilir. Harika bir takım kaynaşma deneyimi oldu, ama en sosyal etkinlik olarak tırmanış öne çıkıyor.

Araştırmacı Adaylarına Tavsiyeler

Makine öğrenimi araştırmalarına başlamak isteyen birine ne tavsiye edersiniz?

İki önemli nokta: Projeleri tek başına yürütmeye çalışma. Bazı yeni doktora öğrencileri bu tuzağa düşer, ancak senden daha deneyimli kişilerle işbirliği yapman gerekir. Eğer bu senin ilk projense, onların yaptıkları şeyler seni şaşırtsa ve etkilesede, bu gerçekten sorun değil; çok zeki insanlarla çalışarak çok şey öğreneceksin.

İkincisi, bunları kendin denemeli ve konfor alanından çıkmalısın. Ben Python'u, bir yaz araştırma projem için tek dilim olarak kullanmaya karar vererek öğrendim. Matematik dahil her şeye aktif olarak katıl; türevleri elle yaz!

Aslında altı ay önce Math Academy'ye bağımlı hale geldim; bu çılgınca bir şeydi ama matematik temellerine yeniden kavuşmak açısından harikaydı.

Pangram'dan Katherine

---

Katherine, kısa süre önce UMass Amherst'te Bilgisayar Bilimleri alanında doktora eğitimini tamamladı ve Pangram Labs'a ilk kurucu araştırma bilimcisi olarak tam zamanlı olarak katılacak. Yapay zeka algılama modellerini eğitmekle veya dil modelleriyle literatürü analiz etmekle meşgul olmadığı zamanlarda, onu Brooklyn'de köpeklerini gezdirirken ya da bir sonraki takım antrenmanını planlarken görebilirsiniz.