Pangram, akıl yürütme modellerini ne kadar iyi tespit edebiliyor?

2025 yılında büyük dil modellerinde kaydedilen en önemli gelişmelerden biri, akıl yürütme modellerinin ortaya çıkması olmuştur. Bu modeller, halk dilinde ifade edersek, konuşmadan önce düşünmeyi öğrenmiş modellerdir.

Akıl yürütme modeli nedir?

Bir akıl yürütme modeli, normal bir büyük dil modeliyle (LLM) aynıdır; ancak bu modeller, çıktı tokenları üretmenin yanı sıra, düşünme tokenları veya akıl yürütme tokenları üretmek üzere de eğitilir. Düşünme aşamasında model, karmaşık görevleri çözmek için akıl yürütmeye çalışır; bir cevap vermeden önce farklı yaklaşımlar dener ve kendi kendine sorular sorar. Uygulamada bu modeller, özellikle matematik ve kodlama alanlarında problem çözmede üstün performans gösterir ve karşılaştırma testlerinde beklentilerin çok ötesinde sonuçlar elde eder.

Akıl yürütme modelleri nasıl çalışır?

Akıl yürütme modelleri, konuşmadan önce "düşünce zinciri" olarak adlandırılan bir süreç gerçekleştirir. İşte, şu anda modelin "düşüncelerini" kamuoyuna açıklayan tek akıl yürütme modeli olan Deepseek-R1'den bunun nasıl bir şey olduğuna dair bir örnek.

Deepseek R1 düşünce zinciri örneği

Bu örnekte Deepseek, token üretmeye başlamadan önce kullanıcının ne istediğini değerlendirir; bu sayede, olası en iyi çıktının ne olabileceğini mantıklı bir şekilde düzenleme ve düşünme konusunda daha etkili hale gelir.

En yaygın akıl yürütme modelleri nelerdir?

Birçok sağlayıcı, en son teknolojiye sahip performans sergileyen akıl yürütme modelleri geliştirmiştir.

OpenAI

OpenAI'nin akıl yürütme modeli serisinin adı O serisiolarak adlandırılır. Şu anda mevcut modeller o1, o1-mini, o3, o3-pro ve o4-mini'dir. o3-pro, bu modeller arasında en yetenekli olanıdır.

Antropik

Anthropic, Claude'un en son sürümlerine akıl yürütme yetenekleri ekledi. Hem Claude 4 Opus hem de Claude 4 Sonnet, yanıt vermeden önce akıl yürütme yapmalarını sağlayan bir "genişletilmiş düşünme" moduna sahip.

İkizler

Google'ın Gemini 2.5 model serisi artık dahili bir düşünme süreci kullanıyor ve aynı zamanda akıl yürütme modelleri de. Gemini 2.5 Pro, Gemini 2.5 Flash ve Gemini 2.5 Flash-Lite'ın hepsi düşünme yeteneklerine sahip.

Deepseek

Deepseek R1, ilk açık kaynaklı akıl yürütme modeliydi ve Çinli Deepseek şirketi tarafından piyasaya sürüldü. Diğer ticari kapalı kaynaklı modellerin aksine, Deepseek'te nihai çıktının yanı sıra modelin düşünce sürecini de görebilirsiniz.

Qwen

Buna ek olarak, bir başka Çinli şirket olan Qwen, Qwen-QWQ-32B adlı bir akıl yürütme modelini piyasaya sürdü. Bu model, Deepseek R1’den daha geniş bir yelpazede bağlamlarda kullanılabilen, daha küçük ölçekli bir akıl yürütme modelidir.

Pangram bu mantık modellerinde nasıl bir performans sergiliyor?

Kısa bir süre önce, Pangram’ın yapay zeka algılama modeline yönelik bir güncelleme yayınladık; bu güncelleme, tüm akıl yürütme modellerinde performansı artırıyor.

En belirgin performans artışı o3 ve o3-pro modellerinde gözlemleniyor. o3 ve o3-pro modellerinin OpenAI’nin daha önce yayınladığı modellerden oldukça farklı olduğunu fark ettik; eski yapay zeka algılama modelimiz bu modellere karşı yeterince genelleme yapamadı ve ilk testimizde yalnızca %93 geri çağırma oranı elde etti.

o3 ve o3-pro problemlerinin çözümü

Karşılaştığımız bir diğer sorun ise, o3 ve o3-pro modellerinin önceki versiyonlarına kıyasla oldukça pahalı olmasıydı; bu da, bu modellerden diğer modellerle aynı ölçekte veri üretemeyeceğimiz anlamına geliyordu. İşleri daha da karmaşık hale getiren bir diğer faktör ise, bu modellerin çıktı token'larını üretmeden önce çok uzun süre düşünme aşamasına kaldıkları için çalıştırılma sürelerinin daha uzun olmasıydı.

Eğitim kümesi verilerimizi, az miktarda o3 ve o3-pro verisi ekleyerek yeniden oluşturduk. Temmuz sürümü için hazırladığımız nihai eğitim kümesinde, o3 metinleri eğitim verisi karışımının yalnızca %0,17’sini, o3-pro metinleri ise yalnızca %0,35’ini oluşturuyor. Bunu dengeledik ve o3-mini metinlerin oranını eğitim verisi karışımının %5'ine çıkararak genelleme elde etmeyi umduk. Şaşırtıcı bir şekilde, bu çok iyi sonuç verdi! Eğitim setinde sadece küçük bir ayarlamayla, yanlış pozitif sonuçlardan ödün vermek zorunda kalmadan o3 ve o3-pro'nun geri çağırma oranını, değerlendirdiğimiz diğer LLM'lerin geri çağırma oranlarıyla eşleştirebildik.

Pangram, az sayıda denemeyle öğrenen bir sistemdir

Pangram’ın bu özelliği, yani önceki modellerden niteliksel olarak farklı olan yeni büyük dil modellerinden (LLM) alınan küçük bir veri örneği üzerinde eğitilebilmesi, onu bizim “Few-Shot Learner” olarak adlandırdığımız bir model haline getiriyor. Bu davranışın önemli sonuçları vardır: yeni LLM'ler piyasaya sürüldüğünde, hatta farklı temel yazım stillerine sahip olabilecek ince ayarlı LLM'lere dayanan yeni LLM tabanlı ürünler piyasaya çıktığında, Pangram büyük veri kümelerinin yeniden oluşturulmasına gerek kalmadan bunlara hızlı ve düşük maliyetli bir şekilde uyum sağlayabilir.

Birçok kişi bize, nihayetinde bir "kedi-fare" oyunu olan bu mücadelede neden kazanabileceğimize inandığımızı soruyor. Pangram, az sayıda örnekle öğrenen bir sistem olduğu için, yeni büyük dil modellerine yetişmek, ilk bakışta göründüğü kadar zor değil; Pangram'ın genelleme yapıp kalıbı son derece verimli bir şekilde öğrenebilmesi için ona sadece birkaç örnek göstermemiz yeterli. Basitçe ifade etmek gerekirse, Pangram geçmişte çok sayıda LLM görmüş olduğu için, yeni LLM'lerin nasıl ses çıkardığını "öğrenmeyi öğrenme" konusunda son derece etkilidir.

Bu durum, her bir büyük dil modelinin kendine özgü ve kendine has bir üsluba sahip olmasıyla birleştiğinde, büyük dil modelleri giderek gelişip daha yetkin hale gelse de, Pangram’ın piyasaya sürülen yeni büyük dil modellerine uyum sağlamasını aslında kolaylaştırdı. Bizim bakış açımıza göre, büyük dil modellerinin yetkinliği ile tespit edilebilirliği birbirinden bağımsızdır.

Son Düşünceler: o3 ve o3-pro neden farklıdır?

Yapay zeka çevrelerinden birçok kişiden, o3 ve o3-pro’nun daha önce gördüğümüz diğer büyük dil modellerinden farklı bir havası olduğu yönünde geri bildirimler aldık. Deneyimlerimize göre, bunlar Pangram'ın (modelden herhangi bir veri görmeden) %99'un üzerinde güvenilirlikle sıfır atışla yakalayamadığı uzun zamandır (Claude 2'den beri) ilk modeller. Onları farklı kılan şeyin ne olduğunu tam olarak belirlemek zor olsa da, burada bunların neden özel olabileceğine dair bazı hipotezler derledik.

• o3 ve o3-pro, araç kullanımı için aşırı optimize edilmiştir. Pangram'ın, büyük ölçüde eğitim sonrası aşamada eklenen davranış ve kendine özgü özelliklere dayanarak AI tarafından üretilen içeriği tespit ettiğini biliyoruz. OpenAI, yayınladığı blog yazısında, o3 ve o3-pro'nun, eğitim sonrası süreçlerinin bir parçası olarak araçları kullanmak üzere pekiştirme öğrenimi kullanılarak eğitilmiş olmaları bakımından öncekilerden farklı olduğunu belirtiyor. Eğitim sonrası algoritmadaki bu fark, çıktıların stilini de niteliksel olarak etkilemiş olabilir.

• o3 ve o3-pro daha fazla hayali eylemlerde bulunuyor. Nathan Lambert’e göre, o3 koda geçersiz bir ASCII dışı karakter eklemiş ve görevleri çözmeye çalışırken gerçekleştirdiği eylemleri hayali olarak sunmuş; örneğin, tamamen uydurma bir Macbook Pro’da zamanlama kodunu çalıştırdığına dair hayali bir eylemde bulunmuştur. METR tarafından yapılan bağımsız değerlendirmeler ise, o3’ün gerçek anlamda ajansal görevleri çözmek yerine “puanlarını manipüle etme” eğiliminde olduğunu ortaya koymuştur.

o3 ve o3-pro hakkında daha fazla bilgi edinmek için Nathan'ın blog yazısını, Dan Shipper'ın "Vibe Check" adlı yazısını ve OpenAI'nin duyuru blog yazısını okumanızı tavsiye ederiz.

Sonuç

Pangram, akıl yürütme modelleri konusunda diğer büyük dil modelleri (LLM'ler) kadar güçlüdür; ancak o3 ve o3-pro, yazım stili ve üslup açısından önceki sürümlerinden farklı görünmektedir. Pangram'ın o3 ve o3-pro üzerindeki performansını iyileştirme sürecinde, Pangram'ın son derece güçlü bir az örnekle öğrenen model olması nedeniyle, her bir LLM piyasaya çıktığında düşündüğümüz kadar çok örneğe aslında ihtiyaç duymayabileceğimizi fark ettik.

Pangram'ı çok daha hızlı ve kolay bir şekilde güncellememizi sağlayacak ve en yeni büyük dil modellerini (LLM) eskisinden daha da hızlı tespit edebilen yapay zeka algılama modellerini kullanıma sunmamızı mümkün kılacak eğitim mimarisi ve rutinimizde değişiklikler yapmayı planlıyoruz. Yeni gelişmeler için bizi takip etmeye devam edin!