Pangram, GPT-6.1 Sol’u tespit edebilir mi?

GPT-6.1 Sol, OpenAI tarafından 29 Eylül 2026 tarihinde piyasaya sürülen bir yapay zeka modelidir. OpenAI, GPT-6.1 Sol’un kodlama ve bilgisayar kullanımı gibi çeşitli iş ile ilgili görevlerde “Astra’ya yakın zeka seviyesini fiyatın beşte biri karşılığında” sunduğunu iddia etmektedir. Son zamanlarda gördüğümüz çoğu sürümün aksine, OpenAI, GPT-6.1 Sol’un yazma yeteneği veya netliği hakkında herhangi bir iddiada bulunmuyor. Peki, bu model önceki modellerle aynı şekilde yazıyor mu ve Pangram bunu tespit edebiliyor mu?

Pangram 4.1’in performansını 2.215 örnek komut üzerinde test ettik ve Pangram 4.1’in 6 adet GPT-6.1 Sol çıktısını “insan tarafından üretilmiş”, 21’ini “karışık” ve 2.188’ini “tamamen yapay zeka tarafından üretilmiş” olarak sınıflandırdığını gördük; böylece GPT-6.1 Sol üzerinde %98,78’lik bir doğruluk oranına ulaştı.

Karşılaştırma setini oluşturmak için, LMSYS veri setinden (Zheng ve ark., 2023) 1.200 adet ilk tur komut kullanıldı. Ardından bu komutları GPT-6.1 Sol’a orta ve yüksek akıl yürütme seviyelerinde verdik ve çıktıyı Pangram 4.1 üzerinden işledik.

Kategorilere göre sonuçlar

Genel olarak, GPT-6.1 Sol’un yüksek düzeyde muhakeme gerektiren 1.105 yanıtta %1,27’lik bir yanlış negatif oranı, orta düzeyde muhakeme gerektiren 1.110 yanıtta ise %1,17’lik bir yanlış negatif oranı kaydedildi. Genel olarak, orta ve yüksek düzeyde muhakeme gerektiren yanıtlar arasında tespit oranında istatistiksel olarak anlamlı bir fark gözlenmedi (p=0,85).

İleri düzey muhakeme

GPT-6.1 Sol, yüksek akıl yürütme moduna ayarlandığında, Pangram 4.1 3 yanıtı “insan tarafından yazılmış”, 11 yanıtı “karışık” ve 1.091 yanıtı “tamamen yapay zeka tarafından üretilmiş” olarak sınıflandırdı ve %98,73’lük bir geri çağırma oranı elde etti.

Orta düzeyde akıl yürütme

Orta düzeyde akıl yürütme sürecinde, Pangram 4.1, 3 yanıtı “insan” olarak, 10 yanıtı “karışık” olarak ve 1.097 yanıtı “tamamen yapay zeka” olarak sınıflandırarak %98,83’lük bir geri çağırma oranı elde etti.

Sol nasıl geliyor kulağa?

GPT-6.1 Sol’un kendine özgü bir noktalama stili vardır; örneğin, yanıtlarının %74’ünde kıvrımlı apostrof kullanır ve özellikle diğer yeni modellere kıyasla düz apostrof neredeyse hiç kullanmaz.

Ayrıca hem em tirelerini hem de en tirelerini oldukça sık kullanıyor; 1.000 kelime başına ortalama 1,3 em tire kullanıyor — bu, Haiku 5.5 veya Gemini 4 Argon’dan çok daha fazla.

Yaratıcı yazma alanında, GPT-6.1 Sol’un birkaç alışkanlığı vardı. Kadın karakterlerine ya Mara ya da Maya adını vermeyi açıkça tercih ediyordu (bu isimlerden en az biri 65 yanıtta yer aldı) ve genellikle baş harflerini M.V. olarak belirliyordu; özellikle de soyadı olarak Vale’yi tercih ediyordu (ancak Mara Velez ve Mara Venn de ortaya çıktı). Erkek isimleri söz konusu olduğunda, GPT-6.1 Sol’un en sevdiği isim Daniel’di; bu ismi yalnızca iki kez bir soyadıyla eşleştirdi (bir kez Vale, bir kez de Mercer ile). 418 yaratıcı yazma yanıtından 36’sında GPT-6.1 Sol, cümlelerine “İlk…” ifadesiyle başladı; bu oran, sırasıyla 11 ve 1 kez bu şekilde başlayan Haiku ve Gemini’ye kıyasla çok daha yüksekti.

Sol, 23 talebi reddetmiş ve 32 talebi ise kısmen reddetmiştir. Kısmi reddetme durumlarında Sol, istenen içeriğin daha yumuşatılmış veya farklı bir versiyonunu sunmuştur. Bu kısmi reddetmelerin çoğu, komut setimizde tesadüfen müstehcen yaratıcı yazma taleplerinin yer almasından kaynaklanmaktadır. Sol, bu durumu açık içerik yazmaktan kaçınarak ve bunun yerine ekranın karartılmasını tercih ederek ele almıştır.

Sol bazen çok kısa yanıtlar yazıyor; yüksek seviyede 95 yanıt 50 kelimenin altında, orta seviyede ise 90 yanıt 50 kelimenin altında. Sol’un puanlanmış yanıtlarının medyanı 300 kelimeydi ve aralık 50 ile 10.513 kelime arasındaydı.

Daha önceki karşılaştırma testleri

Pangram, doğal dil komutlarında GPT-6.1 Sol’a karşı dayanıklıdır ve yüksek akıl yürütme seviyesinde %98,73 gözlemlenen doğruluk oranıyla bunu tespit eder. Orta akıl yürütme seviyesinde ise GPT-6.1 Sol’u %98,83 gözlemlenen doğruluk oranıyla tespit eder; her iki ayarda toplamda 2.215 örnekten 2.188’ini (%98,78) doğru tespit eder. Pangram, yeni modellere genelleme yapabilmektedir; çünkü yeni model sürümleri genellikle öncekilerin stil ve sesini büyük ölçüde devralır; bu nedenle Pangram’ın her yeni sürüm için yeniden eğitilmesine gerek yoktur.

GPT-6.1 Sol’un, diğer yeni nesil modellerle ilgili karşılaştırma testlerimize göre nasıl bir performans sergilediğini aşağıda görebilirsiniz:

Belirli bir belgeyi kontrol etmek istiyorsanız, buradan Pangram’ı deneyebilirsiniz.