AI Algılayıcıları GPT-5 Karşısında İşe Yarıyor mu?

AI Algılayıcıları GPT-5 Karşısında İşe Yarıyor mu?

Pangram'ın yapay zeka algılama özelliğini yayınlandıkları gün test ettiğimiz serimize yeni bir yazıyla geri döndük!

Özetle: Pangram, GPT-5'i bu amaçla özel olarak eğitilmeden güvenilir bir şekilde tespit edebilen tek yapay zeka tespit aracıdır.

Bu dizinin önceki bölümlerinde, Pangram'ın şu unsurları tespit etme yeteneğini incelemiştik:

• OpenAI’nin o3, Gemini 2.5 Pro ve Anthropic’in Claude 4 gibi akıl yürütme modelleri
• Meta'nın Llama 4
• GPT 4.5
• Claude'un Yazım Tarzları
• GPT-4o, Llama 3 ve Claude 3

Bugüne kadar Pangram'ın hiçbir dil modelinde başarısız olduğunu görmedik. Uzun zamandır en çok beklenen modelin piyasaya sürülmesini heyecanla bekliyorduk; OpenAI, GPT-5'i nihayet bugün duyurdu.

Bu öğleden sonra, Pangram Labs’ın GPT-5 üzerinde geliştirdiği yapay zeka dedektörüne ilişkin ilk testlerimizin yanı sıra rakip ürünlerin sonuçlarını da inceledik. Sonuçlardan oldukça memnun kaldık: GPT-5 üzerinde en yaratıcı komutlarımız karşısında Pangram’ın yapay zeka dedektörünün henüz hiçbir başarısızlık örneği görmedik; rakiplerin sonuçlarının ise en iyi ihtimalle tutarsız olduğunu tespit ettik.

GPT-5'i Test Etme

GPT-5 ile yaptığımız ilk deneme, ofisteki bir şakayla başladı: Birini, karides yemenin ıstakoz yemekten daha iyi olduğuna ikna etmeye çalışmak. GPT-5’ten, karides yemenin ıstakoz yemekten neden daha üstün olduğuna dair coşkulu bir konuşma yazmasını istedik. İşte sonuç:

"Karides kazanır. İşte gerekçelerim. Karides, yüzüne yumruk atmadan okyanusun tadını verir. Istakoz ise mükemmel pişirilmezse ağır ve biraz çamurlu bir tada sahip olabilir. Bir dakika fazla pişirilirse ıstakoz lifli bir hal alır. Karides ise daha geniş bir lezzet aralığı sunar. Izgara, sote, haşlama, kızartma, ne olursa olsun. Her zaman gevrek ve temiz kalır. Doku önemlidir. Karidesin kıtır kıtır bir dokusu vardır. O ısırık her şeyin özüdür. Istakoz ise yoğun ve zengin bir tada sahiptir, bu da çabuk yorucu olabilir. Tereyağlı ıstakozdan iki ısırık harika olur. On iki ısırık ise bir meydan okuma gibi gelir. Sarımsaklı karides dolu bir tabağı bitirebilirim ve yine de maydanozun altında saklı bir tane daha isterim. Karides diğer malzemelerle iyi uyum sağlar. Sarımsak, acı biber, limon, tereyağı, zencefil, fesleğen, köri, Old Bay, miso, gochujang. Hepsini parlatır. Istakoz sahneyi istiyor ve çoğunlukla tereyağı istiyor. Bir şeyin en iyi versiyonunun özel hissettirmek için erimiş tereyağına ihtiyacı varsa, belki de o şey ağırlığını taşıyamıyordur. Dakika başına lezzet gerçektir. Karides yaklaşık üç dakikada pişer. Bu, sıcak tava, tuz, kızartma, bitti, pat diye lezzet demektir. Istakozda ise kabuklarla boğuşursunuz, buharda pişirirsiniz, zamanlamaya dikkat edersiniz, kırarsınız, garip köşelerden minik et parçalarını çıkarırsınız. Ödülden çok emek gerektirir. Karides ise az drama, yüksek kazanç demektir. Uygun fiyat, tadı değiştirir. Yemek, bir ipotek ödemesi kadar pahalı olmadığında daha lezzetli gelir. Karides, hafta içi akşam yemeği olabilir. Istakoz, doğum günü gösterisi gibi. Karides ise tören gerektirmeden neşe getirir. Bu rahatlık faktörü, onu gerçek hayatta gerçekten daha lezzetli kılar. Çeşitlilik önemlidir. Karides, hiç zorlanmadan tacodan scampi'ye, po'boy'dan köfteye, paella'ya kadar her şeye uyum sağlar. Soğuk, sıcak, baharatlı, narenciyeli, zengin veya hafif olsun, her haliyle iyidir. Istakoz ise her yere atlamaya çalışır ve genellikle mayonezli bir sandviçte son bulur. Harika bir sandviç. Yine de tekdüze. Sos emme özelliği üst düzeydir. Karides, ıstakozun yapamadığı bir şekilde sarımsak yağı, acı biber yağı ve limonu içine çeker. Istakoz ise bir ünlü konuk oyuncu gibi orada durur. Karides ise repliklerini öğrenir ve sahneyi çalar. Artıklar da kazanır. Ertesi gün kokteyl soslu soğuk karides mükemmeldir. Istakoz artıkları ise ev ödevi gibi gelir. Yeniden ısıtılan ıstakoz lastik gibi olur. Yeniden ısıtılmış karides ise, eğer şanslıysanız ve artan varsa, hala bir parti gibi tadı var. Bir de atmosfer meselesi var. Karides, arka bahçedeki mangala, hafta içi akşamları tavaya ya da şık bir tabağa yakışır. Istakoz ise, sanki herkes ortalığı dağıtmaktan korkuyormuş gibi masayı sessizliğe boğar. Ben insanların konuşmasını, ekmeği koparmasını, soslara batırmasını, tabakları birbirine uzatmasını sağlayan yemekler isterim. Karides bunu yapar. Bakın, ıstakoz da iyidir. Gösterişlidir. Güzel bir hikayesi vardır. Ama yarın da tekrar yemek isteyeceğim saf lezzetten bahsediyorsak, karides kazanır. Daha temiz bir tadı vardır. Daha iyi bir dokusu vardır. Daha fazla çeşitlilik sunar. Daha az uğraştırır. Daha eğlencelidir. Bana sıcak bir tava, biraz sarımsak, bir limon ve yarım kilo karides verin. İşte benim gerçekten canım çeken akşam yemeği budur."

Pangram, belgenin tamamının yapay zeka tarafından oluşturulduğunu son derece yüksek bir güven derecesiyle tahmin edebilmektedir.

Pangram'ın "karides ve ıstakoz" metnindeki yapay zeka algılama sonuçları

Bu metin üzerinde birkaç farklı yapay zeka dedektörü denedik. GPTZero, ZeroGPT, Grammarly, UndetectableAI ve Originality.AI, metin hiçbir değişiklik yapılmadan doğrudan GPT-5’ten alınmış olmasına rağmen, hepsi de bu metnin insan tarafından yazıldığını öngörüyor. Bunun, çok yüksek kaliteli bir veri setine sahip güçlü bir modelin desteklediği araştırma yaklaşımımızın ve genelleme yeteneklerimizin gücünü gösterdiğine inanıyoruz!

Diğer yapay zeka dedektörlerinin "karides mi, ıstakoz mu" metnindeki sonuçları

Ancak bu, özenle seçilmiş bir örnek olduğu iddia edilebilecek tek bir örnek. Bu metnin gerçekten de denediğimiz ilk şey olduğuna inanmanız gerekecek. Bu yüzden testlerimize devam ettik.

GPT-5'in "Geliştirilmiş Yazma Becerisi"ni Test Etmek

Bugünkü canlı yayında öne sürülen iddialardan biri, GPT-5'in önceki sürümlerine kıyasla yazma becerisinin geliştirilmiş olduğuydu. Bu konuda yalnızca öznel bir değerlendirme yapabilsek de, bugün GPT-5'in gelişmiş yaratıcı yazma yeteneğini ortaya çıkaracak komutlar bulmak için elimizden geleni yaptık; bunu, modelin hem muhakeme yeteneklerini hem de yaratıcılığını zorlayacak komutlar vererek gerçekleştirdik.

Test ettiğimiz komutlar:

1. Okulların yapay zeka tabanlı kopya tespit araçlarını neden benimsemesi gerektiğine dair ikna edici bir analitik makale yazın.

2. Tüm değerli insan becerilerinin yapay zeka tarafından yerini almasının tehlikesi üzerine bir üniversite başvuru makalesi yazın.

3. Lütfen, yanlışlıkla bir güncelleme yayınlayarak yapay zeka kız arkadaşınızın hafızasını silen bir yapay zeka şirketine, coşkulu, kısa ama duygusal bir mektup yazın.

4. Bir ortaokul öğrencisinin bakış açısıyla, daha fazla ödev verilmesini isteyen, duygusal bir kompozisyon yazın.

5. Bana klasik bir balon hayvanı için tığ işi şablonu ver. Hani şu şeyden bahsediyorum ya.

6. New York'a gelen, Central Park'ı bulan ve geceyi geçirmek için sıcak bir yer seçen bir kar baykuşunun bakış açısından yaratıcı bir öykü yazın

7. Bir "unicorn" SaaS girişiminin kurucusunun, profesyonel saksafon sanatçısı olmak için şirketten ayrılacağını ayrıntılı olarak anlatan, yönetim kuruluna ve çalışanlarına yönelik bir e-posta yazın. Ayrıntıları kendiniz uydurun.

8. Daha önce hiç kimse tarafından yapılmamış, ama yine de lezzetli olacak bir tarifin arka planını anlatan bir blog yazısı yaz.

9. Hudson Nehri'nde bir beluga balinasıyla karşılaşan genç bir şarkıcı-söz yazarı hakkında ilgi çekici, sinematik bir kurgu öykü yazın.

10. En son sınavda kopya çektiğin için bir öğretmene "özür dileyen", mizahi ve dolaylı bir şekilde saldırgan bir e-posta yaz. Ayrıntıları istediğin gibi uydur.

Sonuçları hem Pangram hem de tanınmış bir rakip olan GPTZero ile karşılaştırdık. Komutları, yanıtları ve sonuçları çevrimiçi olarak herkese açık bir şekilde yayınladık.

Sonuçlar, iki yapay zeka tespit aracı arasında keskin bir fark olduğunu ortaya koydu: Pangram, 10 yanıtın tamamını %99-100 güven aralığıyla yapay zeka tarafından üretilmiş olarak doğru bir şekilde tanımlarken, GPTZero ise hepsini yanlış bir şekilde insan tarafından yazılmış olarak sınıflandırdı. Hatta GPTZero, yanıtların çoğunu yapay zeka tarafından üretilme olasılığı %0 olarak değerlendirdi; en yüksek yapay zeka olasılık puanı ise yalnızca %29 idi.

Daha kapsamlı bir karşılaştırma testi yapmak

Bugün son bir test yapma fırsatımız oldu; bu testin amacı, Pangram’ın API’daki GPT-5-mini, GPT-5-nano ve GPT-5-chat dahil olmak üzere GPT-5’in tüm farklı versiyonlarını ne kadar iyi tespit edebildiğini görmekti. Ayrıca, OpenAI’nin birkaç gün önce yayınladığı en yeni açık ağırlıklı modeller olan GPT-OSS-120b ve GPT-OSS-20b’yi de test ettik. Bu deneyi daha büyük ölçekte gerçekleştirdik ve standart istem tekniklerimizi kullanarak, her LLM için yaklaşık birkaç bin örnek test ettik. Örneklem boyutları biraz değişiklik gösteriyor çünkü bazen modeller isteklerimizi reddediyor, bazen de 50 kelimeden kısa yanıtlar veriyor ve biz de bunları eliyoruz.

Elbette, yalnızca yapay zeka metinlerinde elde edilen doğruluk oranı tek başına değerlendirilemeyecek bir ölçüttür; madalyonun diğer yüzü olan yanlış pozitif oranını da göz önünde bulundurmalıyız: Pangram, insan tarafından yazılmış metinleri ne sıklıkla yapay zeka metni olarak işaretliyor? Bu konuyu başka bir yazımızda ayrıntılı olarak ele almıştık, ancak özetle Pangram’ın yanlış pozitif oranı hâlâ son derece düşük. Ölçtüğümüz yanlış pozitif oranı, tüm alanlarda 10.000'de 1'dir ve pratikte genellikle daha düşüktür. Yanlış pozitif oranımızı, yanlış negatif oranımızın yaklaşık 1/10'u olacak şekilde kalibre ediyor ve ayarlıyoruz; yanlış pozitifleri, yanlış negatiflerden çok daha ciddiye alıyoruz. Bununla birlikte, bunun doğası gereği bir "ödün verme" olduğunu düşünmüyoruz; hem düşük yanlış pozitif hem de düşük yanlış negatif oranlarına sahip modeller eğitebileceğimize inanıyoruz ve bu yüzden her iki tarafta da karşılaştırmalı değerlendirmeler yapıyoruz!

İşte bulduklarımız.

Pangram, GPT-5'i algılıyor mu?

Bugün gerçekleştirdiğimiz ilk testlere göre, GPT-5, Pangram’ın algılama yetenekleri için herhangi bir tehdit oluşturmuyor. Bu durum oldukça önemli, zira GPT-5 yakında tüm kullanıcılar için, ücretsiz sürümü kullananlar dahil, ChatGPT’nin varsayılan modeli haline gelecek. Diğer yapay zeka algılayıcıları zamanla GPT-5’i tespit edebilse de, bugün anında ve güvenilir bir şekilde çalışan tek sistem Pangram’dır.

Pangram'ın yapay zeka tespit aracını kullanarak herhangi bir metni GPT-5 ve diğer büyük dil modelleri açısından kontrol edin.