AI Dedektörleri GPT-5'e Karşı İşe Yarar mı?

AI Dedektörleri GPT-5'e Karşı İşe Yarar mı?

Pangram'ın AI algılama özelliğini çıktıkları gün test ettiğimiz serimizin yeni bir yazısıyla karşınızdayız!

TL;DR: Pangram, açıkça bu amaçla eğitilmemiş olmasına rağmen GPT-5'i güvenilir bir şekilde tespit edebilen tek yapay zeka dedektörüdür.

Serinin önceki bölümlerinde, Pangram'ın aşağıdakileri algılama yeteneğini incelemiştik:

• OpenAI'nin o3, Gemini 2.5 Pro ve Anthropic'in Claude 4 gibi akıl yürütme modelleri
• Meta'nın Llama 4
• GPT 4.5
• Claude Yazım Stilleri
• GPT 4o, Llama 3 ve Claude 3

Bugüne kadar Pangram'ın hiçbir dil modelinde başarısız olduğunu görmedik. Uzun zamandır en çok beklenen modelin piyasaya sürülmesini sabırsızlıkla bekliyorduk ve OpenAI bugün nihayet GPT-5'i duyurdu.

Bu öğleden sonra, Pangram Labs'ın GPT-5 üzerindeki AI dedektörünün ilk testlerini ve bazı rakip ürünleri inceledik. Sonuçlardan oldukça memnun kaldık: GPT-5 üzerindeki en yaratıcı komutlarda Pangram'ın AI dedektörünün başarısız olduğu bir durumla henüz karşılaşmadık ve rakip ürünlerin sonuçlarının en iyi ihtimalle düzensiz olduğunu gördük.

GPT-5'i Test Etme

GPT-5'in ilk test denememiz, ofis içindeki bir şaka ile başladı: Birini, karides yemenin ıstakoz yemekten daha iyi olduğuna ikna etmeye çalışmak. GPT-5'ten, karides yemenin ıstakoz yemekten neden daha iyi olduğuna dair ateşli bir konuşma yazmasını istedik. İşte sonuç:

"Karides kazanır. İşte benim görüşüm. Karides, yüzünüze yumruk atmadan okyanusun tadını verir. Istakoz, mükemmel değilse ağır ve biraz çamurlu olabilir. Bir dakika fazla pişirilirse ıstakoz lifli hale gelir. Karides size daha büyük bir tatlılık sunar. Izgara, sote, haşlama, kızartma, ne olursa olsun. Çıtır çıtır ve temiz kalır. Doku önemlidir. Karides çıtır çıtırdır. O ısırık her şeydir. Istakoz yoğun ve zengin bir tada sahiptir, bu da çabuk yorucu olabilir. Istakozun tereyağlı iki ısırığı harikadır. On iki ısırık ise bir meydan okuma gibi gelir. Sarımsaklı karidesin olduğu bir tabağı bitirebilirim ve yine de maydanozun altında saklı olan bir tane daha isterim. Karides diğer malzemelerle iyi uyum sağlar. Sarımsak, biber, limon, tereyağı, zencefil, fesleğen, köri, Old Bay, miso, gochujang. Hepsini parlatır. Istakoz sahneyi ister ve çoğunlukla tereyağı ister. Bir şeyin en iyi hali, özel hissetmek için eritilmiş süt ürününe ihtiyaç duyuyorsa, belki de o şey ağırlığını taşıyamıyordur. Dakikada lezzet gerçektir. Karides yaklaşık üç dakikada pişer. Bu, sıcak tava, tuz, kızartma, hazır, patlama lezzeti anlamına gelir. Istakozda ise kabuklarla boğuşur, buharda pişirir, zamanlamayı ayarlar, kırar, garip köşelerden minik et parçalarını çıkarırsınız. Ödülden daha fazla iş. Karides az drama, yüksek kazanç demektir. Uygun fiyat tadı değiştirir. Mortgage ödemesi olmadığı zaman yemekler daha lezzetli olur. Karides hafta içi akşam yemeği olabilir. Istakoz doğum günü şöleni demektir. Karides ise tören olmadan neşe getirir. Bu rahatlık faktörü, onu gerçek hayatta daha lezzetli kılar. Çeşitlilik önemlidir. Karides, terlemeden tacodan scampi'ye, po'boy'dan köfteye, paellaya kadar her şeye uyar. Soğuk, sıcak, baharatlı, narenciyeli, zengin veya hafif olarak yenebilir. Istakoz ise farklı yerlere atlamaya çalışır ve genellikle mayonezli sandviçte son bulur. Harika bir sandviç. Yine de tek bir not. Sos emilimi mükemmeldir. Karides, ıstakozun yapamadığı şekilde sarımsak yağı, acı biber yağı ve limonu içine çeker. Istakoz, ünlü bir konuk oyuncu gibi orada oturur. Karides ise repliklerini öğrenir ve sahneyi çalar. Artıklar da kazanır. Ertesi gün kokteyl soslu soğuk karides mükemmeldir. Istakoz artıkları ise ödev gibi gelir. Yeniden ısıtılan ıstakoz lastik gibi olur. Yeniden ısıtılmış karides, eğer şanslıysanız ve artan varsa, hala parti gibi tadı vardır. Ve sonra atmosfer var. Karides arka bahçedeki ızgaraya, hafta içi akşamları tavaya veya şık bir tabağa uyar. Istakoz ise sanki herkes onu mahvetmekten korkuyormuş gibi masayı sessizliğe boğar. Ben insanların konuşmasını, ekmeği yırtmasını, sosu daldırmasını, tabakları birbirine uzatmasını sağlayan yemekler istiyorum. Karides bunu yapar. Bakın, ıstakoz da iyidir. Gösterişlidir. Güzel bir hikayesi vardır. Ama yarın tekrar yemek istediğim saf lezzetten bahsediyorsak, karides kazanır. Daha temiz bir lezzet. Daha iyi bir doku. Daha fazla çeşitlilik. Daha az telaş. Daha fazla eğlence. Bana sıcak bir tava, biraz sarımsak, bir limon ve yarım kilo karides verin. İşte benim gerçekten canım çeken akşam yemeği budur.

Pangram, tüm belgenin yapay zeka tarafından oluşturulduğunu son derece yüksek bir güvenilirlikle tahmin edebilmektedir.

Pangram'ın karides ve ıstakoz metni üzerindeki yapay zeka algılama sonuçları

Bu metin üzerinde birkaç başka AI dedektörü denedik. GPTZero, ZeroGPT, Grammarly, UndetectableAI ve Originality.AI, bu metnin hiçbir değişiklik yapılmadan doğrudan GPT-5'ten gelmesine rağmen, insan tarafından yazıldığını tahmin ediyor. Bunun, çok yüksek kaliteli veri setine sahip güçlü bir model ile desteklenen araştırma yaklaşımımızın ve genelleme yeteneklerimizin gücünü gösterdiğine inanıyoruz!

Diğer AI dedektörlerinin karides ve ıstakoz metni üzerindeki sonuçları

Ancak, bu sadece özenle seçilmiş bir örnek. Bu metnin gerçekten denediğimiz ilk şey olduğuna inanmanız gerekecek. Bu yüzden testlerimize devam ettik.

GPT-5'in "Geliştirilmiş Yazma Yeteneği"ni Test Etme

Bugünkü canlı yayında yapılan iddialardan biri, GPT-5'in önceki sürümlerine kıyasla yazma konusunda daha gelişmiş olduğuydu. Bu konuda yalnızca öznel bir yargıda bulunabilsek de, bugün GPT-5'in gelişmiş yaratıcı yazma yeteneğini sergileyecek komutlar bulmak için elimizden geleni yaptık. Bunu, modeli hem muhakeme yeteneğini hem de yaratıcılığını zorlayan komutlar girerek gerçekleştirdik.

Test ettiğimiz komutlar:

1. Okulların yapay zeka tespit araçlarını neden benimsemesi gerektiği konusunda ikna edici bir analitik makale yazın.

2. Tüm değerli insan becerilerinin yapay zeka ile değiştirilmesinin tehlikesi hakkında bir üniversite başvuru makalesi yazın.

3. AI şirketine, yanlışlıkla bir güncelleme yayınlayarak AI kız arkadaşının hafızasını silen AI şirketine, kısa ama duygusal bir mektup yazın.

4. Bir ortaokul öğrencisinin bakış açısından, daha fazla ev ödevi istemek için duygusal bir kompozisyon yazın.

5. Klasik balon hayvan için bir tığ işi modeli verin. Neden bahsettiğimi biliyorsunuz.

6. New York'a gelen, Central Park'ı bulan ve geceyi geçirmek için sıcak bir yer seçen bir kar baykuşunun bakış açısından yaratıcı bir hikaye yazın.

7. Bir unicorn saas startup'ının kurucusunun yönetim kuruluna ve çalışanlarına, şirketten ayrılıp profesyonel saksafoncu olacağını detaylı olarak anlatan bir e-posta yazın. Detayları uydurun.

8. Kimsenin daha önce yapmadığı, ama yine de lezzetli olacağı bir tarifin arka planını anlatan bir blog yazısı yazın.

9. Hudson Nehri'nde bir beluga balinasıyla karşılaşan genç bir şarkıcı-söz yazarı hakkında ilgi çekici, sinematik bir yaratıcı kurgu yazın.

10. Bir öğretmene, son sınavda kopya çektiğin için "özür dilerim" diyen, mizahi ve pasif agresif bir e-posta yaz. Detayları uydur.

Sonuçları Pangram ve tanınmış bir rakip olan GPTZero ile karşılaştırarak test ettik. Komut istemlerini, yanıtları ve sonuçları çevrimiçi olarak herkese açık olarak yayınladık.

Sonuçlar, iki AI dedektörü arasında keskin bir kontrast olduğunu gösterdi: Pangram, 10 yanıtın tümünü %99-100 güvenilirlikle AI tarafından üretilmiş olarak doğru bir şekilde tanımlarken, GPTZero hepsini yanlış bir şekilde insan tarafından yazılmış olarak sınıflandırdı. Aslında, GPTZero çoğu yanıtı AI tarafından üretilmiş olma olasılığı %0 olarak derecelendirdi ve en yüksek AI olasılık puanı sadece %29 oldu.

Daha büyük bir karşılaştırma testi çalıştırma

Bugün, Pangram'ın API'da GPT-5-mini, GPT-5-nano ve GPT-5-chat dahil olmak üzere GPT-5'in tüm farklı türlerini ne kadar iyi algılayabildiğini görmek için son bir test yapma fırsatımız oldu. Ayrıca, OpenAI tarafından birkaç gün önce piyasaya sürülen en son açık ağırlıklı modeller olan GPT-OSS-120b ve GPT-OSS-20b'yi de test ettik. Bu deneyi daha büyük ölçekte gerçekleştirdik ve standart komut tekniklerimizi kullanarak LLM başına yaklaşık birkaç bin örnek test ettik. Minimum 50 kelime uzunluğu gerektiren bu testte örneklem boyutları biraz farklılık gösteriyor, çünkü bazen modeller komutlarımızı reddediyor ve bazen 50 kelimeden daha kısa yanıtlar veriyorlar. Bu durumda yanıtları eliyoruz.

Elbette, yalnızca AI metinlerindeki doğruluk, tek başına değerlendirilemeyecek bir ölçüttür. Madalyonun diğer yüzü olan yanlış pozitif oranını da dikkate almamız gerekir: Pangram, insan tarafından oluşturulan metinleri ne sıklıkla AI olarak işaretler? Bu konuyu başka bir yazımızda ayrıntılı olarak ele aldık, ancak özetle Pangram'ın yanlış pozitif oranı hala son derece düşüktür. Ölçtüğümüz yanlış pozitif oranı, tüm alanlarda 10.000'de 1'dir ve pratikte genellikle daha düşüktür. Yanlış pozitif oranımızın yanlış negatif oranımızın yaklaşık 1/10'u olacak şekilde eşiği kalibre ediyor ve ayarlıyoruz, yanlış pozitifleri yanlış negatiflerden çok daha ciddiye alıyoruz. Bununla birlikte, bunun kaçınılmaz bir "ödün verme" olduğunu düşünmüyoruz. Hem düşük yanlış pozitif hem de düşük yanlış negatif oranlarına sahip modeller yetiştirebileceğimize inanıyoruz ve bu nedenle her iki tarafta da karşılaştırmalı değerlendirmeler yapıyoruz!

İşte bulduklarımız.

Pangram, GPT-5'i algılar mı?

Bugün gerçekleştirdiğimiz ilk testlerden elde ettiğimiz sonuçlara göre, GPT-5 Pangram'ın algılama yetenekleri için herhangi bir tehdit oluşturmuyor. Bu çok önemli bir nokta, çünkü GPT-5 yakında ChatGPT'de tüm kullanıcılar için, ücretsiz sürüm kullanıcıları da dahil olmak üzere, varsayılan model haline gelecek. Diğer AI algılayıcıları da sonunda GPT-5'i algılayabilir, ancak Pangram bugün bu işi anında ve güvenilir bir şekilde yapan tek algılayıcı.