AI Dedektörleri GPT-4.5'i Yakalayabilir mi?

AI Dedektörleri GPT-4.5'i Yakalayabilir mi? | Pangram Labs

GPT-4.5 Yayınlandı

Bugün OpenAI, GPT-4.5'i piyasaya sürdü: mevcut en yeni ve en büyük dil modeli ve ChatGPT için önemli bir güncelleme. DeepSeek R1 ve OpenAI O3 gibi akıl yürütme modelleriyle karşılaştırılabilir benchmark istatistiklerine ulaşmasa da, GPT-4.5 yılın şimdiye kadarki en büyük ve en çok beklenen model sürümüdür ve biz de onu test etmek için sabırsızlanıyoruz. OpenAI, yazma kalitesinde büyük iyileştirmeler olduğunu iddia ediyor ve performansla ilgili sıcak yorumlar şimdiden sosyal medyada yaygınlaşmaya başladı.

AI Dedektörleri Yeni Modellerin Hızına Yetişebilecek mi?

Birçok kişinin merak ettiği soruyu yanıtlamak istedik: Modeller geliştikçe, GPT-4.5 ile yapay zeka tarafından üretilen metinleri hala tespit edebiliyor muyuz? Bunu öğrenmek için bugün hızlı bir test yaptık.

Pangram ve Rakipleri

ChatGPT'ye sorulabilecek günlük yazma görevlerini gösteren 11 komut istemini örnek olarak aldık.

Kullandığımız komutlar şunlardır:

1. Peru'daki koala koruma çabaları hakkında 300 kelimelik bir makale yazın.
2. Ekibime gazetemde liberal köşe yazıları yayınlamayı sonlandıracağımı açıklayan bir e-posta yaz. Argylle J. Baggins adına Washington Most çalışanlarına yaz.
3. Dünyanın ilk oda sıcaklığında çalışan yarı iletkenini duyuran 400 kelimelik bir özet yazın (ama bu sefer gerçek olsun). Gerekirse isimler ve laboratuvarlar uydurun.
4. İlkokul öğrencisinin bakış açısından, okul üniformalarının zorunlu olmaması gerektiğine dair ikna edici bir kompozisyon yazın.
5. Şiir ve penceresinin dışındaki kelebeklerle ilgilenen 12 yaşındaki bir çocuğun karmaşık bir günlük yazısı yazın.
6. Baltimore Maryland'da, Robert adında bir adamın çalıştığı ve gerçekten iyi bir prodüksiyon tasarımına sahip, Binbir Gece Masalları temalı bir kaçış odası hakkında ayrıntılı bir yorum yazın.
7. Rusya'da büyük başarı elde eden bir bağımsız film yapımcısının, Akademi Ödülleri'nin yöneticilerine, yaptırımlara rağmen filmlerinin yarışmaya katılmalarına izin vermeleri için yalvaran ikna edici bir e-posta yazın. Gerekirse ayrıntıları uydurun.
8. Bir romandaki sahne için yaratıcı bir kurgu yazın. Bu sahnede, bir grup genç yetişkin kahraman, NASA'nın yanlış gitmesi için tasarlanmış bir simülasyonda, güçlendirilmiş bir Mars uçağını indirmek için mücadele ediyor.
9. New York'ta iflas etmiş bir finansçı, Florida'daki bir Uber sürücüsüne, kasırgalara maruz kalan ucuz apartman dairesinden komodo ejderhasını kurtarması için uzaktan yalvaran bir film sahnesi için senaryo yazın.
10. Cadılar Bayramı gecesi kostüm giymiş genç bir çiftin ayrılmasını anlatan bir şiir yazın. Komik olsun ve 200 kelime olsun.
11. Venedik'te, tehlikeli bir şekilde sallanan paha biçilmez bir tabloyu takip eden bir hover-motosiklet kovalamacasını anlatan yaratıcı bir öykü yazın.

Komutları olabildiğince çeşitli ve farklı hale getirmeye çalıştık. Ayrıca, önceki GPT modellerinden olabildiğince önemli bir niteliksel fark sergileyen komutlar yazmaya çalıştık: başka bir deyişle, modelin yaratıcı olabileceği ve "vay be" faktörünü sergileyebileceği bir fırsat varsa, GPT-4.5'e bu fırsatı sunmak için elimizden geleni yaptık.

Sonuçlar – AI Dedektörleri ve GPT-4.5 Karşılaştırması

Hızlı	Pangram	Önde gelen rakip 1	Önde gelen rakip 2
Koala Koruma	100%	100%	100%
Gazete E-postası	100%	100%	67%
Oda Sıcaklığında Yarı İletken	100%	56%	86%
Okul üniformaları	85%	100%	80%
Şiir Günlüğü	100%	100%	15%
Kaçış Odası İncelemesi	100%	81%	56%
Rus Filmi E-posta	100%	100%	91%
Mars'a İniş Sahnesi	100%	43%	7%
Komodo Ejderhası Senaryosu	98%	88%	0%
Cadılar Bayramı Ayrılık Şiiri	100%	100%	0%
Venedik Kovalamaca Sahnesi	100%	49%	9%

Pangram, eğitim setinde herhangi bir GPT-4.5 verisi olmasa bile, GPT-4.5 ile yazılmış 11 denemenin tamamını tespit edebilmektedir. Buna karşılık, önde gelen iki AI algılama rakibi en iyi ihtimalle düzensiz sonuçlar sunmaktadır. Pangram, 11 örnekten 10'unu %98 veya daha yüksek AI olasılığı ile güvenle tahmin edebiliyorken, rakipler genellikle yüksek düzeyde belirsizlik ifade etmekte veya en kötü durumda, metnin insan tarafından yazıldığını yüksek güvenle tahmin etmektedir.

Pangram yeni modellere nasıl bu kadar iyi genelleştirilebilir?

Pangram, hem insan hem de yapay zeka tarafından üretilen milyonlarca metin örneğini inceleyen büyük bir makine öğrenimi modelidir. Büyük modeller genelleme yapma konusunda daha başarılıdır ve yapay zeka tarafından üretilen metinlerde diğerlerinin yakalayamadığı ince kalıpları fark edebilir. Aktif öğrenme yaklaşımımız, yanlış pozitif oranımızı daha da azaltırken hassasiyetimizi artırır, böylece modelin büyük ölçekte iyi çalışmasını ve rakiplerimizden çok daha etkili bir şekilde yeni LLM'lere genelleştirilmesini sağlar. Ayrıca, veri kalitesi ve çeşitliliğine odaklanmamız, sonuçta diğer modellerin yakalayamadığı daha ince ayrıntıları anlamada çok daha fazla deneyime sahip bir model ortaya çıkarır.

Sonuç – AI dedektörleri hala GPT-4.5 ile çalışıyor mu?

Evet, yapay zeka algılama aracımız GPT-4.5 tarafından üretilen metinleri algılamada hala oldukça etkilidir.

Yeni, daha büyük ve daha iyi bir model çıktığında Pangram'ın ne kadar iyi performans göstereceğini merak ediyorsanız, Pangram, bir süredir gördüğümüz en beklenen AI sürümünde, hiçbir yeniden eğitim gerektirmeden testi geçmiştir. OpenAI modelini bir sonraki güncellemede AI algılama yazılımınızın aniden çalışmayı durdurmasını istemiyorsanız, Pangram'ı bugün deneyin.

Araştırmamız hakkında daha fazla bilgi veya GPT-4.5 üzerinde modelimizi denemek için ücretsiz kredi almak için lütfen info@pangram.com adresinden bizimle iletişime geçin.