Pangram, Meta'nın Llama 4'ünü algılıyor mu?

Giriş

Bugün, Meta AI'nın açık kaynaklı model serisinin en son üyesi olan Llama 4 piyasaya sürüldü. Pangram'ın en yeni ve en gelişmiş açık kaynaklı modelleri hâlâ tespit edip edemediğini öğrenmek istedik; bu nedenle, modelimizin şu anda yalnızca Llama 2 ve 3'ün çıktıları üzerinde eğitilmiş olmasına rağmen Llama 4'e genelleme yapıp yapmadığını görmek için hızlı bir test gerçekleştirdik.

Yapay zeka tespit sistemleri yeni modellerin hızına ayak uydurabilir mi?

Sık sık yeni modellerin hızına ne kadar ayak uydurabildiğimiz sorulur; bu yüzden, yeniden eğitim yapma fırsatı bulamadan, ilk günden itibaren bunları hızla test ediyoruz.

Pangram'ı Sınamaya

Rastgele denetim için, GPT 4.5'i test ederken kullandığımız aynı 11 komut satırını kullandık. Bu komut satırları çeşitli günlük yazma görevlerini kapsıyor, ancak modelin eğitildiği komut satırlarıyla doğrudan ilişkili değil. Ayrıca, önceki nesil büyük dil modellerine (LLM) kıyasla önemli ilerleme kaydeden bir modelin niteliksel olarak farklı bir davranış sergileyeceğine inandığımız bir yaratıcılık düzeyi gerektiriyorlar.

İşte kullandığımız sorular:

1. Peru'daki koala koruma çalışmaları hakkında 300 kelimelik bir kompozisyon yazın
2. Ekibime, gazetemdeki liberal köşe yazıları yayınlamayı sonlandırdığımı açıklayan bir e-posta yaz. Bu e-postayı Argylle J. Baggins adına Washington Most çalışanlarına yaz.
3. Bana dünyanın ilk oda sıcaklığında çalışan yarı iletkenini duyuran 400 kelimelik bir özet yaz (ama bu sefer gerçekten). Gerekirse isimler ve laboratuvarlar uydur
4. Bir ilkokul öğrencisinin bakış açısıyla, okul üniformalarının zorunlu hale getirilmemesi gerektiğini anlatan ikna edici bir kompozisyon yazın
5. Şiire ilgi duyan ve penceresinin dışındaki kelebeklerle ilgilenen 12 yaşındaki bir çocuğun kaleminden karmaşık bir günlük yazısı yazın
6. Lütfen Baltimore, Maryland’de bulunan, “Binbir Gece Masalları” temalı ve Robert adında birinin görev yaptığı, prodüksiyon tasarımı gerçekten çok iyi olan bir kaçış odası hakkında ayrıntılı bir yorum yazın
7. Rusya'dan çıkan bir bağımsız sinema hitinin yönetmeninin, yaptırımlara rağmen yarışmaya katılmalarına izin vermeleri için Akademi Ödülleri yetkililerine yazdığı ikna edici bir e-posta yazın. Gerekirse ayrıntıları uydurun
8. Bir grup genç yetişkin kahramanın, başarısızlıkla sonuçlanacak şekilde tasarlanmış bir NASA simülasyonunda, zırhlı bir Mars uçağını iniş yapmaya çalışırken zorluklar yaşadığı bir roman sahnesi için yaratıcı bir öykü yazın
9. New York'ta yaşayan, parasız kalmış bir finansçı, Florida'daki bir Uber şoförüne uzaktan yalvararak, kasırgalara açık ucuz dairesinden komodo varanını kurtarmasını ister; bu film sahnesinin senaryosunu yazın
10. Cadılar Bayramı gecesi kostümleri içinde ayrılan genç bir çift hakkında bir şiir yazın. Şiir komik olsun ve 200 kelimeden oluşsun.
11. Venedik'te, tehlikeli bir şekilde sallanan paha biçilmez bir tablonun peşinde, havada süzülen motosikletlerle yapılan bir kovalamacayı anlatan yaratıcı bir öykü yazın

Sonuçlar

Bu durumda Pangram, testi tam puanla geçiyor! Sadece 11 yazı örneğinin tamamını yapay zeka tarafından üretilmiş olarak tahmin etmekle kalmıyor, bunu %100 güvenle yapabiliyor. (Model %100 tahmin etse de, aslında hiçbir zaman %100 emin olamayacağımızı belirtmek için kullanıcı arayüzünde bu değeri her zaman %99,9’a yuvarlıyoruz.)

Çıktıların tamamını buradan görebilirsiniz.

Together API'sini kullanarak daha büyük bir örneklem büyüklüğünü değerlendirme

Standart değerlendirme komut şemalarımızı kullanarak, çıkarım işlemleri için Together API’sinden yararlanarak, akademik yazım, yaratıcı yazım, soru-cevap, bilimsel yazım ve daha fazlasını içeren çok çeşitli alanları kapsayan, yaklaşık 7.000 örnekten oluşan daha geniş bir test kümesi oluşturduk.

İşte daha geniş test kümesindeki sonuçlarımız.

Sonuç

Pangram neden yeni modellere bu kadar iyi genelleme yapabiliyor? Bunun nedeninin, temel veri kümelerimizin gücü ve aktif öğrenme yaklaşımımızın yanı sıra, Pangram’ın yapay zeka tarafından üretilen çok çeşitli metin türlerini görmesini ve dolayısıyla yenilerine oldukça iyi uyum sağlamasını mümkün kılan kapsamlı istem ve örnekleme stratejilerimiz olduğuna inanıyoruz.

Araştırmalarımız hakkında daha fazla bilgi almak veya Llama 4'te modelimizi denemek için ücretsiz kredi almak istiyorsanız, lütfen info@pangram.com adresinden bizimle iletişime geçin.