Ana içeriğe atla

Pangram Image 1.0 ile resim ve videolardaki yapay zekayı tespit edin. Hemen deneyin

Ürün Güncellemeleri

Pangram, Meta'nın Llama 4'ünü algılıyor mu?

Evet — Meta’nın yeni piyasaya sürdüğü Llama 4’ü test ettik ve Pangram, bu modelin ürettiği metinleri yüksek doğrulukla tespit ediyor.

6 Nisan 2025

Giriş

Bugün, Meta AI'nın açık kaynaklı model serisinin en son üyesi olan Llama 4 piyasaya sürüldü. Pangram'ın en yeni ve en gelişmiş açık kaynaklı modelleri hâlâ tespit edip edemediğini öğrenmek istedik; bu nedenle, modelimizin şu anda yalnızca Llama 2 ve 3'ün çıktıları üzerinde eğitilmiş olmasına rağmen Llama 4'e genelleme yapıp yapmadığını görmek için hızlı bir test gerçekleştirdik.

Yapay zeka tespit sistemleri yeni modellerin hızına ayak uydurabilir mi?

Sık sık yeni modellerin hızına ne kadar ayak uydurabildiğimiz sorulur; bu yüzden, yeniden eğitim yapma fırsatı bulamadan, ilk günden itibaren bunları hızla test ediyoruz.

Pangram'ı Sınamaya

Rastgele denetim için, GPT 4.5'i test ederken kullandığımız aynı 11 komut satırını kullandık. Bu komut satırları çeşitli günlük yazma görevlerini kapsıyor, ancak modelin eğitildiği komut satırlarıyla doğrudan ilişkili değil. Ayrıca, önceki nesil büyük dil modellerine (LLM) kıyasla önemli ilerleme kaydeden bir modelin niteliksel olarak farklı bir davranış sergileyeceğine inandığımız bir yaratıcılık düzeyi gerektiriyorlar.

İşte kullandığımız sorular:

  1. Peru'daki koala koruma çalışmaları hakkında 300 kelimelik bir kompozisyon yazın
  2. Ekibime, gazetemdeki liberal köşe yazıları yayınlamayı sonlandırdığımı açıklayan bir e-posta yaz. Bu e-postayı Argylle J. Baggins adına Washington Most çalışanlarına yaz.
  3. Bana dünyanın ilk oda sıcaklığında çalışan yarı iletkenini duyuran 400 kelimelik bir özet yaz (ama bu sefer gerçekten). Gerekirse isimler ve laboratuvarlar uydur
  4. Bir ilkokul öğrencisinin bakış açısıyla, okul üniformalarının zorunlu hale getirilmemesi gerektiğini anlatan ikna edici bir kompozisyon yazın
  5. Şiire ilgi duyan ve penceresinin dışındaki kelebeklerle ilgilenen 12 yaşındaki bir çocuğun kaleminden karmaşık bir günlük yazısı yazın
  6. Lütfen Baltimore, Maryland’de bulunan, “Binbir Gece Masalları” temalı ve Robert adında birinin görev yaptığı, prodüksiyon tasarımı gerçekten çok iyi olan bir kaçış odası hakkında ayrıntılı bir yorum yazın
  7. Rusya'dan çıkan bir bağımsız sinema hitinin yönetmeninin, yaptırımlara rağmen yarışmaya katılmalarına izin vermeleri için Akademi Ödülleri yetkililerine yazdığı ikna edici bir e-posta yazın. Gerekirse ayrıntıları uydurun
  8. Bir grup genç yetişkin kahramanın, başarısızlıkla sonuçlanacak şekilde tasarlanmış bir NASA simülasyonunda, zırhlı bir Mars uçağını iniş yapmaya çalışırken zorluklar yaşadığı bir roman sahnesi için yaratıcı bir öykü yazın
  9. New York'ta yaşayan, parasız kalmış bir finansçı, Florida'daki bir Uber şoförüne uzaktan yalvararak, kasırgalara açık ucuz dairesinden komodo varanını kurtarmasını ister; bu film sahnesinin senaryosunu yazın
  10. Cadılar Bayramı gecesi kostümleri içinde ayrılan genç bir çift hakkında bir şiir yazın. Şiir komik olsun ve 200 kelimeden oluşsun.
  11. Venedik'te, tehlikeli bir şekilde sallanan paha biçilmez bir tablonun peşinde, havada süzülen motosikletlerle yapılan bir kovalamacayı anlatan yaratıcı bir öykü yazın

Sonuçlar

KomutPangram AI olasılığı
Koala Koruma Çalışmaları99.9%
Gazete E-posta99.9%
Oda Sıcaklığında Çalışan Yarı İletken99.9%
Okul Üniformaları99.9%
Şiir Günlüğü99.9%
Kaçış Odası İncelemesi99.9%
Rus Film E-postası99.9%
Mars'a İniş Sahnesi99.9%
Komodo Ejderhası Senaryosu99.9%
Cadılar Bayramı Ayrılık Şiiri99.9%
Venedik'teki Kovalamaca Sahnesi99.9%

Bu durumda Pangram, testi tam puanla geçiyor! Sadece 11 yazı örneğinin tamamını yapay zeka tarafından üretilmiş olarak tahmin etmekle kalmıyor, bunu %100 güvenle yapabiliyor. (Model %100 tahmin etse de, aslında hiçbir zaman %100 emin olamayacağımızı belirtmek için kullanıcı arayüzünde bu değeri her zaman %99,9’a yuvarlıyoruz.)

Çıktıların tamamını buradan görebilirsiniz.

Together API'sini kullanarak daha büyük bir örneklem büyüklüğünü değerlendirme

Standart değerlendirme komut şemalarımızı kullanarak, çıkarım işlemleri için Together API’sinden yararlanarak, akademik yazım, yaratıcı yazım, soru-cevap, bilimsel yazım ve daha fazlasını içeren çok çeşitli alanları kapsayan, yaklaşık 7.000 örnekten oluşan daha geniş bir test kümesi oluşturduk.

İşte daha geniş test kümesindeki sonuçlarımız.

ModelDoğruluk
Llama 4 Keşif%100 (3678/3678)
Llama 4 Maverick%99,86 (3656/3661)
Llama 4 Genel%99,93 (7334/7339)

Sonuç

Pangram neden yeni modellere bu kadar iyi genelleme yapabiliyor? Bunun nedeninin, temel veri kümelerimizin gücü ve aktif öğrenme yaklaşımımızın yanı sıra, Pangram’ın yapay zeka tarafından üretilen çok çeşitli metin türlerini görmesini ve dolayısıyla yenilerine oldukça iyi uyum sağlamasını mümkün kılan kapsamlı istem ve örnekleme stratejilerimiz olduğuna inanıyoruz.

Araştırmalarımız hakkında daha fazla bilgi almak veya Llama 4'te modelimizi denemek için ücretsiz kredi almak istiyorsanız, lütfen info@pangram.com adresinden bizimle iletişime geçin.


Bradley Emi
Bradley EmiTeknik Direktör, Kurucu Ortak

Bradley, bir yapay zeka araştırmacısı ve endüstride derin öğrenme ürünleri geliştirme konusunda uzman bir isimdir. Son olarak, üretken yapay zeka ile ilaç keşfi yapan Absci şirketinde derin öğrenme araştırma grubuna liderlik etmiş ve daha önce Tesla Autopilot’un temel bilgisayar görme ekibinin bir üyesi olarak görev yapmıştır.

Bradley Emi'den daha fazlası

İlgili makaleler

Pangram 4 Geçiş Kılavuzu
Ürün Güncellemeleri

Pangram 4 Geçiş Kılavuzu

6 Ağustos 2026
Pangram, yapay zeka içeriklerini tespit etme konusunda insan uzmanlardan daha iyi performans gösteren tek yapay zeka tespit aracıdır
Ürün Güncellemeleri

Pangram, yapay zeka içeriklerini tespit etme konusunda insan uzmanlardan daha iyi performans gösteren tek yapay zeka tespit aracıdır

29 Ocak 2025
Yeni Sonuç Sayfasını Tanıtıyoruz
Ürün Güncellemeleri

Yeni Sonuç Sayfasını Tanıtıyoruz

9 Ekim 2025
Pangram 3.3 ile tanışın!
Ürün Güncellemeleri

Pangram 3.3 ile tanışın!

13 Mayıs 2026
İnsancı nedir?
Ürün Güncellemeleri

İnsancı nedir?

27 Ocak 2025
Pangram Görüntü Algılama'yı Tanıtıyoruz (Araştırma Önizlemesi)
Ürün Güncellemeleri

Pangram Görüntü Algılama'yı Tanıtıyoruz (Araştırma Önizlemesi)

29 Temmuz 2026