Pangram doğru mu?

Doğruluk, Pangram’ın bir metni “AI tarafından üretilmiş”, “AI destekli” veya “insan tarafından yazılmış” olarak ne kadar etkili bir şekilde sınıflandırdığının bir ölçüsüdür. Doğruluk, her biri ayrı ayrı ölçülen iki farklı hata türüyle tanımlanır:

1. Yanlış negatif oranı: Pangram’ın yapay zeka tarafından yazılmış veya yapay zeka desteğiyle hazırlanmış bir belgeyi ne sıklıkla gözden kaçırdığı ve bunu yanlışlıkla insan tarafından yazılmış olarak etiketlediği
2. Yanlış pozitif oranı: Pangram’ın insan tarafından yazılmış bir belgeyi ne sıklıkla yanlışlıkla yapay zeka tarafından oluşturulmuş veya yapay zeka destekli olarak etiketlediği

Pangram, istatistiksel tahminlerde bulunan bir araçtır. Pangram’ı, yanlış pozitif sonuçlar yerine yanlış negatif sonuçlar üretmeye daha yatkın olacak şekilde kasıtlı olarak ayarladık; bu tercihi, ara sıra ortaya çıkan bir yanlış negatif sonuç can sıkıcı olsa da, yanlış pozitif sonuçların gerçek zarara yol açabileceği için yaptık.

Yanlış pozitif veya yanlış negatif bir sonuçla karşılaşırsanız, bunu geri bildirim formumuzu kullanarak bildirebilirsiniz. Kullanıcı raporları yalnızca manuel inceleme ve teşhis amacıyla kullanılır — kullanıcı verilerini asla model eğitimi veya performans karşılaştırması için kullanmayız.

Pangram’ın doğruluğu nasıl ölçülür?

Pangram’ın doğruluğunu ölçmek için, her bir öğenin yazarı (insan, yapay zeka ya da ikisinin karışımı) bilinen geniş belge veri kümeleri üzerinde test edilmektedir. Karşılaştırma testlerinin güvenilir sonuçlar vermesini sağlamak amacıyla, modelleri hiçbir zaman karşılaştırma veri kümelerimiz üzerinde eğitmiyoruz ve gerçek değerin belirsiz olduğu metinler üzerinde karşılaştırma testi yapmıyoruz.

Pangram’ın doğruluğu hem şirket içinde bizim tarafımızdan hem de üçüncü taraf araştırmacılar tarafından test edilmektedir . Her zaman daha fazla bağımsız değerlendirici arıyoruz — eğer bizi test etmekle ilgilenen bir araştırmacıysanız, kredi hibeleri sunuyoruz! API hibesi hakkında lütfen bizimle iletişime geçin.

Karşılaştırma setleri

Pangram’ı, insan tarafından yazılmış, yapay zeka tarafından üretilmiş, yapay zeka destekli ve insan-yapay zeka karışımı içerikler dahil olmak üzere birçok farklı türde veri üzerinde test ediyoruz.

İnsanlar tarafından yazılmış karşılaştırma verilerimiz, çok çeşitli türleri ve alanları kapsayan, ticari lisanslı ve tescilli metinlerden oluşmaktadır. Kullanıcılar tarafından gönderilen metinlerden veya korsan içeriklerden elde edilen verilerle asla karşılaştırma yapmayız.

Yapay zeka tarafından üretilen karşılaştırma setlerimizin, gerçek hayattaki yapay zeka yazma uygulamalarının mümkün olduğunca geniş bir yelpazesini yansıtmasını istiyoruz. Bu nedenle, başlıca yapay zeka tarafından üretilen karşılaştırma setimiz, anonimleştirilmiş büyük dil modeli (LLM) sohbetlerinden oluşan LMSYS-Chat-1M veri setinden elde ettiğimiz bir dizi açık uçlu yazma isteği kullanılarak oluşturulmaktadır.

Ayrıca, dış araştırmacılar tarafından derlenen ve kamuya açık olan çeşitli veri kümeleri üzerinde karşılaştırmalı değerlendirmeler yapıyoruz; daha fazla bilgi için Pangram 4 model kartındaki üçüncü taraf karşılaştırma sonuçlarına bakabilirsiniz.

Pangram’ın farklı yazı türlerindeki performansı

Pangram’ın hedef yanlış pozitif oranı %0,01, yani 10.000’da 1’dir. Kurum içi karşılaştırmalı değerlendirmemizde, Pangram 4 bu oranın biraz üzerinde bir performans sergilemiş ve 1.000.000 belge başına yaklaşık 41 yanlış pozitif sonuç vererek %0,0041’lik bir gözlemlenen yanlış pozitif oranına ulaşmıştır. Yaklaşık 520.000 adet yapay zeka tarafından üretilen belge üzerinde ölçülen genel yanlış negatif oranı %0,3396 olarak belirlendi.

Tüm karşılaştırma testlerimizde, yanlış pozitif ve yanlış negatif kavramları için katı bir tanım kullanılmaktadır: AI tarafından üretilmiş veya AI destekli olarak işaretlenen herhangi bir insan tarafından yazılmış bölüm — toplam metnin çok küçük bir kısmı olsa bile — yanlış pozitif olarak rapor edilir. Benzer şekilde, AI tarafından üretilmiş belgelerde, insan tarafından yazılmış veya AI destekli olarak işaretlenen herhangi bir kısmi bölüm, belgenin tamamı açısından yanlış negatif olarak rapor edilir.

Karşılaştırma testlerimizin güvenilirliğini sağlamak amacıyla, Pangram’ın performansını çeşitli insan ve yapay zeka tarafından üretilmiş metinler üzerinde ölçüyoruz. Aşağıda, Pangram’ın farklı alanlarda ve türlerde, yapay zeka modellerinde ve metin türlerinde nasıl bir performans sergilediğine dair bilgileri bulabilirsiniz.

Tür ve tür dalı

Yazım stili, tekniği ve yapısı, deneme, kurgu veya gazetecilik gibi farklı yazı türlerine göre değişiklik gösterir ve üst düzey karşılaştırmalar, belirli alanlardaki hata oranlarını belirsizleştirebilir. Bu nedenle, karşılaştırmalarımızı alana özgü alt kümelere ayırıyor ve bu alt kümelerdeki hem yanlış pozitif hem de yanlış negatif oranlarını inceliyoruz.

Etki alanına göre yanlış pozitif oranı

İnsanlar tarafından yazılmış çeşitli metin örneklerini test ederek, bunların herhangi birinde orantısız bir yanlış pozitif oranı olup olmadığını inceliyoruz. Genel olarak, yaratıcı, akademik ve bilimsel yazılar da dahil olmak üzere, başlıca kullanım senaryolarımızdaki performansımız oldukça iyi.

Bu alan analizinde, Amazon yorumları, haberler ve nasıl yapılır makalelerinin tümü çok dilli veriler içermektedir.

Şiir, tüm alanlar arasında en yüksek yanlış pozitif oranına sahipti — şiirler genellikle kısa ve belirli bir biçime sahip oldukları için sınıflandırılması daha zordur. Yanlış pozitif oranı hâlâ oldukça düşük olsa da, bu tür yazılar için ek bir inceleme yapılmasını tavsiye ederiz.

Alanlara göre yanlış negatif oranı

Pangram 4, denemeler, araştırma makaleleri ve bilimsel makaleler gibi akademik metinlerin yanı sıra yaratıcı yazılar ve kurgu eserleri de dahil olmak üzere, yapay zeka tarafından üretilen çok çeşitli metinleri tespit etme yeteneği açısından değerlendirilmiştir.

Ayrıca, LMSYS-Chat-1M veri setinden alınan gerçek dünyaya ait büyük dil modeli (LLM) komutlarından derlenen, anonimleştirilmiş kullanıcı komutlarına yönelik yapay zeka tarafından üretilen yanıtlardan oluşan rastgele bir örneklem üzerinde de test edildi. Bu komutlar arasında bilimsel ve teknik yazım, yaratıcı yazım ve iş yazımı yer alıyordu.

Farklı ve yeni yapay zeka modelleri

Tüm yapay zeka modelleri aynı şekilde yazmaz. Pangram 4’ün piyasaya sürülmesi sırasında, LMSYS-Chat-1M veri setini kullanarak 26 yaygın dil modelinden 20.000 örnek oluşturduk; böylece toplamda 520.000 örnek elde ettik. Aşağıda, bu modellerden 15’inin yanlış negatif oranı yer almaktadır; tablonun tamamını ise Pangram 4 model kartında inceleyebilirsiniz.

Yapay zeka modelleri de statik değildir. Sürekli yeni yapay zeka modelleri piyasaya sürülmekte ve yapay zeka şirketleri yeni sürümlerde yazım stiline ve kalitesine odaklanmaktadır; bu nedenle, modellerin stil ve üslubunun gelişmeye devam edeceğini beklemek mantıklıdır. Gelişmeleri takip etmek amacıyla, her yeni model piyasaya çıktığında üzerinde küçük çaplı bir karşılaştırma çalışması yürütüyor ve bunu kendi model sürümlerimiz arasında blogumuzda yayınlıyoruz.

Pangram, daha önce görülmemiş modellerde bile iyi performans göstermeye devam ediyor; çünkü yeni modeller, yazım tarzlarının büyük bir kısmını öncekilerden devralıyor. En son model karşılaştırma yazımız olan “Pangram, Claude Sonnet 5.5’i tespit edebiliyor mu?” başlıklı yazımızı buradan okuyabilir ve Pangram’ın daha önce görülmemiş modellerde nasıl düşük bir yanlış negatif oranı elde ettiğini buradan öğrenebilirsiniz.

Ortak yazarlık

Metin ikili bir yapıya sahip değildir: tüm belgeler ya tamamen yapay zeka tarafından üretilmiş ya da tamamen bir insan tarafından yazılmış değildir. Çoğu zaman, yapay zeka ve insan yazarlığı, tekrarlanan düzenleme, iyileştirme ve diğer karşılıklı süreçler yoluyla iç içe geçmiştir. İdeal olarak, Pangram’ın işbirliğine dayalı bir belge ile asgari düzeyde insan denetimi altında üretilmiş bir belgeyi birbirinden ayırt edebilmesi ve bu farkı tespit sonuçlarına yansıtabilmesi gerekir.

Hedef etiket, belgenin hazırlanmasında yapay zekanın ne ölçüde kullanıldığına bağlı olacaktır. Örneğin, düzeltme okuma veya metin düzenleme gibi hafif yapay zeka müdahaleleri genellikle “tamamen insan tarafından hazırlanmış” etiketini korumalıdır; buna karşılık, anlaşılırlık amacıyla kelime ve ifade değişiklikleri önermek gibi daha kapsamlı yeniden yazımlar genellikle “yapay zeka destekli” etiketini almalıdır. Öte yandan, yapay zeka ile gerçekleştirilen büyük çaplı yeniden yazımlar ise “yapay zeka tarafından üretilmiş” olarak etiketlenebilir.

Etiket, yapay zeka ile insan tarafından yazılan metinlerin nasıl birleştirildiğine de bağlı olmalıdır. Örneğin, bir paragrafı yeniden yazmak için yapay zeka ile karşılıklı görüş alışverişinde bulunmak “yardımlı” olarak etiketlenirken, yapay zekadan insan tarafından yazılmış bir iddiayı destekleyici kanıtlarla birlikte daha uzun bir paragrafa dönüştürmesini istemek, farklı bölümlerin farklı yazarlarını yansıtan “insan ve yapay zeka tarafından üretilen karışık içerik” etiketini alacaktır.

Yazma sürecinde yapay zekanın kullanıldığı tüm bu farklı yöntemleri kapsamak amacıyla, Pangram’ı yapay zekanın katılım düzeyinin değiştiği veri kümeleri üzerinde değerlendiriyoruz.

Pangram, yapay zeka destekli ve yapay zeka ile düzenlenmiş metinlerde iyi sonuçlar vermektedir. Aşırı tedbir amacıyla, Pangram karışık metinlerle karşılaştığında insan tarafından yazılmış metinlere yönelmektedir.

Çeşitli yazarlar

Pangram’ı, farklı geçmişlere sahip yazarlara karşı önyargı açısından değerlendirdik. Farklı engellilik durumları, cinsiyet, sınıf seviyeleri, etnik kökenler, İngilizce öğrenen statüleri ve ekonomik geçmişlere sahip öğrenciler tarafından yazılmış 25.996 deneme içeren bir veri setinde, Pangram 0 yanlış pozitif sonuç verdi. Farklı öğrenci denemelerine ilişkin sonuçların tam dökümüne göz atın.

Bir araştırma, Pangram 4’ün otistik yazarlara ait 85.887 belge dahil olmak üzere toplam 143.755 belge üzerindeki performansını incelemiş ve Pangram’ın kayda değer bir önyargı göstermediğini ortaya koymuştur. Hem nöroçeşitlilik gösteren hem de kontrol grubundaki yazarlar tarafından yazılmış 2022 öncesine ait 89.903 belge arasında, Pangram 4 %0,0011’lik bir yanlış pozitif oran sergilemiştir. Nöroçeşitlilik gösteren yazarlar üzerine yapılan bu bağımsız çalışmanın tamamını okuyabilirsiniz.

Pangram, İngilizce'nin yanı sıra Arapça, Çince, Çekçe, Felemenkçe, Fransızca, Almanca, Yunanca, Hintçe, Macarca, İtalyanca, Japonca, Korece, Farsça, Lehçe, Portekizce, Romence, Rusça, İspanyolca, İsveççe, Türkçe, Ukraynaca, Urduca ve Vietnamca dillerini de desteklemektedir.

Dillere göre karşılaştırma sonuçları için, Pangram’ın desteklenen dillere göre yanlış pozitif oranına bakınız.

Sınırlamalar

Kısa metin

Pangram, çoğunlukla tam cümlelerden oluşan ve 50 kelime veya daha uzun doğal dil metinlerinde yapay zeka tarafından üretilmiş metinleri tespit etmek üzere tasarlanmıştır. Pangram, daha uzun metin bölümlerinde en güvenilir sonuçları verir; zira bu tür metinler, yapay zeka tespit aracına doğru tahminlerde bulunması için daha fazla bilgi sağlar.

Aşağıda, Pangram’ın farklı uzunluktaki metinlerdeki performansının ayrıntılı bir dökümünü görebilirsiniz. Yanlış pozitif-yanlış negatif dengesi nedeniyle, kısa metinlerde görülen hataların çoğu yanlış negatif olacaktır.

Diğer sınırlamalar

Şu anda kapsam dışı kabul ettiğimiz ve Pangram'ın bu tür metinler için daha az güvenilir sonuçlar verebileceği bazı metin türleri bulunmaktadır. Bunlar arasında şunlar yer almaktadır:

• Kod, biçimlendirme veya Markdown
• Google Translate gibi yapay zeka tabanlı çeviriler ve makine çevirileri
• İçindekiler ve başlık sayfaları dahil olmak üzere belgenin ön kısmı
• Dizinler veya kaynakça gibi belgenin son bölümleri
• Eksen etiketleri veya tablo verileri gibi şekil metni
• Matematiksel gösterim
• Şiir veya yemek tarifleri gibi yoğun biçimlendirilmiş metinler

En iyi uygulamalar

• En iyi sonuçları elde etmek için, bir belgeyi taramadan önce insan tarafından yazılmış üstbilgiler, altbilgiler, talimatlar ve diğer gereksiz içerikler kaldırılmalıdır.
• Mümkünse, PDF’lere kıyasla ham metin ve .docx dosyalarının kullanılması tavsiye edilir; zira PDF dosyalarının ayrıştırılması sırasında bazen istenmeyen bozulmalar ortaya çıkabilir. PDF sonuçları her zaman iki kez kontrol edilmelidir.

Sık Sorulan Sorular

Neden yanlış pozitif oranını ve yanlış negatif oranını ayrı ayrı ölçüyorsunuz?

Doğruluk, Pangram’ı bir dizi örnek metin üzerinde çalıştırarak ve atanan etiketi, belgenin sahip olduğunu bildiğimiz etiketle karşılaştırarak ölçülür. Dolayısıyla, yanlış negatif oranı ve yanlış pozitif oranı, iki farklı unsuru ölçer:

• Yanlış negatif oranı şu soruyu ortaya koyuyor: Belirli bir AI belgesi verildiğinde, Pangram’ın bu belgeyi “insan tarafından yazılmış” olarak etiketleme olasılığı ne kadardır?
• Yanlış pozitif oranı şu soruyu ortaya koyuyor: Bir insan tarafından yazılmış bir belge verildiğinde, Pangram’ın bu belgeyi “AI” olarak etiketleme olasılığı ne kadardır?

Yapay zeka tarafından yazılmış bir belge kümesinde yanlış pozitif oranı söz konusu değildir; zira Pangram’ın buradaki herhangi bir öğeye atadığı pozitif (AI) etiket, yanlış pozitif olmayacaktır — tanımı gereği, bu bir doğru pozitif olacaktır. İşte bu nedenle yanlış pozitif ve yanlış negatif oranlarının ayrı ayrı ölçülmesi ve raporlanması gerekmektedir.

Pangram, kısa metinlerde daha az isabetli olmasına rağmen neden bu metinleri tarıyor?

Pangram’ın 50 ile 100 kelime arasındaki metinlerdeki yanlış pozitif oranı %0,02’dir; yani yaklaşık olarak her 5.000 metinde 1’dir. Bu oran, ortalama bir kullanıcının normal kullanım sırasında kısa metinlerde bir yanlış pozitifle karşılaşabileceği kadar yüksek olsa da — ve çevrimiçi ortamda kısa metinler yeterince yaygın olsa da — yine de Pangram’ın çoğu zaman yararlı bilgiler sağlayabileceğine inanmamıza yetecek kadar düşüktür.

Her zaman, belgenin mevcut en uzun bölümünü taramanızı öneririz. Kelime sayısı ne kadar fazla olursa, Pangram’a tahmin yapmak için o kadar fazla bilgi sağlanır; bu nedenle kelime sayısı arttıkça doğruluk oranının da yükseldiğini görüyoruz.