Üçüncü Taraf Pangram Değerlendirmeleri

Kurumların Pangram’ın yüksek doğruluğuna güvenebilmesinin önemli olduğuna inanıyoruz; bu nedenle, kalite ölçütlerimiz (yanlış pozitifler ve yanlış negatifler) üzerinde üçüncü taraflarca yapılan doğrulamaları teşvik ediyoruz. Aşağıda, Chicago Üniversitesi (UChicago) ve Maryland Üniversitesi (UMD) araştırmacıları ile ticari denetçiler tarafından Pangram hakkında yapılan değerlendirmelere yer vereceğiz.

Önemli nokta: Pangram’ın iç testleri, üçüncü tarafların titiz incelemelerine de dayanmaktadır.

Pangram’ın Güvenilirliği ve Doğruluğu (Chicago Üniversitesi)

Deney

UChicago’nun Becker Friedman Ekonomi Enstitüsü’nde araştırmacılar dört yapay zeka tespit aracını karşılaştırdı: Pangram, GPTZero, Originality AI ve RoBERTa (açık kaynaklı bir yapay zeka tespit aracı). Çalışmada, her bir tespit aracı kullanılarak farklı türlerde ve kelime sayılarına sahip 2020 öncesinde yazılmış 1.992 insan metni ile yapay zeka tarafından üretilmiş 1.992 metin analiz edildi. AI tespitinde iki tür hataya baktılar: Yanlış Pozitif Oranları ve Yanlış Negatif Oranları. Bu oranlar, birden fazla eşik değeri için karşılaştırıldı. Dedektörler ayrıca ChatGPT, Claude ve Gemini gibi popüler LLM'lerden AI tarafından üretilen metinleri de sınıflandırdı. Araştırmacılar, FNR'deki değişiklikleri not etmek için dedektörler arasında birden fazla FPR Politika Sınırı oluşturdu.

Sonuçlar

Brian Jabarian ve Alex Imas tarafından Ağustos 2025'te yayınlanan " Yapay Yazım ve Otomatik Algılama " başlıklı çalışmadan:

Pangram, tüm eşik değerlerinde diğer dedektörlere üstünlük sağlıyor.

Pangram, yapay zeka ile üretilmiş metinleri doğru bir şekilde tespit etme yeteneğinden ödün vermeden, katı bir politika sınırını (FPR ≤ 0,005) karşılayan tek algılayıcıdır.

Pangram, tüm türlerde en düşük maliyetli çözüm olmaya devam ediyor; ortalama olarak, yapay zeka tarafından doğru bir şekilde işaretlenen her paragraf için 0,0228 dolar ücret alırken, OriginalityAI 0,0416 dolar ve GPTZero ise 0,0575 dolar ücret alıyor. Bu da Pangram’ı hem tam metinler hem de taslaklar için en uygun maliyetli tespit aracı yapıyor.

Araştırma şunu ortaya koydu:

Pangram, orta uzunluktan uzun metinlerde yanlış pozitif ve yanlış negatif oranlarını neredeyse sıfıra indiriyor.

Pangram’ın yüksek doğruluğu, bloglar, incelemeler, özgeçmişler, haberler ve romanlar gibi farklı metin türlerinde takdir topladı. Daha kısa metinlerde, yanlış pozitif ve yanlış negatif oranları biraz artıyor, “ancak makul politika eşiklerinin oldukça altında kalıyor”.

UChicago araştırmacıları, Pangram’ın mevcut diğer yapay zeka tespit araçlarına kıyasla üstün performans gösterdiğini vurguladılar. FPR sınırı 0,0001 olarak belirlendiğinde, "ne GPTzero ne de Originality.AI en katı FPR sınırı altında pek iyi sonuçlar veremiyor... Pangram ise çoğu büyük dil modelinde hâlâ yaklaşık 0,01’lik bir FNR oranı elde ediyor."

Pangram artık 50 kelimeden kısa metinler için tahmin yapmıyor, ancak çalışmada da belirtildiği gibi,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Pangram’ın Humanizers’a Karşı Gösterdiği Performans (Maryland Üniversitesi)

Deney

Bu UMD çalışmasının 1. Deneyinde, bir metnin yapay zeka tarafından üretilip üretilmediğini tahmin etmek için büyük dil modelleri (LLM) konusunda farklı bilgi düzeylerine sahip değerlendiriciler kullanıldı. Bir anotatörün AI metinlerini tanımlamada neredeyse kusursuz olduğunu gözlemledikten sonra, LLM kullanımında benzer geçmişe sahip dört uzman anotatör daha kullanılarak aynı 60 örnek sınıflandırıldı. Uzman oylarının sonuçları, Pangram, Pangram Humanizer ve GPTZero gibi ticari dedektörlerin yanı sıra Fast-DetectGPT gibi açık kaynak araçlarla karşılaştırıldı. Bu süreçte, Pangram diğer dedektörlerle karşılaştırıldı.

Pangram'ın, yeniden ifade edilmiş ve insani bir üslupla yazılmış metinlere karşı gösterdiği tutarlı performans

Sonuçlar

Pangram, yapay zeka tarafından üretilmiş ancak insan diline benzetilmiş metinleri doğru bir şekilde tespit edebiliyor. Bu durum, Pangram’ın insan diline benzetilmiş metinleri ve başka kelimelerle ifade edilmiş metinleri tespit etme konusunda genel olarak en yüksek puanı aldığını ve %99,3’lük doğruluk oranıyla diğer yapay zeka tespit yazılımlarını geride bıraktığını belirten UMD’deki bilgisayar bilimcileri tarafından da doğrulanmaktadır.

Pangram'ın insanlaştırıcı programlara karşı nasıl bir performans sergilediğini öğrenin

Araştırma Kurumları Dışında Yapılan Pangram Değerlendirmeleri

Tom’s Guide’dan Amanda Caswell, bir makalesinde, düzinelerce yapay zeka tespit aracını denedikten sonra Pangram’ın “denediğim diğer araçlardan daha iyi performans gösterdiğini” belirtti. Pangram’ın, halihazırda düşük olan yanlış pozitif vakalarını daha da azaltmak için özenle çalıştığı da ortaya çıktı.

ZDNET'ten David Gewirtz, Pangram'ı “testlerimize yeni katılan ve hemen kazananlar arasına yükselen bir ürün” olarak tanımlıyor.

Araştırma makalelerinde yapay zeka kullanımının artması nedeniyle, bunun bilimsel suistimalin bir göstergesi olduğu yönünde endişeler bulunmaktadır. Adam Day’in Medium’da yayınlanan makalesinde, AI içeriğinin yaygınlığı konusunda güvenilir sonuçlar elde etmek için Pangram’ın AI algılama özelliği kullanılmış ve aynı zamanda araştırmada üretken AI için meşru kullanım örnekleri olduğu sonucuna varılmıştır. Day, araştırma yapmak için Pangram’ı kullanmayı önererek şöyle demiştir: “Eğer biri yayınlanmış literatürde genAI kullanımına ilişkin bir anket yapmak isterse, Pangram’ın araçlarıyla bunu yapmak için harika bir fırsat olduğunu düşünüyorum.”

Pangram Sonuçlarının Saygın Araştırmalarda Kullanımı (Maryland Üniversitesi)

UMD araştırmacıları (Microsoft ve Pangram ile işbirliği içinde), yakın zamanda yaptıkları bir çalışmada Pangram’ın yapay zeka tespitinden elde edilen sonuçları kullanarak, 186.000 gazete makalesinden oluşan bir örneklem üzerinden haberlerde yapay zeka tarafından üretilmiş metinlerin varlığını analiz ettiler. Haberlerin çok az bir kısmının yapay zeka tarafından üretildiği tespit edilse de, yapay zeka kullanımı açıklanmadı. Pangram, "The New York Times, The Wall Street Journal ve The Washington Post'un görüş sayfalarında AI içeriği bulunan 219 makaleyi" tespit etmek için kullanıldı.

Çalışma, yapay zeka kullanımındaki şu gibi inceliklere dikkat çekmeyi başardı:

Kendi makalelerini yazan gazeteciler, makalelerinde alıntı yaptıkları kişilerin yanıtlarını oluşturmak için yapay zeka kullandığının farkında olmayabilirler.

Pangram algılama yöntemiyle haberlerde yer alan yapay zeka

Sonuç

Pangram olarak, şeffaflığın güven için vazgeçilmez olduğuna inanıyoruz. Kuruluşunuza yapay zeka şeffaflığını kazandırmak için sizinle işbirliği yapmaktan memnuniyet duyarız.