Üçüncü Taraf Pangram Değerlendirmeleri

Kurumların Pangram’ın yüksek doğruluğuna güvenebilmesinin önemli olduğuna inanıyoruz; bu nedenle, kalite ölçütlerimiz (yanlış pozitifler ve yanlış negatifler) üzerinde üçüncü taraflarca yapılan doğrulamaları teşvik ediyoruz. Aşağıda, Chicago Üniversitesi (UChicago) ve Maryland Üniversitesi (UMD) araştırmacıları ile ticari denetçiler tarafından Pangram hakkında yapılan değerlendirmelere yer vereceğiz.

Önemli nokta: Pangram’ın iç testleri, üçüncü tarafların titiz incelemelerine de dayanmaktadır.

Pangram, tamamen yapay zeka tarafından üretilen metinlerde %97,5'lik bir tespit oranı elde ederken, ESL denemelerinde sıfır yanlış pozitif sonuç vermektedir.

Haziran 2026’da yayınlanan ve hakem denetiminden geçmiş bir makalede, Vrije Universiteit Brussel’deki bir araştırma grubu, Pangram, GPTZero, Turnitin ve Copyleaks adlı dört yapay zeka tespit aracını, her biri 4000 kelimeden fazla olan 160 akademik makale üzerinde test etti. Veri seti İngilizce olarak yazılmıştı ve ESL öğrencileri tarafından yazılan metinler, yapay zeka tarafından üretilen metinler, hibrit (insan ve yapay zeka metinlerinin karışımı) metinler ve insan diliyle uyumlu hale getirilmiş yapay zeka metinleri arasında eşit olarak bölünmüştü.

Araştırmacılar, Pangram’ın yapay zeka içeriklerini güvenilir bir şekilde tespit eden tek araç olduğunu ortaya koydu: “Burada incelenen dört yapay zeka tespit aracından, şu anda yalnızca [Pangram] tatmin edici sonuçlar verdi.”

Pangram, hem tamamen yapay zeka tarafından yazılmış hem de insan eliyle düzenlenmiş makaleleri güvenilir bir şekilde tespit eden tek araçtı (sırasıyla %97,5 ve %95). Tamamen yapay zeka tarafından üretilen örneklemde, diğer üç araç neredeyse hiç tespit edemedi ve hepsi %0 oranında sonuç verdi. Pangram dışında hiçbir tespit aracı, insan eliyle düzenlenmiş metinleri güvenilir bir şekilde işleyemedi; ancak Turnitin bunların yaklaşık yarısını, Copyleaks ise dörtte birini tespit edebildi.

Daha önceki araştırmalarda, diğer algılayıcıların ESL yazarları için yanlış pozitif sonuçlar verdiği tespit edilmişti; ancak bu bağımsız çalışma, Pangram’ın ESL metinlerine karşı önemli ölçüde önyargılı olmadığını göstermektedir.

Pangram’ın Güvenilirliği ve Doğruluğu (Chicago Üniversitesi)

Deney

UChicago’nun Becker Friedman Ekonomi Enstitüsü’nde araştırmacılar dört yapay zeka tespit aracını karşılaştırdı: Pangram, GPTZero, Originality AI ve RoBERTa (açık kaynaklı bir yapay zeka tespit aracı). Çalışmada, her bir tespit aracı kullanılarak farklı türlerde ve kelime sayılarına sahip 2020 öncesinde yazılmış 1.992 insan metni ile yapay zeka tarafından üretilmiş 1.992 metin analiz edildi. AI tespitinde iki tür hataya baktılar: Yanlış Pozitif Oranları ve Yanlış Negatif Oranları. Bu oranlar, birden fazla eşik değeri için karşılaştırıldı. Dedektörler ayrıca ChatGPT, Claude ve Gemini gibi popüler LLM'lerden AI tarafından üretilen metinleri de sınıflandırdı. Araştırmacılar, FNR'deki değişiklikleri not etmek için dedektörler arasında birden fazla FPR Politika Sınırı oluşturdu.

Sonuçlar

Brian Jabarian ve Alex Imas tarafından Ağustos 2025'te yayınlanan " Yapay Yazım ve Otomatik Algılama " başlıklı çalışmadan:

Pangram, tüm eşik değerlerinde diğer dedektörlere üstünlük sağlıyor.

Pangram, yapay zeka ile üretilmiş metinleri doğru bir şekilde tespit etme yeteneğinden ödün vermeden, katı bir politika sınırını (FPR ≤ 0,005) karşılayan tek algılayıcıdır.

Pangram, tüm türlerde en düşük maliyetli çözüm olmaya devam ediyor; ortalama olarak, yapay zeka tarafından doğru bir şekilde işaretlenen her paragraf için 0,0228 dolar ücret alırken, OriginalityAI 0,0416 dolar ve GPTZero ise 0,0575 dolar ücret alıyor. Bu da Pangram’ı hem tam metinler hem de taslaklar için en uygun maliyetli tespit aracı yapıyor.

Araştırma şunu ortaya koydu:

Pangram, orta uzunluktan uzun metinlerde yanlış pozitif ve yanlış negatif oranlarını neredeyse sıfıra indiriyor.

Pangram’ın yüksek doğruluğu, bloglar, incelemeler, özgeçmişler, haberler ve romanlar gibi farklı metin türlerinde takdir topladı. Daha kısa metinlerde, yanlış pozitif ve yanlış negatif oranları biraz artıyor, “ancak makul politika eşiklerinin oldukça altında kalıyor”.

Altı tür ve dört büyük dil modeli (LLM) genelinde, her bir algılayıcı için ortalama yanlış pozitif oranı (insan metinlerini yapay zeka metni olarak işaretleme) ve yanlış negatif oranı (yapay zeka metinlerini gözden kaçırma). Her ikisinde de değer ne kadar düşükse o kadar iyidir.

Pangram artık 50 kelimeden kısa metinler için tahmin yapmıyor, ancak çalışmada da belirtildiği gibi,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Pangram’ın Humanizers’a Karşı Gösterdiği Performans (Maryland Üniversitesi)

Deney

Bu UMD çalışmasının 1. Deneyinde, bir metnin yapay zeka tarafından üretilip üretilmediğini tahmin etmek için büyük dil modelleri (LLM) konusunda farklı bilgi düzeylerine sahip değerlendiriciler kullanıldı. Bir anotatörün AI metinlerini tanımlamada neredeyse kusursuz olduğunu gözlemledikten sonra, LLM kullanımında benzer geçmişe sahip dört uzman anotatör daha kullanılarak aynı 60 örnek sınıflandırıldı. Uzman oylarının sonuçları, Pangram, Pangram Humanizer ve GPTZero gibi ticari dedektörlerin yanı sıra Fast-DetectGPT gibi açık kaynak araçlarla karşılaştırıldı. Bu süreçte, Pangram diğer dedektörlerle karşılaştırıldı.

Tüm koşullar ve en zor koşul olan “insanlaştırılmış o1-pro metni” dahil olmak üzere, yakalanan AI makalelerinin oranı (TPR) ve yanlış pozitif oranı. Yalnızca Pangram, uzman insanlarla aynı performansı gösterdi.

Sonuçlar

Pangram, yapay zeka tarafından üretilmiş ancak insan diline benzetilmiş metinleri doğru bir şekilde tespit edebiliyor. Bu durum, Pangram’ın insan diline benzetilmiş metinleri ve başka kelimelerle ifade edilmiş metinleri tespit etme konusunda genel olarak en yüksek puanı aldığını ve %99,3’lük doğruluk oranıyla diğer yapay zeka tespit yazılımlarını geride bıraktığını belirten UMD’deki bilgisayar bilimcileri tarafından da doğrulanmaktadır.

Pangram'ın insanlaştırıcı programlara karşı nasıl bir performans sergilediğini öğrenin

Araştırma Kurumları Dışında Yapılan Pangram Değerlendirmeleri

Tom’s Guide’dan Amanda Caswell, bir makalesinde, düzinelerce yapay zeka tespit aracını denedikten sonra Pangram’ın “denediğim diğer araçlardan daha iyi performans gösterdiğini” belirtti. Pangram’ın, halihazırda düşük olan yanlış pozitif vakalarını daha da azaltmak için özenle çalıştığı da ortaya çıktı.

ZDNET'ten David Gewirtz, Pangram'ı “testlerimize yeni katılan ve hemen kazananlar arasına yükselen bir ürün” olarak tanımlıyor.

Araştırma makalelerinde yapay zeka kullanımının artması nedeniyle, bunun bilimsel suistimalin bir göstergesi olduğu yönünde endişeler bulunmaktadır. Adam Day’in Medium’da yayınlanan makalesinde, AI içeriğinin yaygınlığı konusunda güvenilir sonuçlar elde etmek için Pangram’ın AI algılama özelliği kullanılmış ve aynı zamanda araştırmada üretken AI için meşru kullanım örnekleri olduğu sonucuna varılmıştır. Day, araştırma yapmak için Pangram’ı kullanmayı önererek şöyle demiştir: “Eğer biri yayınlanmış literatürde genAI kullanımına ilişkin bir anket yapmak isterse, Pangram’ın araçlarıyla bunu yapmak için harika bir fırsat olduğunu düşünüyorum.”

Sonuç

Pangram olarak, şeffaflığın güven için vazgeçilmez olduğuna inanıyoruz. Kuruluşunuza yapay zeka şeffaflığını kazandırmak için sizinle işbirliği yapmaktan memnuniyet duyarız.