Hangisi daha iyi: Pangram mı, yoksa Turnitin mi?

En önde gelen iki yapay zeka dedektörünün karşılaştırılması

Bana sık sık "Pangram, Turnitin'in yapay zeka tabanlı intihal tespit aracından ne farkı var?" sorusu sorulur. Ne de olsa pek çok okul, Turnitin'in geleneksel intihal tespit aracını kullanıyor. Turnitin'in yapay zeka tabanlı intihal tespit aracı kullanımı kolay olsa da, birçok eğitimci bunun yerine Pangram'ı tercih ediyor. Peki bunun nedeni nedir? Bana göre buradaki iki temel faktör, doğruluk ve erişilebilirliktir.

Pangram'ın Doğruluğu ile Turnitin'in Doğruluğu Karşılaştırması

Pangram ve Turnitin ne kadar doğrudur? Her iki şirket de doğruluk oranlarını ayrıntılı olarak ele alan kendi teknik raporlarını yayınlamıştır ve her ikisinin de doğruluğu farklı akademik çalışmalarda ölçülmüştür.

Turnitin'in Eylül 2024 tarihli teknik raporunda, GPT-4 tarafından üretilen metinlerde %76,8'lik bir tespit oranı bildiriliyor. Bu, Turnitin'in GPT-4 tarafından üretilen ve sistemine giren metinlerin yaklaşık %77'sini tespit ettiği anlamına geliyor.

Buna karşılık, Pangram’ın teknik raporu, yapay zeka tarafından üretilen metinlerde genel olarak %99,9’luk bir hatırlama oranının yanı sıra özellikle GPT-4 metinlerinde de aynı oranın elde edildiğini göstermektedir. Bu rakamlar, Pangram’ın doğruluk oranının %99’un üzerinde olduğunu ortaya koyan üç bağımsız çalışmadan oluşan üçüncü taraf akademik araştırmalarla da desteklenmektedir.

Yanlış pozitif oranı

Yanlış pozitif oranı, doğruluğun önemli bir bileşenidir ve sınıf ortamında tartışmasız en önemli unsurdur. Dedektörünüzün sonuçlarına güvenemiyorsanız, o zaman bu cihazın gerçekte ne kadar yararı olabilir ki?

Turnitin'in teknik raporuna göre, yanlış pozitif oranı %0,51, yani yaklaşık olarak her 200'de 1'dir.

Turnitin'in web sitesinde bildirilen yanlış pozitif oranı

Öte yandan Pangram'ın, 10.000'de 1 oranında, yani %0,01'lik bir genel yanlış pozitif oranı olduğu belgelenmiştir. Turnitin'in değerlendirmesine benzer bir akademik makale veri setinde Pangram, 25.000'de 1 oranında bir yanlış pozitif oranı sergilemektedir.

ESL Önyargısı

Hem Pangram hem de Turnitin, ana dili İngilizce olmayan kullanıcılar karşısında tarafsız olduklarını iddia ediyor.

Pangram, ayrılmış dört ESL veri setinde %0,032 oranında yanlış pozitif tespit etti.

Turnitin, ESL yazılarındaki performansını incelemiş ve ESL yazılarında %1,4'lük bir yanlış pozitif oranını ölçmüştür; buna karşılık, ESL dışı yazılarda bu oran %1,3'tür.

Pangram, doğrudan karşılaştırma amacıyla aynı veri setini değerlendirerek, ESL metinlerinde %0,02 ve ESL dışı metinlerde %0 gibi önemli ölçüde daha düşük bir yanlış pozitif oranını ortaya koydu.

Stok durumu

Pangram, okullarının kurumsal lisansa sahip olup olmadığına bakılmaksızın tüm öğretmenlerin kullanımına açıktır. Öğretmenler günde beş deneme hakkını ücretsiz olarak kullanabilirler, ancak Pangram’ı yoğun bir şekilde kullanmak için abonelik alabilirler. Bir okul kurumsal lisans satın alırsa, tüm öğretmenler ve öğretim kadrosu Pangram’a sınırsız erişim hakkına sahip olur.

Turnitin yalnızca kurumsal lisans yoluyla kullanılabilir. Kurumsal lisansa abone olmadan Turnitin’in yapay zeka tabanlı intihal tespit ürününü ücretsiz olarak denemenin bir yolu yoktur.

Pangram'ı nasıl kullanabilirim?

Pangram'ı kullanmanın üç temel yolu vardır:

1. Kontrol Paneli: Pangram'ın ücretsiz kontrol panelini kullanarak metin yapıştırabilir veya belge yükleyebilir ve bunların yapay zeka içeriği olup olmadığını kontrol edebilirsiniz. Kontrol panelinden, yapay zeka tarafından yazılan kısımların gösterildiği bir grafik ve sık kullanılan yapay zeka ifadelerinin vurgulandığı bir listeyi içeren ayrıntılı bir rapor görüntüleyebilirsiniz.
2. Chrome uzantısı: Pangram Chrome uzantısını kullanarak herhangi bir metni seçip sağ tıklama menüsünden "AI İçeriği Kontrol Et" seçeneğini belirleyerek metindeki AI içeriğini kontrol edebilirsiniz. Bu özellik, Canvas Speedgrader ve tartışma forumları dahil olmak üzere internetin her yerinde çalışır. Uzantı ayrıca Google Dokümanlar'a bir düğme ekleyerek belgedeki AI içeriğini anında kontrol etmenizi sağlar.
3. LMS Entegrasyonu: Pangram, Canvas ve Google Classroom entegrasyonları da dahil olmak üzere çeşitli entegrasyon seçenekleri sunar. Bu entegrasyonlar yalnızca kurumsal lisans yoluyla kullanılabilir. Entegrasyonlarımızın güncel listesi için buraya tıklayın.

Hangi diller destekleniyor?

Pangram, İngilizce, Arapça, Çince, Felemenkçe, Çekçe, Fransızca, Almanca, Yunanca, Hintçe, Macarca, İtalyanca, Japonca, Korece, Farsça, Lehçe, Portekizce, Romence, Rusça, İspanyolca, İsveççe, Türkçe, Ukraynaca, Urduca ve Vietnamca dahil olmak üzere 24 dili desteklemektedir.

Turnitin üç dili desteklemektedir: İngilizce, Japonca ve İspanyolca.

Pangram ve Turnitin Karşılaştırması Özeti

Genel olarak, hem Pangram hem de Turnitin doğruluk konusundaki iddialarını destekleyen önemli kanıtlar sunmuştur; ancak Pangram , diğer yapay zeka taranma araçlarıyla karşılaştırıldığında Turnitin’den iki kat daha doğrudur. Pangram 24 dili desteklerken, Turnitin yalnızca üç dili desteklemektedir. Pangram ücretsiz bir kontrol paneli, Chrome uzantısı ve bireysel ya da kurumsal lisanslar sunarken, Turnitin sadece kurumsal lisanslar sunmaktadır.

Yükseköğretim kurumları için mevcut dedektör seçeneklerini mi değerlendiriyorsunuz? Üniversitelerin hangi yapay zeka dedektörlerini kullanması gerektiğini öğrenin.