Pangram ve Turnitin: Hangisi Daha İyi Bir Yapay Zeka Tespit Sistemi?

Akademik dürüstlük alanına biraz olsun aşina iseniz, muhtemelen Turnitin’i de biliyorsunuzdur. Bu platform, akademi dünyasının en önde gelen ismi ve intihal tespiti konusunda haklı bir nedenden ötürü bu konuma gelmiştir. 

Ülke çapındaki okullar, öğrenci çalışmalarını intihal açısından kontrol etmek için Turnitin’i kullanıyor; ve bu sistem iş akışlarının zaten önemli bir parçası olduğu için, yapay zeka tabanlı tespit özelliklerinden yararlanmanın doğal bir sonraki adım olacağı düşünülebilir. 

Ancak Turnitin’in yapay zeka tabanlı tespit sistemi acil durumlarda faydalı olsa da, yapay zeka tarafından üretilen içeriklerin kapsamı sınıfın çok, çok ötesine uzanıyor. Çevrimiçi içerik okuyanların %67’sinin yanıltıcı yapay zeka kaynaklı bilgilerle karşılaştığını tespit ettik; ancak yine de bu aynı grup, yanlış pozitif oranları konusunda endişeli olmaya devam ediyor. 

Doğruluk, hem sınıf içinde hem de sınıf dışında önemini korumaktadır. 

Bu nedenle, Pangram ile Turnitin’i karşılaştırırken, doğruluk, değerlendirdiğimiz en önemli unsur oldu. 

Bugün, ihtiyaçlarınıza en uygun platformun hangisi olduğunu belirlemek amacıyla, algılama performansı, yanlış pozitif oranları, dil desteği, erişilebilirlik, fiyatlandırma ve dağıtım seçeneklerini kapsayan araştırmamızı sizlerle paylaşacağım. 

Pangram ve Turnitin: Karşılaştırma Özeti

İlk bakışta benzer görünseler de, Pangram ve Turnitin, yapay zeka tabanlı intihal tespitine temelde farklı öncelikler göz önünde bulundurarak yaklaşmaktadır. Turnitin, birçok akademik kurumun halihazırda kullanıma aldığı ve yapay zeka tabanlı intihal tespit özelliklerini de içeren daha geniş bir ekosistemdir. 

Pangram ise, her şeyden önce özellikle yapay zeka algılaması amacıyla geliştirilmiştir. 

Pangram nedir?

Pangram, eğitimciler, yayıncılar, öğrenci kabul ekipleri ve aslında bir yazının kaynağını değerlendirmek isteyen her türlü kişi veya kuruluş için geliştirilmiş bir yapay zeka tespit platformudur. Bir metnin oluşturulmasında yapay zeka kullanılıp kullanılmadığını öğrenmek istiyorsanız, size yardımcı olabiliriz. 

Bizi diğer dedektörlerden ayıran şey, kullandığımız yöntemlerdir. İlk yapay zeka tabanlı algılama araçları, perpleksite ve patlamalı dağılım gibi yüzeysel ölçümlere aşırı odaklanıyordu. 

Bu nedenle, yapay zeka algılamasındaki en büyük iki sorunu, yani yanlış pozitif sonuçları ve insan dokunuşlu yapay zeka içeriğini çözmek amacıyla Pangram’ı geliştirdik. 

Modellerimiz, hem insanlar tarafından hem de yapay zeka tarafından üretilmiş milyonlarca yazı örneği üzerinde eğitilmiştir; bu sayede, insan tarafından yazılmış metinleri yanlış bir şekilde işaretlemeden, yapay zeka tarafından üretilmiş metinleri doğru bir şekilde tespit edebilmektedirler. 

Sonuç ne mi? Birkaç izole sinyal yerine belgenin tamamını incelemek üzere tasarlanmış bir algılayıcı. 

Günümüzde Pangram, 24 dilde algılama özelliğini desteklemekte ve içeriği büyük ölçekte doğrulaması gereken kuruluşlar için bir web platformu, Chrome uzantısı, LMS entegrasyonları ve Kurumsal API sunmaktadır.

Turnitin Nedir?

Son yirmi yıl içinde üniversite eğitimini tamamladıysanız, bu ismi mutlaka duymuşsunuzdur! Turnitin, intihal tespit yazılımıyla tanınan bir akademik dürüstlük platformudur. Şirketin en son hizmeti 2023 yılında piyasaya sürüldü; bu tarihte şirket, yapay zeka destekli yazım tespitini de hizmet yelpazesine dahil etti (bu adım son derece mantıklıydı). 

Birçok okul, öğrencilerin teslim ettiği ödevleri yayınlanmış ve daha önce teslim edilmiş çalışmaların yer aldığı geniş veritabanlarıyla karşılaştırmak için halihazırda Turnitin’i kullanıyordu. Yapay zeka tabanlı algılama özelliğinin eklenmesi, kurumların hem intihal hem de yapay zeka tarafından üretilen metinleri bir arada değerlendirebilmesini sağladı.

Sonuç olarak, Turnitin genellikle bağımsız bir yapay zeka tabanlı intihal tespit aracı olarak değil, daha kapsamlı bir akademik dürüstlük programının bir parçası olarak benimsenmektedir.

Hedef kitlesi, akademik dürüstlüğü geniş ölçekte yönetmek için merkezi sistemlere ihtiyaç duyan K-12 okulları ve üniversiteler olmaya devam etmektedir.

Doğruluk

Bir yapay zeka tespit aracını değerlendiren herkes için doğruluk, dikkat edilmesi gereken EN ÖNEMLİ ölçüttür. Neyse ki, buradaki her iki araç söz konusu olduğunda kimse doğruluk konusunda tahminde bulunmak zorunda kalmaz. Hem Pangram hem de Turnitin teknik raporlar yayınlamıştır; bu sayede rakamları doğrudan karşılaştırabiliriz. 

Bu konulara girmeden önce, burada “doğruluk” teriminin ne anlama geldiğini açıklığa kavuşturmak faydalı olacaktır; zira bu terim, yapay zeka tespitinde oldukça yaygın bir şekilde kullanılmaktadır. Aslında burada dikkate alınması gereken sadece iki ölçüt vardır, bu yüzden konuyu anlamak oldukça basittir. 

• Tespit oranı: Dedektör, yapay zeka tarafından üretilen içeriği ne sıklıkla doğru bir şekilde tespit ediyor? 

• Yanlış pozitif oranı: Dedektör, insan el yazısını ne sıklıkla yanlış bir şekilde yapay zeka olarak işaretliyor?

Şu anda piyasada bulunan çoğu yapay zeka algılayıcısı, bir yönde ya da diğer yönde biraz fazla ağırlık veriyor. Bir alanda başarılı olmak kolaydır, ancak her ikisinde de başarılı olmak çok daha zordur. Neyse ki, hem Pangram hem de Turnitin bu konuda oldukça iyi performans gösteriyor. 

Turnitin’in teknik raporu sayesinde, araştırmacıların araçlarını test ederken GPT-4 içeriğinde %76,8’lik bir tespit oranı elde ettiklerini biliyoruz. Bu, teknik denemelerde Turnitin’in yapay zeka tarafından üretilen her dört gönderiden birini gözden kaçırdığı anlamına geliyor.

Benzer şekilde, Pangram’ın teknik raporunda, Pangram’ın aynı model ailesinde %99,9’un üzerinde bir tekrar tespit oranı elde ettiği ortaya çıktı. Büyük hacimde öğrenci çalışmasını inceleyen kurumlar için bu, iki araç arasında oldukça önemli bir fark anlamına geliyor; Pangram, üretilen içeriğin çok daha büyük bir yüzdesini tespit ediyor. 

Yukarıda ele alınanlar gibi doğruluk iddiaları, ancak incelemeye açık olmaları ve düzenli olarak test edilip gözden geçirilmeleri durumunda anlamlıdır. Bu nedenle, karşılaştırma verilerini yayınlıyor ve akademik ortaklıklar ile araştırmacı erişim programları aracılığıyla bağımsız değerlendirmeleri destekliyoruz. Çok sayıda bağımsız çalışma, Pangram’ın performansını doğrudan ölçmüştür. 

Yanlış pozitif sonuçlara bakıldığında hikâye daha da ilginç hale geliyor. Turnitin, yaklaşık %0,51 oranında yanlış pozitif sonuç bildirmektedir; bu da her 200 belgeden 1’inde görülmektedir. Pangram’ın karşılaştırmalı test sonuçlarına göre ise genel olarak her 10.000 belgeden 1’inde yanlış pozitif sonuç görülürken, akademik makalelerde bu oran yaklaşık her 25.000 belgeden 1’ine düşerek daha da iyi bir performans sergilemektedir.

Mevcut karşılaştırma verilerini karşılaştırdığımda, doğruluk konusunda kazanan açıkça ortada. Pangram, yapay zeka tarafından üretilen içeriğin daha yüksek bir yüzdesini tespit ederken, çok daha az sayıda yanlış pozitif sonuç üretiyor.

Yanlış pozitif oranı

AI tarafından üretilen metnin eksik olması can sıkıcıdır, ancak akademik dürüstlük davasında bir öğrenciyi hile yapmakla haksız yere suçlamak, bana göre çok daha kötüdür.

Bir sınıfta, haber odasında veya iş yerinde, yanlış pozitif sonuçların ciddi sonuçları olabilir. Bir öğrenci akademik dürüstlüğe aykırı davranmakla suçlanabilir, bir yazarın eseri sorgulanabilir veya bir editör, meşru bir gönderime olan güvenini yitirebilir. Kullanıcılar sonuçlara güvenemezse, algılayıcının doğruluğunun önemi büyük ölçüde azalır.

Turnitin’e göre, platformun yanlış pozitif oranı %0,51, yani yaklaşık olarak her 200 belgeden 1’i olarak belirtilmektedir. Bu, değerlendirilen her 200 belge için yaklaşık bir adet özgün belgenin yanlışlıkla işaretlendiği anlamına gelmektedir.

Pangram'ın yayınladığı karşılaştırmalı test raporlarına göre, genel olarak 10.000'de 1 oranında yanlış pozitif sonuç ortaya çıkmaktadır. Turnitin'in değerlendirmesine benzer bir akademik makale veri setinde ise bu oran 25.000'de 1'e kadar düşmektedir.

Bu rakamlar Chicago Üniversitesi tarafından bağımsız olarak doğrulanmıştır; bu nedenle, kurumlar Pangram’ı öğrencilerin çalışmalarına ilişkin kararlar almak için kullandıklarında bu rakamların arkasında durabiliyoruz.

ESL sapması

Yapay zeka algılamasıyla ilgili halen devam eden önemli bir endişe, ana dili İngilizce olmayan yazarların yapay zeka kullandığı şeklinde yanlış bir şekilde işaretlenme olasılığının daha yüksek olup olmadığıdır. Ana dili İngilizce olmayan kişiler genellikle daha düşük perplexity puanları veren bir yazım tarzına sahip oldukları için, insan tarafından yazılan metinler bazen istatistiksel olarak yapay zeka tarafından üretilen metinlere benzer görünebilir.

Her yapay zeka algılayıcısı, İngilizceyi İkinci Dil Olarak Konuşanlara (ESL) yönelik önyargıyı azaltmanın bir öncelik olduğunu iddia ediyor. Ancak asıl soru, rakamların bu iddiayı destekleyip desteklemediğidir.

ESL değerlendirmemiz sırasında, model hem ESL hem de ESL dışı veri kümelerinde son derece düşük yanlış pozitif oranlarını korudu:

Bu sonuçlar, tek tek kelime seçimlerine veya katı yazım şablonlarına dayanmak yerine belge düzeyindeki kalıpları değerlendiren Pangram’ın yapay zeka tespitine yönelik daha geniş kapsamlı yaklaşımıyla uyumludur.

Bu konunun temelini oluşturan araştırmayı daha ayrıntılı incelemek isterseniz, ESL yazılarında yapay zeka algılama doğruluğuna ilişkin analizimize ve çok dilli yapay zeka algılama yeteneklerimize göz atabilirsiniz.

Stok durumu

Belki de bariz bir gerçek olsa da, bir yapay zeka algılayıcıyı kullanamıyorsanız bir işe yaramaz! Bu, Pangram ile Turnitin arasındaki en büyük farklardan biridir ve burada bahsetmeye değer bir konudur; zira pek çok eğitimcinin bireysel bir çözüme ihtiyacı vardır.

Pangram herkes için tasarlanmıştır. Bireysel eğitimciler, yayıncılar, hukuk ekipleri, kurumsal içerik denetçileri… Liste uzayıp gider. Bir hesap oluşturun ve günde dört ücretsiz tarama da dahil olmak üzere platformu hemen kullanmaya başlayın. Henüz denemediyseniz, hemen şimdi deneyin. 

Öte yandan, Turnitin’e kurum düzeyinde erişim izni verilmedikçe erişmek zordur. Bireysel eğitimciler bu konuda büyük ölçüde şanssızdır. Turnitin’e erişim, genellikle bir okul veya üniversite tarafından yönetilen kurumsal lisansa sahip olanlara sınırlıdır.

Ancak Pangram sadece bireysel kullanım için değildir. Üniversiteler ve okul bölgeleri de kurumsal lisanslama yoluyla Pangram’ı geniş ölçekte kullanıma sunabilir; bu sayede öğretim kadrosu ve personele sınırsız erişim imkânı ve öğrenim yönetim sistemi (LMS) entegrasyonları sağlanır.

Başka bir deyişle, Pangram bireysel kullanım için de mevcut olmakla birlikte, Turnitin’in asıl amaçlandığı kurumsal uygulamaları da desteklemektedir. 

Fiyatlandırma

Benzer şekilde, Turnitin de fiyatlandırma konusunda aynı derecede ketum davranıyor. Eğer bir kurum değilseniz, fiyat bilgisine ulaşamazsınız. 

Pangram, fiyatlandırmamıza kolayca erişmenizi ve karşılaştırmanızı sağlar. Bireysel kullanıcılar, günde dört tarama ile ücretsiz olarak kullanıma başlayabilir; ücretli planlar ise aylık 15 dolardan başlayarak 600 adede kadar yapay zeka taraması sunar. Daha geniş erişim ihtiyacı olan okullar ve kuruluşlar için kurumsal lisans seçenekleri de mevcuttur; böylece her türlü ihtiyacı karşılayabiliyoruz.

Ancak Turnitin, fiyatlarını kamuya açık olarak yayınlamamaktadır. Kurumsal lisanslar teklif üzerine temin edilebilmekte olup, fiyatlar genellikle okullarla doğrudan müzakere edilmektedir. Satın alma kararı vermeden önce programı denemek isteyenler için bireysel bir plan ya da kendi kendine kullanım seçeneği bulunmadığından, fiyatlandırma konusunda tam bir bilgi veremiyoruz.

Desteklenen diller 

Dil desteği, bu iki platform arasındaki en önemli pratik farklılıklardan biridir.

Pangram, İngilizce, Arapça, Çince, Felemenkçe, Çekçe, Fransızca, Almanca, Yunanca, Hintçe, Macarca, İtalyanca, Japonca, Korece, Farsça, Lehçe, Portekizce, Romence, Rusça, İspanyolca, İsveççe, Türkçe, Ukraynaca, Urduca ve Vietnamca dahil olmak üzere 24 dili desteklemektedir.

Öte yandan Turnitin, İngilizce, Japonca ve İspanyolca olmak üzere üç dili desteklemektedir. Ancak, yapay zeka destekli yeniden ifade etme ve algılama sistemini atlatma özelliklerimiz yalnızca İngilizce olarak gönderilen çalışmalar için kullanılabilir.

Uluslararası öğrenci kitlesine hizmet veren kurumlar veya birden fazla dilde içeriği inceleyen kurumsal ekipler için bu eksiklik oldukça önemlidir. Yalnızca üç dili destekleyen bir algılayıcı, kör noktalar yaratır ve desteklenmeyen dillerde yazılmış yapay zeka tarafından üretilen içeriği inceleme kapsamı dışında bırakır.

Pangram'ı nasıl kullanabilirim?

Pangram’ın Turnitin’e göre sahip olduğu bir avantaj, esnekliğidir. Tek bir iş akışıyla sınırlı kalmak yerine, Pangram, içeriği nasıl incelediğinize bağlı olarak çeşitli farklı şekillerde kullanılabilir:

• Kontrol Paneli: Pangram’ın ücretsiz kontrol panelini kullanarak metin yapıştırabilir veya belgeler yükleyebilir ve bunların yapay zeka içeriği olup olmadığını kontrol edebilirsiniz. Kontrol panelinden, yapay zeka ile yazılmış kısımların yerlerini gösteren bir grafik ve sık kullanılan yapay zeka ifadelerinin vurgulanmış olduğu bir liste de dahil olmak üzere, yapay zeka ile yazılmış metinlere ilişkin ayrıntılı bir rapor görüntüleyebilirsiniz.

• Chrome uzantısı: Pangram Chrome uzantısını kullanarak, herhangi bir metni seçip sağ tıklama menüsünden "AI İçeriği Kontrol Et" seçeneğini belirleyerek o metinde yapay zeka içeriği olup olmadığını kontrol edebilirsiniz. Bu özellik, Canvas Speedgrader ve tartışma forumları da dahil olmak üzere internetin her yerinde çalışır. Uzantı ayrıca Google Dokümanlar'a, belgedeki yapay zeka içeriğini anında kontrol etmenizi sağlayan bir düğme ekler.

• LMS entegrasyonu: Pangram, Canvas ve Google Classroom dahil olmak üzere çeşitli entegrasyon seçenekleri sunar. Bu entegrasyonlar yalnızca kurumsal lisans yoluyla kullanılabilir. 

Ekibiniz için en uygun yapay zeka algılama platformunu bulun

Genel olarak, hem Pangram hem de Turnitin, doğruluk konusundaki iddialarını destekleyen önemli kanıtlar sunmuştur; ancak Pangram, diğer yapay zeka tespit araçlarıyla karşılaştırıldığında Turnitin’den iki kat daha doğrudur.

Farkı kendi gözlerinizle görmek istiyorsanız, Pangram’ı ücretsiz olarak deneyebilirsiniz. Yapay zeka dedektörümüzde ilk taramanızı yapın, Chrome uzantısını kullanarak gezinirken içerikleri kontrol edin ya da Kurumsal API’mızı keşfederek nasıl çalıştığını görün.