ESL'de Pangram AI Algılama ne kadar doğru?

[Pangram 3.3 sürümünün yayınlanmasıyla] Mayıs 2026'da güncellenmiştir

Yapay zeka dedektörlerine yöneltilen yaygın bir eleştiri, bu sistemlerin ana dili İngilizce olmayan kişilere karşı önyargılı olduğu yönündedir. Ana dili İngilizce olmayan kişiler tarafından yazılan metinlere ESL (İkinci Dil Olarak İngilizce) veya daha kesin bir ifadeyle ELL (İngilizce Öğrenenler) denir. Daha önceki yazımızda, perplexity ve burstiness kavramlarına dayanan diğer yapay zeka dedektörlerinin neden bu kusura maruz kaldığını açıklamıştık.

İngilizceyi ana dili olarak konuşmayan kişiler, yüksek düzeyde kesiklik içeren bir üslup sergilemek için gerekli kelime dağarcığına veya karmaşık İngilizce cümle yapılarını kullanma becerisine sahip değildir. Bu nedenle, yapay zeka ile tespit etmeye yönelik önceki girişimler başarısız olmuştur: ESL metinleri sıklıkla yapay zeka tarafından üretilmiş metinler olarak yanlış tanımlanmış ve bu da ESL metinlerinde yüksek bir yanlış pozitif oranına yol açmıştır.

Yapay zeka tespiti ve ESL üzerine önceki çalışmalar

Weixin Liang, James Zou ve diğerleri tarafından Temmuz 2023'te yayınlanan dikkat çekici bir Stanford araştırması, GPT dedektörlerinin ana dili İngilizce olmayan yazarlara karşı önyargılı olduğunu iddia ediyor. Çalışma küçük bir örneklem üzerinde gerçekleştirilmiş olsa da (sadece TOEFL sınavından 91 deneme) ve bazı metodolojik kusurlar bulunsa da (yazarlar, dedektörleri test ederken GPT-4 ile değiştirilmiş insan metinlerini "insan" olarak etiketlemeye karar verdiler), genel olarak sonuçlar, test edilen yedi AI dedektörünün (Pangram bu çalışmada test edilmedi) ESL yazımına karşı güçlü bir önyargı sergilediğini gösterdi; insan ESL yazım örneklerinin %60'ından fazlası AI olarak işaretlendi.

Yüksek lisans programlarına giriş için standart bir sınav olan GRE’yi düzenleyen sınav hizmetleri merkezi ETS’nin Ağustos 2024’te yayınladığı daha yeni bir çalışmada, araştırmacılar ayrıca, GRE’de ana dili İngilizce olmayan adayların yaklaşık 2.000 yazma örneğini, perplexity dahil olmak üzere elle tasarlanmış özellikler üzerinde kendileri eğittikleri basit makine öğrenimi dedektörleri kullanarak daha geniş ölçekli bir incelemeye tabi tuttu. Deney ortamı oldukça basitleştirilmiş ve yapay olsa da ve bu çalışma ile gerçek dünya arasında önemli farklılıklar bulunsa da, kendi dedektörlerinde ana dili İngilizce olmayanlara karşı herhangi bir önyargı bulamadılar. Ayrıca, pratikte fiilen kullanılan ticari dedektörleri de incelemediler. Yine de bu çalışma ilginç bir noktaya dikkat çekiyor: ana dili İngilizce olmayan kişilerin verileri eğitim kümesinde yeterince temsil edildiğinde, ortaya çıkan önyargı yeterince azaltılmaktadır.

Pangram'ın ESL'deki performansı

Pangram'ın ESL verilerindeki yanlış pozitif oranını ölçmek amacıyla, Pangram'ın yapay zeka dedektörünü dört adet halka açık ESL veri seti üzerinde çalıştırdık (eğitim sırasında bu veri setlerini ayrı tuttuk, böylece eğitim-test verileri arasında herhangi bir sızıntı yaşanmadı).

İncelediğimiz veri kümeleri şunlardır:

• ELLIPSE İngilizce Dil Öğrenimi Veri Kümesi

• Uluslararası Asyalı İngilizce Öğrencileri Metin Derlemesi

• Pittsburgh İngilizce Dil Öğretim Metin Topluluğu

• Liang ve ark. tarafından Stanford Üniversitesi'nde yürütülen çalışmaya ait TOEFL veri seti

Sonuçlar aşağıdadır.

Pangram'ın genel yanlış pozitif oranı %0,078 olup, bu oran bizim %0,01'lik genel yanlış pozitif oranımızdan önemli ölçüde yüksek değildir.

Pangram ve TurnItIn

Pangram'ı, TurnItIn 'in yapay zeka yazma göstergesinin halka açık değerlendirmesinde kullandığı veri kümelerini kullanarak TurnItIn ile doğrudan karşılaştırıyoruz.

TurnItIn ile aynı veri kümeleri üzerinde hem "L1" (İngilizce ana dili olanlar) hem de "L2" (İngilizceyi ikinci dil olarak öğrenenler) İngilizceyi değerlendiriyoruz. TurnItIn, 300 kelimeden uzun belgeleri değerlendirmediğinden, değerlendirme öncesinde veri kümesine aynı filtrelemeyi uyguluyoruz.

Pangram'ın, ESL metinlerinde TurnItIn'den iki kat daha doğru olduğunu ve bu çalışmada Pangram'ın ana dili İngilizce olan metinlerde hiçbir yanlış pozitif tespit etmediğini gördük.

Pangram ve GPTZero

GPTZero, Liang’ın TOEFL çalışmasının orijinal verilerinde %1,1’lik bir yanlış pozitif oran bildirmektedir; ancak Liang’ın TOEFL veri setinin %6,6’sı da “Olası AI içeriği” olarak yanlış sınıflandırılmıştır.

Buna karşılık, Pangram, Liang TOEFL veri setinde tek bir yanlış pozitif sonuç bile vermemektedir ve her örnek konusunda son derece eminiz.

Pangram, ESL yazımında yanlış pozitif sonuçları nasıl azaltır?

Pangram'da, ana dili İngilizce olmayan kullanıcıların performansını son derece ciddiye alıyoruz; bu nedenle, yapay zeka tabanlı yazım algılama modelimizde yanlış pozitif sonuçları azaltmak için çeşitli stratejiler uyguladık.

Veriler

Makine öğrenimi modelleri, eğitim dağılımının dışında iyi performans göstermez; bu nedenle, veri kümemize ana dili İngilizce olmayan metinlerin de dahil edilmesine özen gösteriyoruz.

Ancak, işimiz bununla bitmiyor. Diğer yapay zeka yazı tespit araçları yalnızca öğrenci yazıları ve akademik makalelere odaklanırken, biz modelimizi çok çeşitli yazı türleri üzerinde eğitiyoruz. Yalnızca makaleler üzerinde eğitilmiş diğer AI yazı tespit araçları, genellikle eğitim setinde daha gündelik, konuşma diline yakın İngilizce'nin yeterince temsil edilmemesi sorunuyla karşı karşıyadır. Buna karşılık, biz sosyal medyadan, incelemelerden ve genel internet metinlerinden alınan, genellikle gayri resmi olan ve ana dili İngilizce olmayanlar veya İngilizce öğrenenlerin kullandığı İngilizceye benzer, kusurlu yazıları daha iyi temsil eden metinler kullanıyoruz.

Ayrıca, bu kaynaklar özellikle ESL veri kümeleri olmasa bile, ana dili İngilizce olmayan kişilerin yazdıkları metinler içerebilecek kaynakları da dahil etmeye özen gösteriyoruz. Örneğin, yabancı alan adlarına sahip web sitelerindeki İngilizce metinler, ana dili İngilizce olmayan kişilerin yazdıkları metinler için harika bir kaynaktır.

Çok Dilli Özellikler

Ayrıca diğer yapay zeka dedektörlerinden farklı olarak, faaliyet alanımızı sadece İngilizce ile sınırlamıyoruz. Aslında, modelimizin dilini hiçbir şekilde kısıtlamıyoruz: Modelimizi, yaygın olarak kullanılan tüm dillerde iyi performans gösterecek şekilde eğitmek için internette bulunan her türlü dili kullanacağız.

Daha önce mükemmel çok dilli performansımızdan bahsetmiştik ve Pangram'ın diğer dillerde çok iyi çalışmasını sağlayan tekniklerin, ESL'ye de gayet iyi bir şekilde uyarlanabileceğine inanıyoruz.

İyi bir genelleme ve aktarımın arkasında yatan mekanizmaların tam olarak ne olduğunu bilemesek de, ESL’nin neredeyse İngilizceye komşu bir dil olarak değerlendirilebileceğini düşünüyoruz. Modeli tüm dillerde iyi performans gösterecek şekilde optimize ederek, modelin herhangi bir dile özgü üslup, gramer yapıları veya belirli bir dilde fikirlerin ifade edilme biçimlerine özgü kelime seçimlerine aşırı uyum sağlamasını önlüyoruz. Tüm dillerdeki insan metinlerini inceleyerek, modele sadece ana dili İngilizce olanların değil, tüm insanların nasıl yazdığını öğretiriz. Bu, modelin ana dili İngilizce olanların kullandığı deyimsel kalıplara yanlış bir şekilde odaklanma olasılığını azaltır.

Etkin Öğrenme

Aktif öğrenme yaklaşımımız sayesinde Pangram, rakiplerine kıyasla çok daha doğru sonuçlar veriyor ve insan tarafından yazılmış metinleri yapay zeka metni olarak yanlış bir şekilde işaretleme oranını önemli ölçüde azaltıyor.

Eğitim ve "sert negatif madenciliği" arasında yinelemeli olarak geçiş yaparak, eğitim amacıyla yapay zeka tarafından üretilen metne en çok benzeyen insan kaynaklı örnekleri buluyoruz. Bu yaklaşım, yapay zeka tarafından üretilen metne en çok benzeyen insan kaynaklı örnekleri ortaya çıkarmakla kalmıyor; bu da modelin ESL metni ile yapay zeka tarafından üretilen metin arasındaki ince farkları anlamasına yardımcı oluyor; aynı zamanda, ESL metnine benzer ve iyi bir şekilde aktarılabilecek örnekleri bulmamıza da yardımcı oluyor ve modelin genel olarak daha iyi kalıplar öğrenmesini sağlıyor.

Yönlendirme Stratejileri

Modelin öğrenmesi için yapay zeka örnekleri oluştururken, modelin farklı yazım tarzlarına genelleme yapabilmesi için mümkün olduğunca geniş bir yelpazede komutlar kullanmaya çalışıyoruz. Örneğin, komutlarımızın sonuna sık sık "Bu denemeyi bir lise öğrencisinin üslubunda yaz" veya "Bu makaleyi ana dili İngilizce olmayan bir kişinin üslubunda yaz" gibi ek açıklamalar ekliyoruz.

Bu kadar çok farklı yazım stili oluşturarak, model sadece yapay zeka dil modellerinin yazma şeklini öğrenmekle kalmaz; aynı zamanda yapay zeka metinlerinin temelinde yatan kalıpları da öğrenir.

İstatistiksel açıdan bakıldığında, sentetik ayna iş akışımızı, modelimizin konu, yazım düzeyi veya üslup gibi alakasız özelliklere karşı değişmezlik gösterecek şekilde tasarlıyoruz. Modele insan metinlerinin özelliklerine uygun şekilde yönlendirmeler sunarak, her bir özelliği sergileyen insan ve yapay zeka örneklerini eşit sayıda kullanarak bu değişmezliği sağlıyoruz.

Kapsamlı Değerlendirme ve Kalite Güvencesi

Son olarak, her yeni model güncellemesini onaylamadan önce son derece kapsamlı ve titiz bir değerlendirme ve kalite kontrol süreci uyguluyoruz.

Değerlendirmede hem kaliteye hem de niceliğe odaklanıyoruz. Örneğin, Liang TOEFL veri setinde yalnızca 91 örnek bulunuyor; bu nedenle, sadece Liang TOEFL veri setini kullanırsak, ESL'deki yanlış pozitif oranımız hakkında yalnızca çok kaba bir tahmin elde edebiliriz. Tek bir örneği yanlış yorarsak, %1,1'lik bir yanlış pozitif oranı bildirmiş oluruz; bu durumda, gerçek FPR'si %1'in altında olan modeller arasındaki farkı ayırt edemeyiz.

Yanlış pozitif oranını %1'in çok altında tutmaya çalıştığımızdan (hedeflediğimiz yanlış pozitif oranı 10.000'de 1 ile 100.000'de 1 arasındadır), bu düzeyde bir doğruluğu teyit edebilmek için milyonlarca örneği incelememiz gerekiyor.

Geniş kapsamlı bir değerlendirme yapmak, modelimizin sergilediği hata türleri hakkında daha iyi bir kavrayışa sahip olmamıza yardımcı olur ve zaman içinde daha iyi veriler temin ederek ve özellikle bu hata durumlarına yönelik daha etkili algoritmik stratejiler geliştirerek bunları düzeltmemizi sağlar.

ESL'de yapay zeka dedektörlerine güvenilebilir mi?

Yaptığımız ölçümler, ayrıntılı değerlendirme sonuçları ve açıklanabilir iyileştirme stratejileri sayesinde, Pangram'ın ana dili İngilizce olmayan kişiler için eğitim ortamında kullanılabilecek kadar yeterli bir doğrulukta olduğuna inanıyoruz.

Ancak, yeterince tarafsız bir yapay zeka dedektörüne sahip olmak, akademik dürüstlük sürecindeki her türlü önyargıyı önlemek için yeterli değildir. Eğitimciler, önyargının bilinçaltında ortaya çıkabileceğinin farkında olmalıdır. Örneğin, bir eğitimcinin, İngilizceyi ana dili olarak konuşmayan öğrencilerin ödevlerinde yapay zeka dedektörü kullanma eğilimi göstermesi, ESL öğrencilerinin daha az dürüst olduğu yönündeki bilinçaltındaki şüpheden kaynaklanıyorsa, bu bir önyargı biçimidir.

Ayrıca, öğretmenlerin, ana dili İngilizce olmayan öğrencilerin, ana dili İngilizce olan akranlarına kıyasla akademik ortamda doğal bir dezavantajla karşı karşıya olduklarının farkında olmaları gerekir. ESL öğrencileri, yazma becerilerini geliştirmek için ChatGPT gibi harici araçları kullanma eğilimindedir; ancak bu araçlar yeterince sık kullanıldığında yapay zeka algılama yazılımları tarafından tespit edilebilir. Bu nedenle, hangi tür yapay zeka yardımlarının izinli olup hangilerinin olmadığı konusunda öğrencilerle net bir iletişim kurmayı kolaylaştırmak için Perkins Yapay Zeka Değerlendirme Ölçeği’ni öneriyoruz.

Son olarak, öğrencilerin stres ve baskı altında kaldıklarında kopya çektiklerini, özellikle akranlarıyla karşılaştırıldıklarında öz yeterlilik eksikliği hissettiklerini ve kopya çekme araçlarını kullanmanın başarılı olmanın tek yolu olduğunu düşündüklerinde bu yola başvurduklarını biliyoruz. Eğitimcileri, bu öğrencilere destek sağlayarak, ne tür yardımların mevcut ve izinli olduğunu net bir şekilde bildirerek ve sınıfa halihazırda dezavantajlı bir konumda gelen öğrencilerden kusursuz İngilizce beklemeyen değerlendirme stratejilerini yeniden gözden geçirerek bu sorunları proaktif bir şekilde ele almaya teşvik ediyoruz.

Pangram, akademik dürüstlüğü desteklemeye yardımcı olacak bir araç olarak kullanılmalı; böylece eğitimciler, öğrencilerinin öğrenimini desteklemek için en uygun yolu anlayabilirler.

Araştırmalarımız ve yapay zeka tabanlı tespit yazılımımızda önyargıları nasıl azalttığımız hakkında daha fazla bilgi almak için lütfen info@pangram.com adresinden bizimle iletişime geçin.