ESL'de Pangram AI Algılama ne kadar doğru?
Pangram’ın yapay zeka tabanlı algılayıcısı, ana dili İngilizce olmayan kullanıcıların yazılarında düşük bir yanlış pozitif oranını koruyor — ana dili İngilizce olmayan kullanıcılara karşı önyargıyı nasıl ölçüyor ve azaltıyoruz.
İçindekiler
- Yapay zeka tespiti ve ESL üzerine önceki çalışmalar
- Pangram'ın ESL'deki performansı
- Pangram ve Turnitin Karşılaştırması
- Pangram ve GPTZero
- Pangram, ESL yazımında yanlış pozitif sonuçları nasıl azaltır?
- Veriler
- Çok Dilli Özellikler
- Etkin Öğrenme
- Yönlendirme Stratejileri
- Kapsamlı Değerlendirme ve Kalite Güvencesi
- ESL'de yapay zeka dedektörlerine güvenilebilir mi?
Pangram 3.3 sürümünün yayınlanmasıyla Mayıs 2026'da güncellenmiştir
Yapay zeka dedektörlerine yöneltilen yaygın bir eleştiri, bu sistemlerin ana dili İngilizce olmayan kişilere karşı önyargılı olduğu yönündedir. Ana dili İngilizce olmayan kişiler tarafından yazılan metinlere ESL (İkinci Dil Olarak İngilizce) veya daha kesin bir ifadeyle ELL (İngilizce Öğrenenler) denir. Daha önceki yazımızda, perplexity ve burstiness kavramlarına dayanan diğer yapay zeka dedektörlerinin neden bu kusura maruz kaldığını açıklamıştık.
İngilizceyi ana dili olarak konuşmayanlar, genellikle ana dili İngilizce olanlara kıyasla daha tutarlı ve düzenli bir İngilizceyle yazarlar; patlamalı yapıya dayalı algılayıcılar ise bu düzenliliği yapay zeka ile karıştırır. Bu nedenle, yapay zeka algılama konusunda daha önce yapılan girişimler yetersiz kalmıştır: ESL metinlerini sıklıkla yapay zeka tarafından üretilmiş metinler olarak yanlış tanımlamış ve dolayısıyla ESL metinlerinde yüksek bir yanlış pozitif oranına yol açmıştır.
Yapay zeka tespiti ve ESL üzerine önceki çalışmalar
Weixin Liang, James Zou ve diğerleri tarafından Temmuz 2023’te yayınlanan dikkat çekici bir Stanford araştırması, GPT dedektörlerinin ana dili İngilizce olmayan yazarlara karşı önyargılı olduğunu iddia ediyor. Çalışma küçük bir örneklem üzerinde gerçekleştirilmiş olsa da (sadece TOEFL sınavından alınan 91 deneme) ve bazı metodolojik kusurlar bulunsa da (yazarlar, dedektörleri test ederken GPT-4 ile değiştirilmiş insan metinlerini "insan" olarak etiketlemeye karar verdiler), genel olarak sonuçlar, test edilen yedi yapay zeka dedektörünün (Pangram bu çalışmada test edilmedi) ESL (İngilizceyi ikinci dil olarak konuşan) yazılara karşı güçlü bir önyargı sergilediğini gösterdi; insan tarafından yazılmış ESL yazı örneklerinin %60’ından fazlası yapay zeka olarak işaretlendi.
GRE (yüksek lisans programlarına giriş için yapılan standartlaştırılmış bir sınav) sınavını düzenleyen sınav hizmetleri merkezi ETS tarafından Ağustos 2024’te yapılan daha yeni bir çalışmada, GRE sınavına giren ana dili İngilizce olmayan adayların yaklaşık 2.000 yazma örneği üzerinde, perplexity dahil olmak üzere elle hazırlanmış özellikler temelinde kendileri tarafından eğitilen basit makine öğrenimi dedektörleri kullanılarak daha geniş ölçekli bir araştırma gerçekleştirildi. Deney ortamı oldukça basitleştirilmiş ve yapay olsa da ve bu çalışma ile gerçek dünya arasında önemli farklılıklar bulunsa da, kendi dedektörlerinde ana dili İngilizce olmayanlara karşı herhangi bir önyargı tespit edemediler. Ayrıca, pratikte fiilen kullanılan ticari dedektörleri de incelemediler. Yine de bu çalışma ilginç bir noktaya dikkat çekiyor: Ana dili İngilizce olmayan konuşmacılardan elde edilen veriler eğitim kümesinde yeterince temsil edildiğinde, ortaya çıkan önyargı büyük ölçüde azaltılmaktadır.
Pangram'ın ESL'deki performansı
ESL verileri üzerinde Pangram’ın yanlış pozitif oranını ölçmek amacıyla, Pangram’ın yapay zeka dedektörünü dört adet halka açık ESL veri seti üzerinde çalıştırdık (eğitim sırasında bu veri setlerini ayrı tuttuk; böylece eğitim-test sızıntısı yaşanmamasını sağladık).
İncelediğimiz veri kümeleri şunlardır:
Sonuçlar aşağıdadır.
| Veri kümesi | Yanlış Pozitif Oranı | Örneklem Büyüklüğü |
|---|---|---|
| ELİPS | 0% | 3,907 |
| ICNALE | 0% | 5,600 |
| PELIC | 0.019% | 15,423 |
| Liang TOEFL | 0% | 91 |
| Genel olarak | 0.012% | 25,021 |
Pangram'ın genel yanlış pozitif oranı %0,012'dir; bu oran, %0,01 olan genel yanlış pozitif oranımızdan istatistiksel olarak anlamlı bir şekilde yüksek değildir.
Pangram ve Turnitin Karşılaştırması
Pangram’ı, Turnitin ’in yapay zeka yazma göstergesinin kamuya açık değerlendirmesinde kullandığı aynı veri kümelerini kullanarak Turnitin ile doğrudan karşılaştırıyoruz.
Turnitin ile aynı veri kümeleri üzerinde hem "L1" (ESL olmayan) hem de "L2" (ESL) İngilizceyi değerlendiriyoruz. Turnitin, 300 kelimeden kısa belgeleri değerlendirmediğinden, değerlendirme öncesinde veri kümesine aynı filtrelemeyi uyguluyoruz.
| Veri kümesi | Pangram FPR | Turnitin FPR |
|---|---|---|
| İngilizce (Seviye 2) – 300+ kelime | 0.02% | 1.4% |
| L1 İngilizce 300+ kelime | 0.00% | 1.3% |
Pangram’ın ESL metinlerindeki yanlış pozitif oranının Turnitin’inkinden yaklaşık 70 kat daha düşük olduğunu ve Pangram’ın bu çalışmada yer alan ana dili İngilizce olan metinlerde herhangi bir yanlış pozitif tespit etmediğini tespit ettik.
Pangram ve GPTZero
GPTZero, Liang’ın TOEFL çalışmasının orijinal verilerinde %1,1’lik bir yanlış pozitif oran bildirmektedir; ancak Liang’ın TOEFL veri setinin %6,6’sı da “Olası AI içeriği” olarak yanlış sınıflandırılmıştır.
Buna karşılık, Pangram, Liang TOEFL veri setinde tek bir yanlış pozitif sonuç bile vermemektedir ve her örnek konusunda son derece eminiz.
Pangram, ESL yazımında yanlış pozitif sonuçları nasıl azaltır?
Pangram'da, ana dili İngilizce olmayan kullanıcıların performansını son derece ciddiye alıyoruz; bu nedenle, yapay zeka tabanlı yazım algılama modelimizde yanlış pozitif sonuçları azaltmak için çeşitli stratejiler uyguladık.
Veriler
Makine öğrenimi modelleri, eğitim dağılımının dışında iyi performans göstermez; bu nedenle, veri kümemize ana dili İngilizce olmayan metinlerin de dahil edilmesine özen gösteriyoruz.
Ancak, işimiz bununla bitmiyor. Diğer yapay zeka yazı tespit araçları yalnızca öğrenci yazıları ve akademik makalelere odaklanırken, biz modelimizi çok çeşitli yazı türleri üzerinde eğitiyoruz. Yalnızca makaleler üzerinde eğitilmiş diğer AI yazı tespit araçları, genellikle eğitim setinde daha gündelik, konuşma diline yakın İngilizce'nin yeterince temsil edilmemesi sorunuyla karşı karşıyadır. Buna karşılık, biz sosyal medyadan, incelemelerden ve genel internet metinlerinden alınan, genellikle gayri resmi olan ve ana dili İngilizce olmayanlar veya İngilizce öğrenenlerin kullandığı İngilizceye benzer, kusurlu yazıları daha iyi temsil eden metinler kullanıyoruz.
Ayrıca, bu kaynaklar özellikle ESL veri kümeleri olmasa bile, ana dili İngilizce olmayan kişilerin yazdıkları metinler içerebilecek kaynakları da dahil etmeye özen gösteriyoruz. Örneğin, yabancı alan adlarına sahip web sitelerindeki İngilizce metinler, ana dili İngilizce olmayan kişilerin yazdıkları metinler için harika bir kaynaktır.
Çok Dilli Özellikler
Ayrıca diğer yapay zeka dedektörlerinden farklı olarak, faaliyet alanımızı sadece İngilizce ile sınırlamıyoruz. Aslında, modelimizin dilini hiçbir şekilde kısıtlamıyoruz: Modelimizi, yaygın olarak kullanılan tüm dillerde iyi performans gösterecek şekilde eğitmek için internette bulunan her türlü dili kullanacağız.
Daha önce mükemmel çok dilli performansımızdan bahsetmiştik ve Pangram'ın diğer dillerde çok iyi çalışmasını sağlayan tekniklerin, ESL'ye de gayet iyi bir şekilde uyarlanabileceğine inanıyoruz.
İyi bir genelleme ve aktarımın arkasında yatan mekanizmaların tam olarak ne olduğunu bilemesek de, ESL’nin neredeyse İngilizceye komşu bir dil olarak değerlendirilebileceğini düşünüyoruz. Modeli tüm dillerde iyi performans gösterecek şekilde optimize ederek, modelin herhangi bir dile özgü üslup, gramer yapıları veya belirli bir dilde fikirlerin ifade edilme biçimlerine özgü kelime seçimlerine aşırı uyum sağlamasını önlüyoruz. Tüm dillerdeki insan metinlerini inceleyerek, modele sadece ana dili İngilizce olanların değil, tüm insanların nasıl yazdığını öğretiriz. Bu, modelin ana dili İngilizce olanların kullandığı deyimsel kalıplara yanlış bir şekilde odaklanma olasılığını azaltır.
Etkin Öğrenme
Aktif öğrenme yaklaşımımız sayesinde Pangram, rakiplerine kıyasla çok daha doğru sonuçlar veriyor ve insan tarafından yazılmış metinleri yapay zeka metni olarak yanlış bir şekilde işaretleme oranını önemli ölçüde azaltıyor.
Eğitim ve "sert negatif madenciliği" arasında yinelemeli olarak geçiş yaparak, eğitim amacıyla yapay zeka tarafından üretilen metne en çok benzeyen insan kaynaklı örnekleri buluyoruz. Bu yaklaşım, yapay zeka tarafından üretilen metne en çok benzeyen insan kaynaklı örnekleri ortaya çıkarmakla kalmıyor; bu da modelin ESL metni ile yapay zeka tarafından üretilen metin arasındaki ince farkları anlamasına yardımcı oluyor; aynı zamanda, ESL metnine benzer ve iyi bir şekilde aktarılabilecek örnekleri bulmamıza da yardımcı oluyor ve modelin genel olarak daha iyi kalıplar öğrenmesini sağlıyor.
Yönlendirme Stratejileri
Modelin öğrenmesi için yapay zeka örnekleri oluştururken, modelin farklı yazım tarzlarına genelleme yapabilmesi için mümkün olduğunca geniş bir yelpazede komutlar kullanmaya çalışıyoruz. Örneğin, komutlarımızın sonuna sık sık "Bu denemeyi bir lise öğrencisinin üslubunda yaz" veya "Bu makaleyi ana dili İngilizce olmayan bir kişinin üslubunda yaz" gibi ek açıklamalar ekliyoruz.
Bu kadar çok farklı yazım stili oluşturarak, model sadece yapay zeka dil modellerinin yazma şeklini öğrenmekle kalmaz; aynı zamanda yapay zeka metinlerinin temelinde yatan kalıpları da öğrenir.
İstatistiksel açıdan bakıldığında, sentetik ayna iş akışımızı, modelimizin konu, yazım düzeyi veya üslup gibi alakasız özelliklere karşı değişmezlik gösterecek şekilde tasarlıyoruz. Modele insan metinlerinin özelliklerine uygun şekilde yönlendirmeler sunarak, her bir özelliği sergileyen insan ve yapay zeka örneklerini eşit sayıda kullanarak bu değişmezliği sağlıyoruz.
Kapsamlı Değerlendirme ve Kalite Güvencesi
Son olarak, her yeni model güncellemesini onaylamadan önce son derece kapsamlı ve titiz bir değerlendirme ve kalite kontrol süreci uyguluyoruz.
Değerlendirmede hem kaliteye hem de niceliğe odaklanıyoruz. Örneğin, Liang TOEFL veri setinde yalnızca 91 örnek bulunuyor; bu nedenle, sadece Liang TOEFL veri setini kullanırsak, ESL'deki yanlış pozitif oranımız hakkında yalnızca çok kaba bir tahmin elde edebiliriz. Tek bir örneği yanlış yorarsak, %1,1'lik bir yanlış pozitif oranı bildirmiş oluruz; bu durumda, gerçek FPR'si %1'in altında olan modeller arasındaki farkı ayırt edemeyiz.
%1’den çok daha düşük bir yanlış pozitif oranına ulaşmayı hedeflediğimiz için (hedeflediğimiz yanlış pozitif oranı 10.000’de 1 ile 100.000’de 1 arasındadır), bu düzeyde bir doğruluğu teyit edebilmek için milyonlarca örneği incelememiz gerekiyor.
Geniş kapsamlı bir değerlendirme yapmak, modelimizin sergilediği hata türleri hakkında daha iyi bir kavrayışa sahip olmamıza yardımcı olur ve zaman içinde daha iyi veriler temin ederek ve özellikle bu hata durumlarına yönelik daha etkili algoritmik stratejiler geliştirerek bunları düzeltmemizi sağlar.
ESL'de yapay zeka dedektörlerine güvenilebilir mi?
Yaptığımız ölçümler, ayrıntılı değerlendirme sonuçları ve açıklanabilir iyileştirme stratejileri sayesinde, Pangram'ın ana dili İngilizce olmayan kişiler için eğitim ortamında kullanılabilecek kadar yeterli bir doğrulukta olduğuna inanıyoruz.
Ancak, yeterince tarafsız bir yapay zeka dedektörüne sahip olmak, akademik dürüstlük sürecindeki her türlü önyargıyı önlemek için yeterli değildir. Eğitimciler, önyargının bilinçaltında ortaya çıkabileceğinin farkında olmalıdır. Örneğin, bir eğitimcinin, İngilizceyi ana dili olarak konuşmayan öğrencilerin ödevlerinde yapay zeka dedektörü kullanma eğilimi göstermesi, ESL öğrencilerinin daha az dürüst olduğu yönündeki bilinçaltındaki şüpheden kaynaklanıyorsa, bu bir önyargı biçimidir.
Ayrıca, öğretmenlerin, ana dili İngilizce olmayan öğrencilerin, akademik ortamda ana dili İngilizce olan akranlarına kıyasla doğuştan gelen dezavantajlarla karşı karşıya olduklarının farkında olmaları gerekir. ESL öğrencileri, yazma becerilerini geliştirmek için ChatGPT gibi harici araçları kullanma eğilimindedir; bu araçların yeterli miktarda kullanılması durumunda yapay zeka algılama yazılımları devreye girer. Bu nedenle, hangi tür yapay zeka yardımlarının izinli olduğu ve hangilerinin olmadığı konusunda öğrencilerle net bir iletişim kurmayı kolaylaştırmak amacıyla Perkins Yapay Zeka Değerlendirme Ölçeği’ni öneriyoruz.
Son olarak, öğrencilerin stres ve baskı altında kaldıklarında ya da bir yapay zeka aracını kullanmanın başarılı olmalarının tek yolu olduğunu düşündüklerinde kopya çektiklerini biliyoruz. Eğitimcileri, bu öğrencilere destek sağlayarak, ne tür yardımların mevcut ve izinli olduğunu açıkça bildirerek ve sınıfa zaten dezavantajlı bir konumda gelen öğrencilerden kusursuz İngilizce beklemeyen değerlendirme stratejilerini yeniden gözden geçirerek bu faktörleri proaktif bir şekilde ele almaya teşvik ediyoruz.
Pangram, akademik dürüstlüğü desteklemeye yardımcı olacak bir araç olarak kullanılmalı; böylece eğitimciler, öğrencilerinin öğrenimini desteklemek için en uygun yolu anlayabilirler.
Araştırmalarımız ve yapay zeka tabanlı tespit yazılımımızda önyargıları nasıl azalttığımız hakkında daha fazla bilgi almak için lütfen info@pangram.com adresinden bizimle iletişime geçin.

Bradley, bir yapay zeka araştırmacısı ve endüstride derin öğrenme ürünleri geliştirme konusunda uzman bir isimdir. Son olarak, üretken yapay zeka ile ilaç keşfi yapan Absci şirketinde derin öğrenme araştırma grubuna liderlik etmiş ve daha önce Tesla Autopilot’un temel bilgisayar görme ekibinin bir üyesi olarak görev yapmıştır.
İlgili makaleler

Değerlendirmenin Zorluğu

Pangram doğru mu?

Yapay zeka ile düzenlendikten sonra görüntünüz hâlâ gerçek mi?

Yapay Zeka Çağında Akademik Dürüstlüğe Mozaik Yaklaşım (Chris Ostro ile)

Bir öğrencinin gönderdiği ödev yapay zeka tarafından tespit edildiğinde ne yapılmalı?
