Proofig ile yeni bir ortaklık duyurusu! Daha fazla bilgi edinin
ESL'de Pangram AI Algılama ne kadar doğrudur?
AI dedektörlerine yönelik yaygın bir eleştiri, bunların ana dili İngilizce olmayan kişilere karşı önyargılı olduklarıdır. Ana dili İngilizce olmayan kişiler tarafından yazılan metinler ESL (İkinci Dil Olarak İngilizce) veya daha doğrusu ELL (İngilizce Öğrenenler) olarak adlandırılır. Önceki yazımızda, karmaşıklık ve patlama oranına dayanan diğer AI dedektörlerinin neden bu kusura maruz kaldıklarını açıklamıştık.
İngilizceyi ana dili olarak konuşmayan kişiler, yüksek patlama oranına sahip bir şekilde yazmak için gerekli olan derin kelime dağarcığına veya karmaşık İngilizce cümle yapım kalıplarına hakim değildir. Bu nedenle, AI tespiti konusunda daha önce yapılan girişimler yetersiz kalmıştır: ESL'yi AI tarafından üretilmiş yazılar olarak yanlış tanımlayarak, ESL'de yüksek bir yanlış pozitif oranına yol açmıştır.
AI tespiti ve ESL ile ilgili önceki çalışmalar
Weixin Liang, James Zou ve diğerleri tarafından Temmuz 2023'te yayınlanan önemli bir Stanford araştırması, GPT dedektörlerinin ana dili İngilizce olmayan yazarlara karşı önyargılı olduğunu iddia ediyor. Çalışma küçük bir örneklem üzerinde gerçekleştirilmiş (TOEFL sınavından sadece 91 deneme) ve bazı metodolojik kusurlar içermesine rağmen (yazarlar, dedektörleri test ederken GPT-4 ile değiştirilmiş insan metinlerini "insan" olarak etiketlemeye karar verdiler), genel olarak sonuçlar, test edilen yedi AI dedektörünün (Pangram bu çalışmada test edilmedi) ESL yazımına karşı güçlü bir önyargı gösterdiğini ortaya koydu; insan ESL yazım örneklerinin %60'ından fazlası AI olarak işaretlendi.
GRE, lisansüstü okullara giriş için standart bir sınav olan ETS'nin Ağustos 2024'te yaptığı daha yeni bir çalışmada, GRE'de ana dili İngilizce olmayanların yaklaşık 2.000 yazı örneği üzerinde, kendilerinin perplexity dahil olmak üzere el yapımı özellikler üzerinde eğittikleri basit makine öğrenimi dedektörleri kullanılarak daha büyük ölçekli bir çalışma da yapılmıştır. Deney ortamı oldukça basitleştirilmiş ve yapay olmasına rağmen, kendi dedektörlerinde ana dili İngilizce olmayanlara karşı herhangi bir önyargı bulamadılar ve bu çalışma ile gerçek dünya arasında önemli farklılıklar var. Ayrıca, pratikte gerçekten kullanılan ticari dedektörleri incelememişler. Bununla birlikte, çalışma ilginç bir noktaya dikkat çekiyor: ana dili İngilizce olmayanların verileri eğitim setinde yeterince temsil edildiğinde, ortaya çıkan önyargı yeterince azaltılıyor.
Pangram'ın ESL'deki performansı
Pangram'ın ESL verilerindeki yanlış pozitif oranını ölçmek için, Pangram'ın AI dedektörünü dört kamuya açık ESL veri setinde çalıştırıyoruz (eğitim sırasında bu veri setlerini dışarıda tutuyoruz, böylece herhangi bir eğitim-test sızıntısı yaşamıyoruz).
Çalıştığımız veri setleri şunları içerir:
Sonuçlar aşağıdadır.
| Veri kümesi | Yanlış Pozitif Oranı | Örneklem Büyüklüğü |
|---|---|---|
| ELLIPSE | 0.00% | 3,907 |
| ICNALE | 0.018% | 5,600 |
| PELIC | 0.045% | 15,423 |
| Liang TOEFL | 0% | 91 |
| Genel | 0.032% | 25,021 |
Pangram'ın genel yanlış pozitif oranı %0,032'dir ve bu oran, %0,01 olan genel yanlış pozitif oranımızdan önemli ölçüde yüksek değildir.
Pangram ve TurnItIn
Pangram'ı, TurnItIn 'in AI Yazma Göstergesinin kamuya açık değerlendirmesinde kullandığı aynı veri setlerini kullanarak TurnItIn ile doğrudan karşılaştırıyoruz.
TurnItIn ile aynı veri setlerinde hem "L1" (ESL dışı) hem de "L2" (ESL) İngilizceyi değerlendiriyoruz. TurnItIn, 300 kelimeden uzun belgeleri değerlendirmediğinden, değerlendirme öncesinde veri setine aynı filtrelemeyi uyguluyoruz.
| Veri kümesi | Pangram FPR | TurnItIn FPR |
|---|---|---|
| L2 İngilizce 300+ kelime | 0.02% | 1.4% |
| L1 İngilizce 300+ kelime | 0.00% | 1.3% |
Pangram'ın ESL metinlerinde TurnItIn'den iki kat daha doğru olduğunu ve Pangram'ın bu çalışmada ana dili İngilizce olan metinlerde herhangi bir yanlış pozitif tespit etmediğini gördük.
Pangram ve GPTZero
GPTZero, Liang TOEFL çalışmasının orijinalinde %1,1'lik bir yanlış pozitif oran bildirmektedir, ancak Liang TOEFL veri setinin %6,6'sı da "Olası AI içeriği" olarak yanlış sınıflandırılmıştır.
Buna karşılık, Pangram, Liang TOEFL veri setinde tek bir yanlış pozitif rapor etmemektedir ve her örnek konusunda son derece eminiz.
Pangram, ESL yazımında yanlış pozitifleri nasıl azaltır?
Pangram'da, ana dili İngilizce olmayanların performansını son derece ciddiye alıyoruz. Bu nedenle, yapay zeka yazma algılama modelimizde yanlış pozitif sonuçları azaltmak için çeşitli stratejiler kullandık.
Veri
Makine öğrenimi modelleri, eğitim dağılımının dışında iyi performans göstermezler. Bu nedenle, veri setimize ana dili İngilizce olmayan metinlerin dahil edilmesine özen gösteriyoruz.
Ancak, biz bununla yetinmiyoruz. Diğer AI yazma dedektörleri özellikle öğrenci yazıları ve akademik makalelere odaklanırken, biz modelimizi geniş bir yazma yelpazesi üzerinde eğitiyoruz. Sadece denemeler üzerinde eğitilmiş diğer AI yazma dedektörleri, eğitim setinde daha gündelik, konuşma İngilizcesinin yeterince temsil edilmemesinden sık sık muzdariptir. Buna karşılık, biz sosyal medyadan, incelemelerden ve genel internet metinlerinden, genellikle gayri resmi ve ana dili İngilizce olmayanlar veya İngilizce öğrenenlerin kullandığı İngilizceye benzer, kusurlu yazıları daha iyi temsil eden metinler kullanıyoruz.
Ayrıca, bu kaynaklar özellikle ESL veri setleri olmasa bile, ana dili İngilizce olmayanların yazdığı metinleri içeren kaynakları da dahil etmeye özen gösteriyoruz. Örneğin, yabancı alan adlarına sahip web sitelerindeki İngilizce metinler, ana dili İngilizce olmayanların yazdığı metinler için harika bir kaynaktır.
Çok Dilli Yetenekler
Diğer AI dedektörlerinden farklı olarak, alanımızı sadece İngilizce ile sınırlamıyoruz. Aslında, modelimizin dilini hiç sınırlamıyoruz: modelimizi eğitmek için İnternet'te bulunan tüm dilleri kullanacağız, böylece modelimiz tüm yaygın dillerde iyi performans gösterecektir.
Daha önce mükemmel çoklu dil performansımız hakkında yazmıştık ve Pangram'ın diğer dillerde çok iyi çalışmasını sağlamak için kullandığımız tekniklerin ESL'ye de çok iyi bir şekilde uygulanabileceğine inanıyoruz.
İyi genelleme ve aktarımdan hangi mekanizmaların sorumlu olduğunu tam olarak bilemesek de, ESL'nin neredeyse İngilizceye yakın bir dil olarak kabul edilebileceğini düşünüyoruz. Modeli tüm dillerde iyi performans gösterecek şekilde optimize ederek, modelin herhangi bir dile özgü stil, gramer yapısı veya belirli bir dilde fikirlerin ifade edilme biçimine özgü kelime seçimlerine aşırı uyum sağlaması önlenir. Tüm dillerdeki insan metinlerini inceleyerek, modele sadece ana dili İngilizce olanların değil, tüm insanların nasıl yazdığını öğretiriz. Bu, modelin ana dili İngilizce olanların ifade ettiği deyimsel kalıplara yanlış bir şekilde odaklanma olasılığını azaltır.
Aktif Öğrenme
Aktif öğrenme yaklaşımımız, Pangram'ın rakiplerine göre çok daha doğru olması ve insan metinlerini AI olarak yanlış bir şekilde işaretleme oranının önemli ölçüde daha düşük olmasının nedenidir.
Eğitim ve zorlu negatif madencilik arasında tekrar tekrar geçiş yaparak, eğitim için AI tarafından üretilen metne en çok benzeyen insan örneklerini buluyoruz. Bu yaklaşım, AI tarafından üretilen metne en çok benzeyen insan örneklerini ortaya çıkarmakla kalmaz, modelin ESL metni ile AI tarafından üretilen metin arasındaki ince farkları anlamasına yardımcı olur, aynı zamanda ESL'ye benzer, iyi aktarılabilecek ve modelin genel olarak daha iyi kalıplar öğrenmesine yardımcı olacak örnekler bulmamıza da yardımcı olur.
Teşvik Stratejileri
Modelin öğrenmesi için AI örnekleri oluştururken, modelin farklı yazım stillerini genelleştirebilmesi için çok çeşitli komutlar kullanmaya çalışıyoruz. Örneğin, komutlarımızın sonuna genellikle "Bu makaleyi lise öğrencisi tarzında yaz" veya "Bu makaleyi ana dili İngilizce olmayan bir kişi tarzında yaz" gibi değiştiriciler ekliyoruz.
Bu kadar çok farklı yazım stili oluşturarak, model sadece AI dil modellerinin yazma şeklini öğrenmekle kalmaz: AI metinlerinin temelini oluşturan kalıpları da öğrenir.
İstatistiksel açıdan, sentetik ayna boru hattımızı, modelimizin konu, yazım seviyesi veya üslup gibi alakasız özelliklere karşı değişmez olacak şekilde tasarlıyoruz. Modeli, insan metninin özelliklerine uygun şekilde yönlendirerek, her bir özelliği sergileyen insan ve yapay zeka örneklerinin sayısını eşit tutarak değişmezliği sağlıyoruz.
Sıkı Değerlendirme ve Kalite Güvencesi
Son olarak, her yeni model güncellemesini onaylamadan önce son derece kapsamlı ve titiz bir değerlendirme ve kalite güvence süreci uyguluyoruz.
Değerlendirmede, hem kaliteye hem de miktara odaklanıyoruz. Örneğin, Liang TOEFL veri setinde sadece 91 örnek var, bu nedenle sadece Liang TOEFL veri setini kullanırsak ESL'deki yanlış pozitif oranımızı çok kaba bir şekilde tahmin edebiliriz. Tek bir örneği yanlış alsak bile, %1,1'lik bir yanlış pozitif oranı rapor ederiz, bu nedenle gerçek FPR'si %1'in altında olan modeller arasındaki farkı ayırt edemeyiz.
Yanlış pozitif oranını %1'in çok altında tutmaya çalıştığımızdan (hedeflediğimiz yanlış pozitif oranı 10.000'de 1 ile 100.000'de 1 arasındadır), bu düzeyde bir doğruluğu teyit edebilmek için milyonlarca örneği ölçmemiz gerekiyor.
Büyük ölçekli değerlendirme yapmak, modelimizin sergilediği hata modları hakkında daha iyi bir sezgi kazanmamıza ve zaman içinde daha iyi veriler elde ederek ve özellikle hata durumlarımıza yönelik daha iyi algoritmik stratejiler geliştirerek bunları düzeltmemize yardımcı olur.
ESL'de AI dedektörlerine güvenilebilir mi?
Yaptığımız ölçümler, ayrıntılı değerlendirme sonuçları ve açıklanabilir hafifletme stratejileri sayesinde, Pangram'ın eğitim ortamında kullanılmak üzere ana dili İngilizce olmayan kişiler için yeterince doğru olduğunu düşünüyoruz.
Ancak, yeterince tarafsız bir AI dedektörüne sahip olmak, akademik dürüstlük sürecindeki tüm önyargı biçimlerini önlemek için yeterli değildir. Eğitimciler, önyargının bilinçsiz şekillerde ortaya çıkabileceğinin farkında olmalıdır. Örneğin, bir eğitimci, ESL öğrencilerinin daha dürüst olmadıkları yönündeki bilinçaltı şüpheleri nedeniyle, ana dili İngilizce olmayan öğrencilerin ödevlerinde AI dedektörünü kullanma eğilimindeyse, bu bir önyargı biçimidir.
Ayrıca, öğretmenler, ana dili İngilizce olmayan öğrencilerin akademik ortamda ana dili İngilizce olan öğrencilere kıyasla doğal dezavantajlara maruz kaldıklarının farkında olmalıdır. ESL öğrencileri, yazma becerilerini geliştirmek için ChatGPT gibi harici araçları kullanma eğilimindedir ve bu araçlar yeterli miktarda kullanıldığında AI algılama yazılımı tarafından tespit edilir. Bu nedenle, öğrencilere hangi tür AI yardımlarının izinli olup hangilerinin izinli olmadığını açıkça anlatmak için Perkins AI Değerlendirme Ölçeği'ni kullanmanızı öneririz.
Son olarak, öğrencilerin stres ve baskı altında kaldıklarında, özellikle akranlarıyla karşılaştırıldıklarında öz yeterlilik eksikliği hissettiklerinde ve kopya çekmenin başarılı olabilmelerinin tek yolu olduğunu düşündüklerinde kopya çektiklerini biliyoruz. Eğitimcileri, bu öğrencilere destek sağlayarak, ne tür yardımların mevcut ve izin verildiğini açıkça ileterek ve sınıfa zaten dezavantajlı durumda gelen öğrencilerden mükemmel İngilizce beklemeyen değerlendirme stratejilerini yeniden gözden geçirerek bu endişeleri proaktif bir şekilde ele almaya teşvik ediyoruz.
Pangram, eğitimcilerin öğrencilerinin öğrenimini desteklemek için en iyi yolu anlayabilmeleri için akademik dürüstlüğü desteklemeye yardımcı bir araç olarak kullanılmalıdır.
Araştırmalarımız ve yapay zeka algılama yazılımımızda önyargıyı azaltma yöntemlerimiz hakkında daha fazla bilgi edinmek için lütfen info@pangram.com adresinden bizimle iletişime geçin.
'a abone olun
