Pangram’ın lisans ve lisansüstü öğrencilerin kompozisyonları üzerindeki etkisi

Daha önce, Pangram’ı PERSUADE metin kümesinde değerlendirmiştik; bu küme, çeşitli ortaokul ve lise öğrencilerinden oluşan bir grubun yazdığı yaklaşık 26.000 denemeden oluşmaktadır. Bu değerlendirmede, söz konusu analizi genişleterek Pangram 4.1’i bir dizi lisans ve lisansüstü öğrencisinin yazıları üzerinde karşılaştırmalı olarak inceledik; özellikle de ana dili İngilizce olmayan lisansüstü öğrencilerin yazıları üzerinde.

Bu karşılaştırmalı değerlendirmede, Pangram 4.1’i kullanarak, İngilizceyi ikinci dil olarak konuşan lisans ve lisansüstü öğrenciler tarafından yazılmış 15.420 belgeden oluşan 9 metin derlemesini taradık. Belgeler, 3 kıtadaki 16 ülkedeki üniversitelerde yazılmış ve toplanmış olup, Mandarin, Arapça, Japonca, İspanyolca ve Rusça dahil olmak üzere 51 ana dil grubuna ait yazıları içermektedir.

Performans

Toplamda, bu değerlendirme 9,5 milyon kelimeden oluşuyordu; en uzun belge 10.916 kelime, en kısa belge ise 52 kelime içeriyordu.

Pangram 4.1, 9 veri setinin tamamında sıfır yanlış pozitif sonuç elde etti.

Tüm veri kümeleri, yazarın ana diliyle ilgili veriler içeriyordu; bunların birçoğu ayrıca ödev türü, sınıf, yıl veya lisans programı hakkında bilgiler de içeriyordu — bu ayrıntılar aşağıda her bir metin kümesi için özetlenmiştir.

Veri kümesi ayrıntıları

Bu analiz için, Pangram 4.1’i, 2022 öncesine ait çeşitli harici, insan tarafından yazılmış veri kümelerinden seçilen lisans öğrencisi kompozisyonları üzerinde değerlendiriyoruz. Ana dil bazen L1 olarak gösterilir.

• ArCC: Arapça ana dili olan lisans ve yüksek lisans öğrencileri tarafından İngilizce yazılmış 779 adet tartışma ve düşünce yazısından oluşan bir derleme. Metinlerin uzunluğu 53 ile 889 kelime arasında değişmektedir.
• Nagoya Üniversitesi araştırmacıları tarafından oluşturulan Nagoya İngilizce Reformu Dillerarası Metin Derlemesi (NICER), Japonca konuşan lisans öğrencileri tarafından İngilizce olarak yazılmış, gözetim altında gerçekleştirilen ve bir saat süren 381 deneme metninden oluşan bir derlemedir.
• Çince ve İngilizce Öğrenenler Dil (CELL) Korpusu, Hong Kong Açık Üniversitesi’ndeki lisans öğrencileri tarafından yazılmış 2.850 denemeden oluşan bir derlemedir. Ana diller arasında Kantonca ve Putonghua da bulunmaktadır. Bu denemeler, evde yapılan akademik ödevlerin birer ürünü olup, 91 ile 5.929 kelime arasında değişmekte ve ortalama 1.307 kelimeden oluşmaktadır.
• Türk Lisans Öğrencilerinin İngilizce Yazıları Korpusu (TUWE), 356 ile 1.312 kelime arasında değişen ve ortalama uzunluğu 778 kelime olan 341 ikna edici denemeden oluşan bir derlemedir. Denemeler, Erciyes Üniversitesi’nde ana dili Türkçe olan öğrenciler tarafından İngilizce olarak yazılmıştır.
• Zayed Arapça-İngilizce İki Dilli Lisans Korpusu (ZAEBUC), Birleşik Arap Emirlikleri’ndeki Zayed Üniversitesi öğrencileri tarafından yazılmış kısa denemelerden oluşan bir derlemedir. Araştırmacılar bu veri setini Ağustos-Eylül 2019 tarihleri arasında toplamıştır. Yukarıda, ortalama 228 kelimeden oluşan ve Avrupa Ortak Referans Çerçevesi (CEFR) seviyeleri A1 ile C1 arasında değişen 383 denemeden oluşan İngilizce alt kümesine ilişkin sonuçları sunuyoruz. Ayrıca, 397 öğrenci tarafından yazılmış toplam 603 denemeden oluşan Arapça alt küme üzerinde de Pangram'ı çalıştırdık. Pangram 4.1, her iki alt kümede de sıfır yanlış pozitif sonuç verdi.
• Güney Afrika Çok Dilli Öğrenci Akademik Metinler Korpusu (SAMuLCAT), Güney Afrikalı lisans öğrencilerinin yazdıkları ve yazım denetimi ile sözlük yardımıyla evde tamamladıkları yazılardan oluşan bir derlemedir. Metin türleri arasında tartışmacı veya ikna edici denemeler, tartışma yazıları ve anlatı metinleri yer almaktadır. Denemelerin uzunluğu 52 ile 5.233 kelime arasında değişmekte olup, ortalama uzunluk 687 kelimedir. Bu alt kümedeki yazarların ana dilleri (L1) arasında Sesotho, isiZulu, Setswana, isiXhosa ve diğerleri bulunmaktadır. Yukarıda, 4.839 örnekten oluşan İngilizce alt kümeyle ilgili sonuçlarımızı sunuyoruz; buna ek olarak, 579 adet ana dili İngilizce olan denemeyi de taradık ve toplamda 5.660 denemeye ulaştık. Her iki alt kümede de sıfır yanlış pozitif sonuç tespit ettik.
• Michigan Üst Düzey Öğrenci Makaleleri Korpusu (MICUSP), Michigan Üniversitesi’ndeki son sınıf lisans ve lisansüstü öğrenciler tarafından yazılmış, A veya A- notu almış, ortalama 3.157 kelimeden oluşan 829 adet yüksek performanslı makaleden oluşan bir derlemedir. Bu makalelerin 148’i, ana dili İngilizce olmayan öğrenciler tarafından yazılmıştır: 38’i lisans, 110’u ise lisansüstü makaledir. Bu alt kümedeki birinci dil (L1) örnekleri arasında Çince, Korece, İspanyolca, Rusça, Hintçe ve diğer diller yer almaktadır; makaleler ise psikoloji, sosyoloji, mühendislik, biyoloji ve beşeri bilimler dersleri dahil olmak üzere 16 farklı konuyu kapsamaktadır. Yukarıda İngilizce dışı birinci dil alt kümesini rapor ediyoruz; ancak ek olarak, 681 adet birinci dili İngilizce olan makale üzerinde Pangram 4.1'i çalıştırdık ve her iki alt kümede de yanlış pozitif sonuçla karşılaşmadık.
• USask veri seti, Kanada’daki çeşitli üniversitelerde öğrenim gören ve Uluslararası İngilizce Dil Test Sistemi’nde (IELTS) 6,5 ile 8,5 arasında bir yeterlilik seviyesine sahip 51 ikinci dil olarak İngilizce öğrenen öğrencinin yazdığı 141 yüksek lisans öğrencisi literatür incelemesinden oluşan bir derlemedir. Öğrenciler, dilbilim, eğitim ve siyaset bilimi gibi programlarda öğrenim görüyorlardı. İncelemelerin kelime sayısı 264 ile 4.391 arasında değişmekte olup, ortalama kelime sayısı 1.028’dir.

Pangram 4 Teknik Raporu’nda bir veri kümesi de bildirilmişti; bunu burada Pangram 4.1 için yeniden sunuyoruz.

• Asya’daki İngilizce Öğrenenlere Yönelik Uluslararası Metin Ağı (ICNALE), İngilizce olarak yazılmış 5.593 adet zaman sınırlı kompozisyondan oluşan veri setinin “Yazılı Kompozisyon” (WE) modülünü yayınladı. ICNALE WE, ana dil verilerini kaydetmemekle birlikte, Çin, Hong Kong, Endonezya, Japonya ve Kore dahil olmak üzere 10 Asya ülkesindeki üniversite öğrencilerinin İngilizce yazma örneklerini içermektedir.

Deneme yazıları yelpazesinin genişliği nedeniyle, bu karşılaştırma ölçütü, evde yazılan denemelerden süreli denemelere kadar çeşitli ödev türlerini; sınırsız yardımdan gözetimli sınavlara kadar farklı yardım düzeylerini; İngilizce yeterlilik seviyelerini ve lisans programlarını kapsamaktadır.

Yöntem

Aşağıdaki kriterlere uyan araştırma veri kümelerini araştırdım:

• Lisans veya lisansüstü öğrencilerin yazdıkları metinlerden oluşan derlemeler; aday öğrenciler, diploma almayan öğrenciler veya lise öğrencileri tarafından yazılan metinler ile üniversite başvuru denemeleri hariç
• L1 veya İngilizce öğrenen statüsüyle ilgili meta verileri içerir ya da aksi belirtilmiştir (örneğin, veri kümesinin tamamı tek bir L1 grubundan alınmışsa)
• Esas olarak denemeler, raporlar, uzun cevaplı sorular, literatür incelemeleri, tezler, yaratıcı yazılar vb.den oluşur; yalnızca kısa cevaplı sorulardan oluşan veri kümeleri hariçtir
• En az 100 belge içeren ve kelime sayısının medyan değeri 175 kelimenin üzerinde olan

Belgeleri tekilleştirdim ve 50 kelimeden az olan tüm öğeleri çıkardım. Bunun dışında öğeler üzerinde asgari düzeyde ön işleme uyguladım. Her metni Pangram 4.1 ile iki kez taramayı tercih ettim: bir kez ön bölüm ve kaynakça hariç tutularak, bir kez de bunlar dahil edilerek; sonuçların değişmediğini gördüm. Ayrıca aynı 15.420 metni önceki modelimiz olan Pangram 4 ile de taradım; bu model de sıfır yanlış pozitif sonuç verdi.

Her zamanki gibi, “yanlış pozitif” kavramını katı bir tanımla kullanıyoruz: Herhangi bir segmentin “AI” veya “AI destekli” olarak işaretlenmesi durumunda, o belgeyi yanlış pozitif olarak değerlendiriyoruz.

Pangram 4.1, bu belgeler üzerinde eğitilmemiş veya kalibre edilmemiştir; dolayısıyla bu durum, Pangram’ın üniversite öğrencilerinin daha önce görülmemiş yazıları üzerinde nasıl bir performans sergilediğini ölçmek için iyi bir test niteliğindedir.

Bu değerlendirme sürecinde, bazı kriterleri karşılamadıkları için (genellikle ana dili İngilizce olan bir yazar tarafından yazıldıkları için hariç tutulan) başlık sonuçlarında yer almayan 1.743 metni de taradık ve burada 0 yanlış pozitif sonuç tespit ettik.