Bir AI dedektörü hata yaptığında ne olur?

Yapay zeka giderek yaygınlaşırken, öğretmenler öğrencilerin ödevlerini yazmak için yapay zeka kullanıp kullanmadıklarını anlayabilmek istiyorlar. Öğretmenler için bir yapay zeka dedektörü doğal bir çözüm gibi görünüyor, ancak çoğu kişi tereddütlü. Yazılım bir hata yaparsa ne olur?

Bu endişe mantıklıdır. Şimdiye kadar, AI dedektörleri oldukça güvenilmezdi. Çok sayıda araştırma, bu araçların bir yazı örneğinin AI tarafından üretildiğini çoğu zaman tanıyamadığını ve kararlı bir kopya çeken kişinin hafif bir yeniden ifade veya yazım hataları ekleyerek bu araçları atlatabileceğini ortaya koymuştur. Bu yanlış negatifler, bilgisayar tarafından üretilen bazı yazıları tespit edilmeden geçmesine izin verdiği için yeterince sorunludur.

Ancak daha endişe verici olan, erken tespit sistemlerinin yüksek oranda yanlış pozitif sonuç vermesi. Bu durum, aslında bir insan tarafından yazılmış bir metnin yapay zeka tarafından yazılmış olarak işaretlenmesi durumunda ortaya çıkar ve hiçbir suçu olmayan öğrencilerin strese girmesine ve haksız disiplin cezalarına maruz kalmasına, öğretmenlerin gereksiz denetimler yapmasına ve okulda güvenin bozulmasına neden olur.

Bu sorun, İngilizce'yi ana dili olarak konuşmayan öğrenciler arasında özellikle ciddi bir sorun teşkil etmektedir. Birçok yapay zeka algılama aracı, ana dili İngilizce olmayanlara karşı önyargılı davranmaktadır. Stanford Üniversitesi'nden 2023 yılında yayınlanan bir makalede, birçok algılama aracının, ana dili İngilizce olmayan bir kişi tarafından yazılan makalelerin 5'te 1'ini oybirliğiyle (ve yanlış bir şekilde) yapay zeka tarafından üretilmiş olarak tanımladığı ortaya çıkmıştır. Bu makalelerin neredeyse tamamı, en az bir algılama aracı tarafından yanlışlıkla işaretlenmiştir.

AI dedektörleri ne sıklıkla hata yapar?

En popüler AI dedektörleri, bu tür hataları oldukça sık yaptıklarını kabul ediyorlar. Örneğin TurnItIn, yaklaşık 200'de 1 oranında yanlış pozitif oranını ilan ediyor, yani bir öğretmenin incelediği her 200 ödevden bir öğrencinin orijinal çalışması yanlışlıkla AI tarafından üretilmiş olarak işaretlenecek. Diğer araçlar 500'de 1 ile 100'de 1 arasında yanlış pozitif oranları ilan ederken, bağımsız araştırmalar bu rakamların daha da yüksek olabileceğini ortaya koymuştur.

Öte yandan, Pangram'ın yanlış pozitif oranı, on milyonlarca belge üzerinde yapılan testlerle ölçüldüğünde, sadece 10.000'de 1'dir. Modelimiz, tam cümlelerle yazılmış birkaç yüz kelimeden fazla metinler söz konusu olduğunda özellikle güvenilirdir; bu da tam olarak öğrencilerin genellikle büyük ödevler için sundukları türden yazılardır.

Öğretmenler, bir AI dedektörünün öğrenci yazısını yanlışlıkla işaretlediğini nasıl anlayabilir?

Bir AI dedektörü bir metni AI tarafından üretilmiş olarak işaretlediğinde, öğretmenin sonucu doğrulamak için birkaç seçeneği vardır. İlk olarak, öğrenciye AI kullanımı hakkında basitçe soru sormalı ve konuşmaya alçakgönüllülükle yaklaşmalıdır. Sonuç gerçekten bir hata ise, öğrenci Google Dokümanlar'daki sağlam bir revizyon geçmişi veya ilk taslakların kopyaları gibi yazma sürecinin kanıtlarını gösterebilir. Bu durumda, öğretmenler son derece nadir görülen bir yanlış pozitif bulduklarını kabul edebilirler. Öğrenci de yazma sürecini ayrıntılı olarak tartışabilmelidir. Bu konuşma, teslim edilen ödev hakkında derin bir anlayış sağlayarak öğrencinin ödevi gerçekten kendisinin yazdığını gösterebilir. Öte yandan, öğrencinin yanlış olduğunu fark etmediği bir şekilde AI kullandığını ortaya çıkararak dedektörün bulgularını doğrulayabilir.

Öğrenci AI kullanmadığını ısrarla savunmaya devam ederse, ancak kanıt sunamazsa veya çalışması hakkında mantıklı bir şekilde konuşamazsa, yine de şüpheye yer bırakmak doğru olacaktır. Sonuçta, yapmadıkları bir şey için cezalandırılmaları son derece zarar verici olacaktır. Bu durumda, öğretmenler öğrencilere gelecekte yazma süreçlerinin kayıtlarını tutmalarını söyleyebilir, bu da daha fazla yanlış anlaşılmanın önlenmesine yardımcı olacaktır. Öğrenci AI kullandığını bilerek yalan söylüyorsa, gelecekte bunu yapmadan önce iki kez düşünecektir. Ancak çalışmaları Pangram gibi doğru bir AI dedektörü tarafından sürekli olarak işaretleniyorsa, muhtemelen durumu daha üst düzeye taşımak gerekir. Tek bir hata yapma olasılığı zaten düşüktür; birden fazla hata yapma olasılığı ise çok daha düşüktür.