Bir yapay zeka dedektörü hata yaptığında ne olur?

Yapay zeka giderek yaygınlaştıkça, öğretmenler öğrencilerin ödevlerini yazmak için yapay zeka kullanıp kullanmadıklarını anlayabilmek istiyor. Öğretmenler için bir yapay zeka tespit aracı doğal bir çözüm gibi görünüyor, ancak çoğu bu konuda tereddüt ediyor. Ya yazılım bir hata yaparsa ne olur?

Bu endişe haklı bir endişe. Şimdiye kadar yapay zeka tespit araçları pek güvenilir değildi. Çok sayıda araştırma, bu araçların bir metnin yapay zeka tarafından üretildiğini çoğu zaman tespit edemediğini ve kararlı bir kopya çeken kişinin, metne hafif bir yeniden ifade veya yazım hataları ekleyerek bu araçları yanıltabileceğini ortaya koydu. Bu yanlış negatif sonuçlar, bilgisayar tarafından üretilen bazı metinlerin tespit edilmeden geçmesine yol açtığı için yeterince sorunlu.

Ancak daha da endişe verici olan, erken uyarı sistemlerinin yüksek yanlış pozitif oranıdır. Bu durum, aslında bir insan tarafından yazılmış bir metnin yapay zeka ürünü olarak işaretlenmesi halinde ortaya çıkar; bu da hiçbir suçu olmayan öğrenciler için strese ve haksız disiplin cezalarına, öğretmenler için gereksiz denetim yüküne ve okulda güvenin sarsılmasına yol açar.

Bu sorun, özellikle İngilizceyi ana dili olarak konuşmayan öğrenciler arasında daha da belirgindir. Bazı yapay zeka tespit araçları, ana dili İngilizce olmayan kişilere karşı önyargılı davranmaktadır. Stanford Üniversitesi’nden 2023 tarihli bir araştırmada, birçok tespit aracının ana dili İngilizce olmayan bir kişi tarafından yazılan her beş denemeden birini oybirliğiyle (ve hatalı bir şekilde) yapay zeka tarafından üretilmiş olarak tanımladığı ortaya çıktı. Bu denemelerin neredeyse tamamı, en az bir tespit aracı tarafından yanlışlıkla işaretlendi.

AI algılayıcıları ne sıklıkla hata yapar?

En popüler yapay zeka tespit araçlarının çoğu, bu tür hataları oldukça sık yaptıklarını kabul etmektedir. Örneğin TurnItIn, yaklaşık 200'de 1 oranında yanlış pozitif sonuç verdiğini belirtmektedir; bu da, bir öğretmenin programdan geçirdiği her 200 ödevden birinde, bir öğrencinin özgün çalışmasının yanlışlıkla AI tarafından üretilmiş olarak işaretleneceği anlamına gelir. Diğer araçlar 500'de 1 ile 100'de 1 arasında yanlış pozitif oranları belirtirken, bağımsız araştırmalar bu rakamların daha da yüksek olabileceğini ortaya koymuştur.

Öte yandan, on milyonlarca belge üzerinde yapılan testlerle ölçüldüğünde, Pangram’ın yanlış pozitif oranı 10.000’de 1’dir. Modelimiz, tam cümlelerden oluşan birkaç yüz kelimeden uzun metinler söz konusu olduğunda özellikle güvenilirdir; bu da tam olarak öğrencilerin büyük ödevler için genellikle sundukları türden metinlerdir.

Öğretmenler, bir yapay zeka tespit aracının bir öğrencinin yazısını yanlışlıkla işaretleyip işaretlemediğini nasıl anlayabilir?

Bir yapay zeka dedektörü bir metni yapay zeka tarafından üretilmiş olarak işaretlediğinde, öğretmenin sonucu doğrulamak için birkaç seçeneği vardır. Öncelikle, öğrenciye yapay zeka kullanımı konusunda sade bir şekilde sormalı ve bu konuyu alçakgönüllülükle ele almalıdır. Eğer sonuç gerçekten bir hataysa, öğrenci Google Dokümanlar’daki ayrıntılı düzenleme geçmişi veya ilk taslakların kopyaları gibi yazma sürecine dair kanıtlar sunabilir. Bu durumda, öğretmenler muhtemelen son derece nadir görülen bir yanlış pozitif bulduklarını kabul edebilirler. Öğrenci ayrıca yazma sürecini ayrıntılı olarak tartışabilmelidir. Bu konuşma, teslim edilen ödev hakkında derin bir anlayışa ışık tutabilir ve öğrencinin ödevi gerçekten kendisinin yazdığını gösterebilir. Öte yandan, öğrencinin yanlış olduğunu fark etmediği bir şekilde AI kullandığını ortaya çıkarabilir ve dedektörün bulgularını doğrulayabilir.

Öğrenci yapay zeka kullanmadığını ısrarla savunsa da, bunu kanıtlayamıyor ya da çalışması hakkında mantıklı bir açıklama yapamıyorsa, yine de ona şüpheye yer bırakarak iyi niyetle yaklaşmak doğru olabilir. Ne de olsa, yapmadığı bir şey yüzünden cezalandırılması son derece zarar verici olur. Bu durumda, öğretmenler öğrencilere gelecekte yazma süreçlerinin kaydını tutmalarını söyleyebilir; bu, ileride olası yanlış anlaşılmaları gidermeye yardımcı olacaktır. Öğrenci AI kullandığını bilerek yalan söylüyorsa, gelecekte bunu yapmadan önce iki kez düşünecektir. Ancak çalışmaları Pangram gibi doğru bir AI dedektörü tarafından sürekli olarak işaretleniyorsa, muhtemelen durumu üst mercilere taşımak zamanı gelmiştir. Tek bir hata yapma olasılığı zaten düşüktür; birden fazla hata yapma olasılığı ise çok azdır.