AI akademik dürüstlük davası için kanıt toplama yöntemi

UC Davis Öğrenci Destek ve Yargı İşleri Müdür Yardımcısı Marilyn Derby'ye, bu yazıda yer alan fikirlere katkılarından ve bu yazıda kullanılan bazı görsel kaynaklardan dolayı teşekkür ederiz. Ayrıca, California'daki Viewpoint School İngilizce Bölüm Başkanı Amanda Clarke'a, öğrenci yazıları ile yapay zeka yazıları arasındaki farkları ortaya koyan mükemmel referansından dolayı teşekkür ederiz.

Belki bir makale aldınız ve içgüdüsel olarak bu yazının sınıfınızdaki öğrenciye ait olmadığını hissediyorsunuz. Pangram'da kontrol ettiniz ve yazının %99,9 oranında AI tarafından üretildiğine dair bir sonuç aldınız.

Ya da belki siz bir akademik dürüstlük görevlisiniz ve bir profesör, bir öğrencinin çalışmasının AI tarafından üretilmiş intihal olduğunu bildiriyor, ancak öğrenci ve ebeveynleri, öğrencinin bunu kendi başına yazdığını ısrarla savunuyorlar.

Yazıyı okuduğunuzda, yapay zeka tarafından yazılmış olduğunu gösteren tüm işaretler var. Yazı, "Günümüzün teknoloji çağında" diye başlıyor. Öğrenci, yazarın "zengin bir bakış açısı mozaiği aracılığıyla ayrıntıları ustaca bir araya getirdiğini" açıklıyor. Dilbilgisi açısından kusursuz, dengeli bir yapıya sahip olan bu kompozisyon, klasik "Sonuç olarak..." veya belki de "Genel olarak..." ifadesiyle sona eriyor.

Öğrencinizin ödevi yazmadığını içten içe biliyorsunuz, ancak bunu kanıtlayamıyorsunuz. İkna etmeye çalıştığınız kişiler "AI dedektörleri işe yaramıyor ve güvenilmez" veya "Kesin olarak bilmek imkansız" dediklerinde ne yaparsınız?

Daha önce de bahsettiğimiz gibi, olumlu bir AI tespiti sadece konuşmanın başlangıcıdır ve bir öğrenciye karşı cezai işlem düşünülürken asla tek başına yeterli olamaz. Ürünümüzün doğruluğuna güvenmekle birlikte, risklerin yüksek olduğu durumlarda bütünsel bir yaklaşım benimsenmesi gerektiğini ve bir öğrencinin çalışmasının sahte veya orijinal olmadığını makul şüphenin ötesinde kanıtlamak için AI tespit skorundan sonra daha fazla kanıt toplanması gerektiğini düşünüyoruz.

Bugün, bu tür davalar için ek delil toplamak için 7 stratejiyi ele alacağız.

1. Daha ayrıntılı metin kanıtları biriktirin

AI tarafından üretilen yazılar, belirli bir cümle veya kelime seçimi ile asla "ifşa edilmez": Pangram, metindeki birçok zayıf sinyalin birikimine dayanarak kararını verir. Benzer şekilde, AI tarafından üretilen metinde bulunan birçok sinyali arayabilir ve bunların tümünü bir arada kullanarak AI sinyallerinin rastgele bir şans eseri ortaya çıkmış olamayacağını gösterebilirsiniz. Öncelikle yaygın AI ifadeleri aramalı ve bunların sık sık ortaya çıkıp çıkmadığını kontrol etmelisiniz. Aşağıdaki örneklerde olduğu gibi, açıkça belirgin durumlarda, AI tarafından üretilen metinler bu tür ifadelerden o kadar çok içerir ki, bunların tesadüf olduğunu iddia etmek çok zordur.

Yaygın AI ifadeleri ve kelimeleri

Jenna Russell'ın kılavuzunda, sık kullanılan AI kelime dağarcığı ve ifade kalıplarının kapsamlı bir listesini görebilirsiniz.

Pangram, bu cümleleri sıklıklarıyla birlikte otomatik olarak da çıkarabilir. Bu cümlelerin hiçbirinin metnin yapay zeka tarafından üretildiğinin kanıtı olmadığını anlamak önemlidir, ancak bu cümlelerin birçoğunun bir arada bulunması çok güçlü bir kanıttır, çünkü tüm bu cümlelerin tesadüfen ortaya çıkma olasılığı çok düşüktür.

AI cümle sıklığı analizine örnek

Tek tek kelime ve kelime öbeklerinin ötesinde, AI yazımının üst düzey özelliklerini de arayabilirsiniz.

Öğrenci yazıları ile yapay zeka yazıları arasında ayrım yapma kılavuzu

Amanda Clarke'ın hazırladığı bu mükemmel kılavuz, öğrenci yazıları ile yapay zeka tarafından üretilen yazılar arasındaki stil ve üslup farklılıklarını göstermektedir. Kılavuzu özetlemek gerekirse, en önemli noktalar şunlardır:

• AI yazıları belirli kanıtlara girmeyi sevmez, belirsiz genellemelerle konuşmayı tercih eder. Eğer girerse, bu ayrıntıları hayal ürünü olabilir. Öğrencilerin çalışmaları üzerine doğrudan yansımaları ve belirli metin alıntıları, AI sohbet robotlarının henüz taklit edemediği öğrenci yazımlarının özellikleridir.
• AI yazıları, bir konuyu öğrencinin bakış açısından gerçek anlamda yansıtmayacaktır.
• AI yazımı, tutarlı bir şekilde mükemmel gramer ve akıcı, tarafsız bir üslup kullanır.

Ayrıca, bir öğrencinin özgün yazısı ile yapay zeka tarafından üretilen yazı karıştırıldığında, üslup ve tarzda ani değişiklikler olabileceğini de belirtmek gerekir.

2. Sürecin kanıtını toplayın

Bir öğrenci tarafından yazılan bir çalışma, beyin fırtınası, taslak oluşturma, taslak yazma, düzeltme ve redaksiyon gibi bir dizi yazma sürecinin sonucunda ortaya çıkar. Yapay zeka tarafından üretilen bir çalışmadan intihal edildiğinde ise, genellikle sadece kopyalanıp yapıştırılır.

Bir öğrencinin yazma sürecini kontrol etmenin basit bir yolu, ondan eserlerini istemektir: notlarını, beyin fırtınalarını ve taslaklarını isteyin. Eğer bu son taslaksa, taslak halini görmek isteyin. Çoğu zaman bu, yazma sürecinin kanıtını görmek için yeterlidir: masum öğrenciler bunu kanıtlamaktan korkmazlar, hile yapan öğrenciler ise genellikle bu eserleri ortaya koyamazlar.

Öğrencinin yazma sürecini kontrol etmek için kullanılabilecek araçlar da mevcuttur. Örneğin, Draftback, Google Dokümanlar'da öğrencinin yazma geçmişini yeniden oynatmak için kullanabileceğiniz bir Chrome uzantısıdır. Brisk Teaching, Cursive Technologies ve Visible AI gibi araçları da biliyoruz. Pangram ile birlikte kullanıldığında, bunlar çok güçlü araçlar olabilir.

Draftback tekrar verisi örneği

Yukarıdaki Draftback izinde, öğrencinin yazısını nerede düzenlediğini veya büyük bir kopyala-yapıştır işlemi yapıp yapmadığını görebilirsiniz.

Yazma süreci araçları tek başına kesin kanıt olarak görülmemelidir. Öğretmenlerin artık akademik dürüstlüğü kontrol etmek için revizyon geçmişini kontrol ettiğini bilen öğrenciler, kopyala-yapıştır yapmanın kendilerini savunmasız bırakacağını çok iyi bilmektedir. Bazı öğrenciler ChatGPT çıktılarını belgelerine kopyalayıp yapıştırarak, bunları kendileri yazmış gibi gösterirler.

Daha da kötüsü, artık "Human Auto Typer" Chrome uzantısı gibi revizyon geçmişini sahte gösteren yazılım araçları da bulunmaktadır.

"Human Auto Typer" Chrome uzantısının örneği

Öğrencinin yazma sürecini ve düzeltme geçmişini incelemek yararlı olabilir, ancak artık öğrencilerin bu basit kontrolleri atlatmanın yolları olduğunu unutmayın.

3. Alıntı geçerliliğini kontrol edin

Üretken yapay zeka, genellikle alıntıları uydurur, kaynakları yanlış alıntılar ve eserlerin atfedilmesinde kolayca fark edilebilecek başka hatalar yapar. Yapay zeka sohbet robotları, yaptıkları bir iddianın hangi kaynaklarla desteklendiğini bilmediklerinde, çoğu zaman uydurma bir alıntı yapmaktan çekinmezler. Aşağıdaki Claude örneğine bakın.

Claude'un alıntıları uydurma örneği

Alıntı hataları, AI davalarında genellikle en ikna edici kanıtlardan bazılarıdır, çünkü bir araştırma kaynağının kasıtlı olarak tahrif edilmesi, başlı başına akademik dürüstlük ihlalidir. Genellikle, kaynakça veya alıntılanan eserlere bakarak, girişlerin gerçek makaleleri temsil edip etmediğini kontrol edebilirsiniz. İlk makaleyi Google'da arattığınızda, bunun gerçek bir makale olmadığı ortaya çıkarsa, bu ihlalin çok güçlü bir kanıtıdır.

Yine, dikkatli olmak gerekir: gerçek alıntılar, öğrencinin yapay zeka kullanmadığını kesin olarak göstermez. Deep Research ve Perplexity gibi yeni araçlar, doğru kaynakları gerçekten alıntılar ve sohbet robotları, yanlış kaynakları hayal etmemek konusunda hızla gelişmektedir.

4. Öğrencinin kendi yazdıklarını anladığını doğrulayın.

Bir öğrencinin çalışmasının orijinal mi yoksa sahte mi olduğunu kontrol etmenin en kolay yollarından biri, ona ödevle ilgili sorular sormaktır. Ödevin yazım seviyesi öğrencinin yazım seviyesiyle uyuşmuyorsa, yazının en karmaşık kısımları hakkında sorular sorun. Bazen daha genç öğrenciler için, ChatGPT'nin sıklıkla kullandığı, ancak o seviyedeki öğrencilerin asla kullanmadığı karmaşık bir kelimenin anlamını sormak (örneğin "aksiyomatik") genellikle öğrencinin AI kullandığını itiraf etmesini sağlamak için yeterlidir.

Öğrencilerin yeni ve özgün fikirler üretmelerinin beklendiği üniversite düzeyinde, onlara bu fikri nasıl buldukları hakkında sorular sorabilirsiniz. Bu, genellikle yazma süreci hakkında bir tartışmaya yol açabilir ve bu tartışmada, 2. maddede açıkladığımız gibi, yazının nasıl ortaya çıktığı hakkında bilgi toplayabilirsiniz.

Empati kurmak ve tartışma için güvenli bir ortam yaratmak önemlidir. Öğrencilerle akademik dürüstlük konusunda yapılan tartışmalar oldukça stresli olabilir ve öğrenci, kanıtlarla karşı karşıya kaldığında savunmacı bir tutum sergileyebilir. Öğrenciyle yapacağınız konuşmayı en iyi şekilde şekillendirmenin yolu, olanları anlamlı bir şekilde anlamaktır. Böylece, öğrencinin gelecekte başarılı olması için elinizden gelenin en iyisini yapabilirsiniz. Öğrenciye hatalarını düzeltme ve ödevini kendisi yapmak yerine neden yapay zeka kullanmak zorunda kaldığını açıklama fırsatı verin. Ayrıca, yapay zeka kullanımının kasıtlı bir yanlışlık değil, bir yanlış anlaşılmanın sonucu olabileceği gerçeğine açık olmayı da teşvik ediyoruz. Bu tür konuşmaların nasıl yapılacağına dair daha fazla bilgiyi önceki blog yazılarımızdan birinde paylaştık.

5. Çalışmayı öğrencinin önceki örnekleriyle karşılaştırın.

Özellikle genç veya gelişmekte olan öğrenciler için geçerli olan AI yazımı, genellikle bir öğrencinin yazılarından beklenen yazma seviyesinin önemli ölçüde ilerisindedir.

Öğrencinin önceki yazdıklarını incelemenizi öneririz. Üniversiteler genellikle diğer sınıflardan alınan makalelerin bulunduğu merkezi veritabanlarına sahiptir. Öğrenci sizin için yeni ise, önceki öğretmeninden o öğrencinin birkaç yazı örneğini istemekten çekinmeyin.

Yazma seviyesi kötü olan bir öğrencinin, birdenbire mükemmel imla ve gramerle yazan bir öğrenciye dönüşmesi endişe verici bir durumdur.

6. Çalışmayı ChatGPT yanıtıyla karşılaştırın.

ChatGPT'nin çıktıları genellikle çok fazla farklılık göstermez. Aynı komutu ChatGPT'ye iki kez yapıştırdığınızda, tam olarak aynı metni döndürmez, ancak çoğu zaman tesadüfle oluşturulması zor olan birçok benzerlik gösterir.

ChatGPT ile yan yana karşılaştırma örneği

Pangram'ın Side By Side özelliğini kullanarak, ChatGPT gönderiminin yanında otomatik olarak gönderimi görebilirsiniz. İfadeler tam olarak aynı olmasa da, birbirine anlam olarak çok benzeyen ifadeleri vurgular ve ilişkilendiririz.

Başka bir taktik ise ChatGPT'den birden fazla yanıt üretmek ve benzerliklerini incelemektir. Gönderilen yanıtlar arasında kolayca ayırt edilemeyen bir yanıt varsa, bu da muhtemelen yapay zeka tarafından üretilmiş demektir.

Ödevi biliyorsanız bu yardımcı olur: bu şekilde ödevi doğrudan ChatGPT'ye komut olarak kullanabilirsiniz. Ancak ödev bilinmiyorsa, yine de makul bir komut oluşturabilirsiniz. Aradığınız makaleye benzer bir makale üretecek kadar spesifik, ancak kopyalamak suretiyle tamamen aynı hale getirecek kadar spesifik olmayan bir komut bulmaya çalışın. ChatGPT'yi kullanmak bu konuda yararlı bir kaynak olabilir: makaleyi ChatGPT'ye yapıştırın ve makalenin ele aldığı ana fikirlerin, konuların ve soruların neler olduğunu sorun ve anlamsal olarak makul ölçüde benzer makaleler üreten komutları deneyin, böylece stil açısından eşleşip eşleşmediklerini kontrol edebilirsiniz.

7. Daha fazla görüş toplayın

Russell ve arkadaşlarının, daha önce bahsettiğimiz Maryland Üniversitesi'nden yapılan araştırmaya göre, uzmanlar bir metnin AI tarafından üretilip üretilmediğini %92,7 doğrulukla belirleyebiliyorlar. Ancak, 5 uzmandan oluşan bir konsey, çoğunluk oyuna bakıldığında, neredeyse mükemmel bir doğruluk oranına ulaşabiliyor (araştırmacıların incelediği 300 metinde, çoğunluk %100 doğruluk oranına ulaştı).

Zor vakalarda farklı görüşler alabilmek için, departmanınızda veya okulunuzda diğer kişilere AI tarafından üretilen metinleri gözle tespit etme konusunda eğitim vermenizi öneririz. Her bir yargıcın fark ettiği farklı işaretleri konuşmak, bir yazının gerçekliğini değerlendirirken daha fazla güven kazanmanın harika bir yoludur.

Ayrıca, tüm hukuki vakalarda olduğu gibi, bireyler, öğrencinin kontrolü dışındaki nedenlerle karar verme sürecinde bilinçli veya bilinçsiz olarak önyargılı olabilirler. Bir öğrencinin akademik dürüstlüğü ihlal edip etmediğini belirlemek için birden fazla kişiden oluşan bir panel kullanmak, sadece daha doğru bir karar vermenize yardımcı olmakla kalmaz, aynı zamanda sürecinizin daha adil olmasını da sağlar.

AI davalarında ek delillerin önemi

Bu blog yazısında, puanların ötesine geçip Pangram ve diğer araçları kullanarak, AI'nın uygunsuz kullanımına karşı davanız için kanıt oluşturmanıza veya AI ile kopya çektiği iddiasıyla suçlanan ve aslında masum olan bir öğrenciyi korumanıza yardımcı olacak çeşitli yöntemleri inceledik.

Davanın sonucunu belirlemede hiçbir kanıt tek başına kesin sonuç vermez, ancak ne kadar çok kanıt toplar ve biriktirirseniz, akademik dürüstlük süreciniz o kadar adil ve savunulabilir olur.