Yapay zeka ile ilgili bir akademik dürüstlük vakası için kanıtlar nasıl toplanır?

UC Davis Öğrenci Destek ve Yargı İşleri Bölümü Müdür Yardımcısı Marilyn Derby’ye, bu yazıda yer alan fikirlere yaptığı katkılar ve bu yazıda kullanılan bazı görsel kaynaklar için teşekkür ederiz. Ayrıca, Kaliforniya’daki Viewpoint School İngilizce Bölüm Başkanı Amanda Clarke’a, öğrenci yazıları ile yapay zeka tarafından yazılan metinlerin özelliklerini ayırt etme konusundaki mükemmel referansı için teşekkür ederiz.

Belki de bir kompozisyon aldınız ve içgüdüsel olarak bu yazının sınıfınızdaki öğrenciye ait olmadığına dair bir hisse kapıldınız. Metni Pangram'da tarattınız ve sonuç, yazının %99,9 olasılıkla yapay zeka tarafından üretildiğini gösteriyor.

Ya da belki akademik dürüstlük sorumlususunuz ve bir profesör, bir öğrencinin ödevinde yapay zeka kaynaklı intihal olduğunu bildiriyor; ancak öğrenci ve ebeveyn, ödevi öğrencinin kendi başına yazdığında ısrar ediyor.

Metni okuduğunuzda, yapay zeka tarafından yazılmış bir metne özgü tüm belirgin işaretleri taşıyor. Metin, "Günümüzün teknoloji çağında" ifadesiyle başlıyor. Öğrenci, bir yazarın "zengin bir bakış açısı dokusuyla ayrıntıları ustaca birbirine bağladığını" açıklıyor. Dilbilgisi açısından kusursuz, dengeli bir yapıya sahip olan bu kompozisyon, klasik "Sonuç olarak..." ya da belki de "Genel olarak..." ifadesiyle sona eriyor.

İçten içe öğrencinizin ödevi kendisinin yazmadığını biliyorsunuz, ama bunu kanıtlayamıyorsunuz. İkna etmeye çalıştığınız kişiler "AI tespit araçları işe yaramıyor ve güvenilmez" ya da "Bunu kesin olarak bilmek imkansız" dediğinde, ne yaparsınız?

Daha önce de belirttiğimiz gibi, yapay zeka tarafından tespit edilen bir pozitif sonuç, sürecin sadece başlangıcıdır ve bir öğrenciye karşı cezai işlem düşünülürken asla tek başına yeterli olamaz. Ürünümüzün doğruluğuna güvenmekle birlikte, risklerin yüksek olduğu durumlarda bütüncül bir yaklaşım benimsenmesi gerektiğine inanıyoruz; ayrıca, bir öğrencinin çalışmasının sahte veya orijinal olmadığına makul şüphenin ötesinde bir şekilde kanıtlamak için, yapay zeka tespitinden sonra daha fazla delil toplanması gerekmektedir.

Bugün, bu tür davalar için ek delil toplamaya yönelik 7 stratejiyi ele alacağız.

1. Daha ayrıntılı yazılı kanıtlar toplamak

AI tarafından üretilen metinler, asla tek bir ifade veya kelime seçimiyle "ifşa edilmez": Pangram, metindeki birçok zayıf sinyalin birikimine dayanarak kararını verir. Benzer şekilde, AI tarafından üretilen metinde bulunan birçok sinyali arayabilir ve bunların hepsini bir bütün olarak kullanarak, bu AI sinyallerinin rastlantısal bir tesadüfle ortaya çıkmış olamayacağını kanıtlayabilirsiniz. Öncelikle yaygın AI ifadelerini aramalı ve bunların sık sık ortaya çıkıp çıkmadığını kontrol etmelisiniz. Açık ve net durumlarda, AI tarafından üretilen metinler bu tür ifadeleri o kadar çok içerir ki, bunların tesadüf olduğunu iddia etmek çok zordur; aşağıdaki örneklerde olduğu gibi.

Yapay zeka alanında sık kullanılan ifadeler ve kelimeler

Jenna Russell'ın rehberinde, yapay zeka alanında sıkça kullanılan kelimelerin ve ifade kalıplarının kapsamlı bir listesini inceleyebilirsiniz.

Pangram, bu ifadeleri ve kullanım sıklıklarını da otomatik olarak tespit edebilir. Bu ifadelerin hiçbirinin tek başına metnin yapay zeka tarafından üretildiğinin kanıtı olmadığını anlamak önemlidir; ancak bu ifadelerin birçoğunun bir arada bulunması çok güçlü bir kanıttır, çünkü tüm bu ifadelerin tesadüfen ortaya çıkma olasılığı son derece düşüktür.

Yapay zeka ile ifade sıklığı analizine örnek

Tek tek kelimeler ve ifadelerin ötesinde, yapay zeka ile yazılan metinlerin genel özelliklerini de inceleyebilirsiniz.

Öğrenci yazıları ile yapay zeka yazıları arasında ayrım yapma kılavuzu

Amanda Clarke’ın hazırladığı bu mükemmel kılavuz, öğrencilerin yazıları ile yapay zeka tarafından üretilen yazılar arasındaki üslup ve ton farklılıklarından bazılarını ortaya koyuyor. Kılavuzu özetlemek gerekirse, en önemli noktalar şunlardır:

• Yapay zeka ile yazılan metinler somut kanıtlara girmekten hoşlanmaz; bunun yerine belirsiz genellemelerle konuşmayı tercih eder. Eğer somut ayrıntılara girerse, bu ayrıntıları uydurmuş olabilir. Öğrencilerin eser üzerine doğrudan düşünceleri ve metinden alıntılar, yapay zeka sohbet robotlarının henüz taklit edemediği öğrenci yazımının karakteristik özellikleridir.
• Yapay zeka ile yazılan metinler, bir konuyu bir öğrencinin bakış açısıyla gerçek anlamda yansıtmayacaktır.
• Yapay zeka ile yazılan metinler, her zaman kusursuz bir dilbilgisi ve akıcı, tarafsız bir üslup kullanır.

Ayrıca, bir öğrencinin kendi yazdığı metinlerle yapay zeka tarafından üretilen metinler bir araya geldiğinde, üslup ve tonda sık sık ani değişiklikler olabileceğini de belirtmek gerekir.

2. Süreçle ilgili kanıtları toplayın

Bir öğrenci tarafından yazılan bir çalışma, belgenin yazım sürecinin bir sonucu olarak ortaya çıkar: beyin fırtınası, ana hatların belirlenmesi, taslak hazırlama, düzeltme ve son kontrol. Yapay zeka tarafından üretilen bir çalışmadan intihal yapıldığında ise, genellikle sadece kopyala-yapıştır işlemi gerçekleştirilir.

Bir öğrencinin yazma sürecini doğrulamanın en basit yolu, ondan ilgili belgeleri istemektir: notlarını, beyin fırtınası notlarını ve ana hatlarını isteyin. Eğer elinizdeki metin son taslaksa, taslak halini görmek isteyin. Çoğu zaman bu, yazma sürecini doğrulamak için yeterlidir: dürüst öğrenciler bunu kanıtlamaktan çekinmezken, kopya çeken öğrenciler genellikle bu belgeleri sunamazlar.

Öğrencinin yazma sürecini izlemek için kullanılabilecek araçlar da mevcuttur. Örneğin, Draftback, Google Dokümanlar'da öğrencinin yazma geçmişini geriye dönük olarak görüntülemek için kullanabileceğiniz bir Chrome uzantısıdır. Ayrıca Brisk Teaching, Cursive Technologies ve Visible AI gibi araçların da farkındayız. Pangram ile birlikte kullanıldığında, bunlar oldukça etkili araçlar olabilir.

Draftback tekrar verileri örneği

Yukarıdaki Draftback izleme kaydında, öğrencinin yazısını hangi kısımlarda düzenlediğini veya tek bir büyük kopyala-yapıştır işlemi yapıp yapmadığını görebilirsiniz.

Yazma sürecine yönelik araçlar tek başına kesin bir kanıt olarak görülmemelidir. Öğretmenlerin artık akademik dürüstlüğü kontrol etmek için düzenleme geçmişini incelediğini bilen öğrenciler, kopyala-yapıştır işleminin kendilerini risk altına attığının farkındadır. Bazı öğrenciler, ChatGPT’nin çıktısını doğrudan belgelerine aktarıp, sanki kendileri yazmış gibi göstermeye çalışacaktır.

Daha da kötüsü, artık "Human Auto Typer" adlı bu Chrome uzantısı gibi, düzenleme geçmişini tahrif eden yazılım araçları mevcut.

"Human Auto Typer" Chrome uzantısı örneği

Bir öğrencinin yazma sürecini ve düzeltme geçmişini incelemek yararlı olsa da, öğrencilerin artık bu basit kontrolleri atlatmanın yollarını bulduklarını unutmayın.

3. Alıntıların geçerliliğini kontrol edin

Üretken yapay zeka, alıntıları uydurur, kaynakları yanlış aktarır ve eserlerin kaynağını belirtirken kolayca fark edilebilecek başka hatalar da yapar. Yapay zeka sohbet robotları, öne sürdükleri bir iddiayı hangi kaynakların desteklediğini bilmediklerinde, çoğu zaman uydurma bir alıntı yapmaktan çekinmezler. Aşağıdaki Claude örneğine bakın.

Claude'un alıntıları uydurma örneği

Alıntı hataları, yapay zeka ile ilgili davalarda genellikle en ikna edici delillerden bazılarını oluşturur; zira bir araştırma kaynağının kasıtlı olarak tahrif edilmesi, başlı başına bir akademik dürüstlük ihlalidir. Çoğu zaman, kaynakça veya alıntı yapılan eserler listesine bakarak, bu kaynakların gerçek makalelere ait olup olmadığını kolayca kontrol edebilirsiniz. İlk makaleyi Google’da arattığınızda bunun gerçek bir makale olmadığı ortaya çıkarsa, bu durum ihlalin varlığına dair son derece güçlü bir delil teşkil eder.

Yine de dikkatli olmak gerekir: Gerçek kaynak gösterimleri, öğrencinin yapay zeka kullanmadığını kesin olarak kanıtlamaz. Deep Research ve Perplexity gibi yeni araçlar aslında doğru kaynakları gösteriyor ve sohbet robotları da yanlış kaynaklar uydurma konusunda hızla gelişiyor.

4. Öğrencinin kendi yazdıklarını anladığından emin olun

Bir öğrencinin ödevinin özgün mü yoksa kopyalanmış mı olduğunu kontrol etmenin en kolay yollarından biri, ona ödevle ilgili sorular sormaktır. Eğer teslim edilen ödevin yazım düzeyi öğrencinin yazım düzeyiyle uyuşmuyorsa, yazının en karmaşık kısımları hakkında ona sorular sorun. Bazen daha genç öğrenciler için, ChatGPT'nin sıkça kullandığı ancak o seviyedeki öğrencilerin asla kullanmadığı karmaşık bir kelimenin (örneğin "aksiomatik") anlamını sormak, öğrencinin AI kullandığını itiraf etmesini sağlamak için genellikle yeterlidir.

Üniversite düzeyinde, öğrencilerden yenilikçi ve özgün fikirler üretmeleri beklendiğinden, onlara bu fikri nasıl bulduklarına dair sorular sormak isteyebilirsiniz. Çoğu zaman bu, 2. maddede açıkladığımız gibi, yazının nasıl ortaya çıktığına dair bilgi edinebileceğiniz bir yazma süreci tartışmasına yol açabilir.

Empati kurmak ve tartışma için güvenli bir ortam yaratmak önemlidir. Öğrencilerle akademik dürüstlük üzerine yapılan bir görüşme oldukça stresli olabilir ve öğrenciye kanıtlar sunulduğunda savunmacı bir tavır sergileyebilir. Öğrenciyle yapacağınız görüşmeyi en iyi şekilde şekillendirmenin yolu, olan biteni anlamlı bir şekilde kavramaktır; böylece öğrencinin gelecekte başarılı olmasına yardımcı olmak için elinizden geleni yapabilirsiniz. Öğrenciye hatalarını düzeltme ve ödevi kendisi yapmak yerine neden AI kullanmaya başvurması gerektiği konusunda açıklama yapma şansı verin. Ayrıca, AI kullanımının kasıtlı bir yanlışlık değil, bir yanlış anlaşılmanın sonucu olabileceği gerçeğine açık olmanızı da öneririz. Bu tür konuşmaların nasıl yapılacağına dair daha fazla bilgiyi önceki blog yazılarımızdan birinde paylaştık.

5. Çalışmayı öğrencinin önceki örnekleriyle karşılaştırın

Özellikle daha genç ya da gelişme aşamasındaki öğrenciler için geçerli olan yapay zeka destekli yazılar, genellikle bir öğrenciden beklenen yazma seviyesinin çok ötesindedir.

Öğrencinin daha önceki yazma örneklerini incelemenizi öneririz. Üniversitelerde genellikle diğer derslerden alınan makalelerin bulunabileceği merkezi veri tabanları mevcuttur. Öğrenci sizin için yeni ise, önceki öğretmeninden o öğrencinin birkaç yazma örneğini istemekten çekinmeyin.

Yazma becerisi zayıf olan bir öğrencinin, birdenbire imla ve gramer kurallarına tam olarak uyan bir öğrenciye dönüşmesi endişe vericidir.

6. Çalışmayı ChatGPT'nin yanıtıyla karşılaştırın

ChatGPT'nin çıktılarında genellikle çok fazla farklılık görülmez. Aynı komut satırını ChatGPT'ye iki kez yapıştırdığınızda, tam olarak aynı metni döndürmez; ancak çoğu zaman tesadüfen oluşması zor olan birçok benzerlik içerir.

ChatGPT ile yan yana karşılaştırma örneği

Pangram'ın "Yan Yana" özelliğini kullanarak, gönderiminizi ChatGPT'nin çıktısının yanında otomatik olarak görebilirsiniz. İfadeler tam olarak aynı olmayacak olsa da, birbirleriyle anlam bakımından çok benzer olan ifadeleri vurgulayıp birbirleriyle ilişkilendiriyoruz.

Bir başka yöntem de ChatGPT'den birden fazla yanıt üretip bunların benzerliklerini incelemektir. Eğer gönderilen yanıt diğerlerinden kolayca ayırt edilemiyorsa, o da muhtemelen yapay zeka tarafından üretilmiştir.

Ödev talimatını biliyorsanız işinize yarar: bu şekilde ödev talimatını doğrudan ChatGPT’ye girdi olarak kullanabilirsiniz. Ancak ödev talimatı bilinmiyorsa bile yine de makul bir girdi oluşturabilirsiniz. Elinizdeki makaleye benzer bir metin üretecek kadar spesifik, ancak kopyalama yoluyla birebir aynısını oluşturmayacak kadar da spesifik olmayan bir girdi bulmaya çalışın. ChatGPT'yi kullanmak bu konuda yararlı bir kaynak olabilir: makaleyi ChatGPT'ye yapıştırın ve makalenin ele aldığı ana fikirlerin, konuların ve soruların neler olduğunu sorun ve anlamsal olarak makaleye makul ölçüde benzeyen sonuçlar veren çeşitli komutlar deneyin, böylece stil açısından uyuşup uyuşmadığını kontrol edebilirsiniz.

7. Daha fazla görüş alın

Daha önce ele aldığımız Russell ve arkadaşlarının Maryland Üniversitesi'nde yürüttüğü araştırmaya göre, uzmanlar bir metnin yapay zeka tarafından üretilip üretilmediğini %92,7 doğrulukla belirleyebiliyor. Bununla birlikte, 5 uzmandan oluşan bir heyet, çoğunluk oyuna bakıldığında neredeyse kusursuz bir isabet oranı sergileyebiliyor (araştırmacıların incelediği 300 metinde, çoğunluk oyu %100 doğrulukla sonuç verdi).

Zor vakalarla karşılaştığınızda farklı görüşler alabilmek için, departmanınızda veya okulunuzda diğer kişilere yapay zeka tarafından üretilen metinleri gözle nasıl tespit edeceklerini öğretmenizi öneririz. Her bir değerlendiricinin fark ettiği farklı işaretleri birbirinizle paylaşmak, bir yazının gerçekliğini değerlendirme konusunda daha fazla güven kazanmanın harika bir yoludur.

Ayrıca, hukuki konuların ele alındığı tüm durumlarda olduğu gibi, bireyler, öğrencinin kontrolü dışındaki nedenlerle karar verme süreçlerinde bilinçli ya da bilinçsiz olarak önyargılı davranabilirler. Bir öğrencinin akademik dürüstlüğü ihlal edip etmediğini belirlerken çok kişilik bir heyetten yararlanmak, sadece daha doğru sonuçlar elde etmenize yardımcı olmakla kalmaz, aynı zamanda sonuçta sürecin daha adil bir şekilde yürütülmesine de katkıda bulunur.

Yapay zeka davalarında ek delillerin önemi

Bu blog yazısında, puanlamanın ötesine geçmenin ve Pangram ile diğer araçları kullanarak, yapay zekanın uygunsuz kullanımı iddiasına karşı savunma oluşturmanıza ya da yapay zeka ile kopya çektiği iddiasıyla suçlanan ancak aslında masum olan bir öğrenciyi korumanıza yardımcı olacak çeşitli yöntemleri ele aldık.

Davanın sonucunu belirlemede hiçbir kanıt tek başına kesin bir güvence sağlamaz; ancak ne kadar çok kanıt toplayıp biriktirebilirseniz, akademik dürüstlük süreciniz o kadar adil ve savunulabilir hale gelir.