2025 Yılında Akademik Dürüstlük ve Yapay Zeka ile Tespit Durumu

Pangram Labs'ın Teknoloji Direktörü Bradley Emi, ICAI konferansında yapay zeka algılamasının güncel durumu üzerine bir sunum yaptı.

Öğrenciler ChatGPT'yi hem kullanıyor hem de kötüye kullanıyor. Öğrencilerin çoğu yapay zeka araçlarını düzenli olarak kullanıyor ve bu araçlar sayesinde başarılarının artacağına inanıyor. Yapay zeka kullanımına karşı net kurallar olsa bile, öğrencilerin bu araçları kullanmaya devam etmesi muhtemel.

Yaygın kanının aksine: Yapay zeka tespit edilebilir. Dil, üslup ve anlamsal seçimler hem insanlar hem de (yeterli eğitimden geçmiş) otomatik yazılımlar tarafından ayırt edilebilir.

Yapay zeka neden böyle ses çıkarıyor?

LLM'ler, büyük miktarda veri üzerinden öğrenen olasılık dağılımlarıdır. Bunlar, tüm insan yazıları ortalaması DEĞİLDİR. Bunun nedeni, modellerin eğitilme biçimidir.

Modeller üç aşamada eğitilir: Ön eğitim, Talimat Ayarlama ve Uyum.

Ön eğitim aşamasında model, büyük bir veri kümesinden elde edilen istatistiksel kalıpları analiz eder. Eğitim veri kümesi, bu istatistiksel kalıplarda ortaya çıkan önyargılar içerir. Örneğin, internette sıkça görülen veriler aşırı temsil edilmektedir. Guardian'da yayınlanan bir makalede Alex Hern, Kenya ve Nijerya'daki işçilerin OpenAI için eğitim verisi sağlamak üzere nasıl sömürüldüğünü anlatıyor. Bu işçilerin sıkça kullandığı "delve" ve "tapestry" gibi kelimeler, yapay zeka tarafından üretilen metinlerde de sıkça görülen kelimelerdir.

"Talimat Ayarlama" sürecinde model, komutlara yanıt verecek şekilde eğitilir. Model, doğru ve kesin bilgiler sunmaktan ziyade talimatlara uymasının daha iyi olduğunu öğrenir. Güvenlik filtreleri uygulansa bile, yapay zeka kullanıcıyı memnun etmeye çalışırken yanlış bilgiler hâlâ bir sorun teşkil etmektedir.

Eğitim sürecinde model, komutlara verilen doğru ve yanlış yanıtlar arasındaki farkı öğrenir. Tercih verileri, gerçeklere değil eğitmenin bakış açılarına dayandığı için son derece önyargılı olabilir.

Yapay zeka ile yazım sürecinde en sık kullanılan kelime ve ifadelerden oluşan bir örnek listesi hazırladık. Bunlar, ön eğitim aşamasında sisteme işlenen önyargılardan kaynaklanmaktadır.

AI, son derece yapılandırılmış dil ve biçimlendirmeyle tanınır. Geçiş cümleleri, madde işaretli listeler ve düzenli yazım, AI yazımında “Hizalama” aşaması nedeniyle yaygın olarak görülür.

AI tarafından üretilen metinler genellikle resmi bir üslupta olur; çünkü resmi metinler internette aşırı derecede yaygındır ve dolayısıyla AI eğitim veri kümelerinde de aşırı derecede temsil edilmektedir. Uyum aşamasında olumlu ve yardımcı olma özellikleri pekiştirilir.

Not: Pangram, bir metinde yaygın olarak kullanılan yapay zeka terimleri ve biçimlendirmeler bulunması nedeniyle yapay zeka kullanımını öngörmez.

Akademide İnsan Odaklı Yaklaşımlar

19 farklı insanlaştırma aracını inceledik ve kendimize ait bir tane geliştirdik. Yapay zeka tabanlı insanlaştırma araçlarının orijinal anlamı farklı derecelerde koruduğunu gördük (hafif düzenlemelerden anlaşılmaz metinlere kadar). Bazı insanlaştırma araçları metni iyi bir şekilde yeniden ifade etse de, tespit edilmekten kaçınamıyor. İnsanlaştırılmış metin ne kadar akıcı olursa, tespit edilmekten kaçınma olasılığı o kadar azalıyor. İnsancılaştırıcılar, Google'ın SynthID filigranını (Gemini tarafından oluşturulan metinleri işaretlemek için kullanılır) kaldırabilir.

Otomatik ve İnsan Tarafından Yapılan Yapay Zeka Algılama

Birinci nesil yapay zeka tespit araçları ve bunların eksiklikleri, genel kamuoyunun yapay zeka tespiti konusundaki algısını şekillendirmiştir. Bu araçlar, nedensel işaretlerden ziyade yapay zeka kullanımıyla olan korelasyonlara dayanıyordu. %99 doğruluk oranına sahip olduklarını iddia ediyorlardı ki bu, akademik kullanım için uygun değildir.

Bu yeni nesil algılama araçları, %99,9'un üzerinde doğruluk oranı ve çok düşük yanlış pozitif oranları (FPR) sunuyor! Ayrıca, metin yeniden ifade etme ve insan diline uyarlama araçlarına karşı da dayanıklıdırlar.

Ancak, yapay zeka dedektörleri birbirinin aynısı değildir! Dedektörlerin eğitilme yöntemlerinin farklı olması nedeniyle doğruluk düzeyleri de değişiklik göstermektedir.

Pangram, TurnItIn ve Ghostbusters, öğrenme tabanlı algılama yöntemini kullanır. Öğrenme tabanlı algılamada, model geniş bir örneklemden yapay zeka tarafından üretilen ve üretilmeyen içerikleri ayırt etmeyi öğrenerek eğitilir. Bu

Yazma görevlerinde büyük dil modellerini (LLM) kullanma deneyimi olan insan uzmanlar, yapay zekayı %92 doğrulukla tespit edebiliyor. Dilbilimciler ise ChatGPT gibi araçları kullanma deneyimi olmadan aynı doğruluk düzeyine ulaşamadı. İnsan tespitçiler, metinle ilgili neden belirli bir tahmini seçtiklerini ayrıntılı olarak açıklayabiliyor. Pangram ise daha yüksek doğruluk ve yanlış pozitif oranlarına sahip olsa da, metni bağlamına oturtamıyor.

Adil Bir Yapay Zeka Akademik Dürüstlük Süreci Oluşturmak

Yapay zeka kullanımına ilişkin politika veya standartlar oluşturulurken, iletişim açık ve net olmalıdır. Yapay zeka, taslak hazırlama, fikir üretme, gramer hatalarını düzeltme, araştırma, metin taslağı oluşturma veya kapsamlı yazma görevleri için kullanılabilir. Yapay zeka kullanımının hangi ölçüde izin verildiği veya verilmediği konusunda kılavuzlar uygulanmalıdır. İlham almak için, Gradpilot’un 170’den fazla okulun yer aldığı dizininde gerçek üniversite yapay zeka politikalarını inceleyebilirsiniz.

Öğrenciler ve öğretmenler, yaygın olarak kullanılan araçların yapay zeka ile nasıl geliştiğini anlamalıdır. Google Dokümanlar’ın “Yazmama yardım et” işlevi, sonuçlarını Gemini’den almaktadır. Grammarly şu anda yapay zeka ile içerik üretme ve yeniden ifade etme özelliklerini barındırmaktadır. Çeviri araçları da çalışabilmek için büyük dil modellerini (LLM) kullanıyor olabilir. Yapay zeka tarafından üretilen araştırma metinlerinden veya beyin fırtınası notlarından alıntı yapmak da tespit edilmesine neden olmaktadır.

Hem insan mantığını hem de otomatik algılama yöntemlerini kullanmanızı öneririz. %0,01’lik yanlış pozitif oranı (FPR) nedeniyle, öğrencinin çalışmasını değerlendirmek için yalnızca yapay zeka tabanlı algılama yöntemini kullanmak, öğrenciye karşı son derece haksızlık olur. Olumlu bir tahmin elde edildikten sonra atılacak adımlar, öğrencinin yazma sürecini değerlendirmek ve söz konusu metni önceki çalışmalarıyla karşılaştırmak olmalıdır. Algılayıcıyı birkaç metinle test ettiğinizden emin olun ve ödev için bir büyük dil modeli (LLM) kullanırken elde edebileceğiniz sonuçları da göz önünde bulundurun.

Bir öğrencinin ödevini yapay zeka yardımıyla hazırladığı giderek daha açık hale gelirse, bu durum bir öğrenme fırsatı olabilir. Öğrencilere saygılı davranmak ve aşırı cezalandırıcı bir tutum sergilemekten kaçınmak önemlidir. Öğrencilerin ödevlerini telafi etmeleri ve yapay zeka kullanımına neden olan faktörler hakkında bir konuşma yapmaları yararlarına olabilir.

Bu makale hakkında daha fazla bilgi için lütfen web seminerinin tamamını izleyin: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.