Akademik Dürüstlük ve Yapay Zeka Tespiti Durumu 2025

Pangram Labs'ın CTO'su Bradley Emi, ICAI konferansında AI Algılama Durumu hakkında bir sunum yaptı.

Öğrenciler ChatGPT'yi hem kullanıyor hem de kötüye kullanıyor. Çoğu öğrenci AI araçlarını düzenli olarak kullanıyor ve bu araçlarla performanslarının artacağına inanıyor. AI kullanımına karşı açık politikalar olsa bile, öğrenciler kullanmaya devam edecek gibi görünüyor.

Yaygın inanışın aksine: AI tespit edilebilir. Dil, stil ve anlamsal seçimler hem insanlar hem de otomatik yazılımlar (yeterli eğitimle) tarafından ayırt edilebilir.

AI neden böyle ses çıkarıyor?

LLM'ler, büyük miktarda veri aracılığıyla öğrenen olasılık dağılımlarıdır. Bunlar, tüm insan yazımlarının ortalaması DEĞİLDİR. Bunun nedeni, modellerin eğitilme şeklidir.

Modeller üç aşamada eğitilir: Ön eğitim, Talimat Ayarlama ve Hizalama.

Ön eğitim aşamasında, model büyük bir veri kümesinden istatistiksel kalıpları analiz eder. Eğitim veri kümesi, istatistiksel kalıplarda görülen önyargılar içerir. Örneğin, internette sıkça görülen veriler aşırı temsil edilmektedir. Guardian'da yayınlanan bir makalede Alex Hern, Kenya ve Nijerya'daki işçilerin OpenAI'ye eğitim verisi sağlamak için nasıl sömürüldüğünü anlatıyor. Bu işçilerin sık kullandığı "delve" ve "tapestry" gibi kelimeler, AI tarafından üretilen metinlerde sıkça görülen kelimelerle aynıdır.

Talimat Ayarlama'da, model komutlara yanıt vermek üzere eğitilir. Model, doğru ve kesin bilgiler sunmaktan ziyade talimatları takip etmenin daha iyi olduğunu öğrenir. Güvenlik filtreleri uygulansa bile, yanlış bilgiler kullanıcıyı memnun etmeye çalışan yapay zeka yazımlarını hala olumsuz etkilemektedir.

Hizalama sırasında model, komutlara verilen iyi ve kötü yanıtlar arasındaki farkı öğrenir. Tercih verileri, eğiticinin görüşlerine dayandığından ve mutlaka gerçeklere dayanmadığından, son derece önyargılı olabilir.

AI yazımında en sık kullanılan kelime ve ifadelerin bir örneğini sunuyoruz. Bunlar, ön eğitim aşamasında ortaya çıkan önyargılardan kaynaklanmaktadır.

AI, son derece yapılandırılmış dil ve biçimlendirme ile bilinir. Hizalama aşaması nedeniyle, AI yazılarında geçiş cümleleri, madde imli listeler ve düzenli yazım yaygındır.

AI yazıları genellikle resmidir, çünkü resmi metinler internette aşırı temsil edilmektedir ve bu nedenle AI eğitim veri setlerinde de aşırı temsil edilmektedir. Uyumlaştırma sırasında pozitiflik ve yardımcı olma özelliği pekiştirilir.

Not: Pangram, bir metin yaygın AI dili ve biçimlendirme içeriyor diye AI kullanımını tahmin etmez.

Akademide İnsancıllaştırıcılar

19 farklı insanlaştırıcı aracı inceledik ve kendimize ait bir araç geliştirdik. AI insanlaştırıcıların orijinal anlamı çeşitli derecelerde (hafif düzenlemelerden anlaşılmaz metinlere kadar) koruduğunu gördük. Bazı insanlaştırıcılar iyi bir şekilde yeniden ifade ediyor ancak tespit edilmeyi engelleyemiyor. Metin ne kadar akıcı olursa, tespit edilmeyi engelleme olasılığı o kadar azalır. İnsanlaştırıcılar, Google'ın SynthID filigranını (Gemini tarafından oluşturulan metinleri işaretlemek için kullanılır) kaldırabilir.

Otomatik ve İnsan Yapay Zeka Algılama

İlk nesil AI algılama araçları ve bunların kusurları, genel halkın AI algılama konusunda hissettiklerini şekillendirmiştir. Bu araçlar, nedensel sinyallerden ziyade AI kullanımına ilişkin korelasyonlara dayanıyordu. %99 doğruluk oranına sahip olduklarını iddia ediyorlardı, ancak bu oran akademik kullanım için uygun değildir.

Bu yeni nesil algılama araçları %99,9'un üzerinde doğruluk ve çok düşük yanlış pozitif oranları (FPR) sunar! Ayrıca, parafrazlayıcılar ve insanlaştırıcılar karşısında da dayanıklıdırlar.

Ancak, AI dedektörleri aynı değildir! Dedektörlerin eğitilme şekillerinin farklı olması nedeniyle, doğruluk dereceleri de farklılık gösterir.

Pangram, TurnItIn ve Ghostbusters öğrenme tabanlı algılama kullanır. Öğrenme tabanlı algılamada, model büyük bir örneklemden AI tarafından üretilen ve üretilmeyenleri öğrenerek eğitilir. Oysa ki

Yazma görevleri için LLM kullanma deneyimi olan insan uzmanlar, AI'yı %92 doğrulukla tespit edebilmektedir. Dilbilimciler, ChatGPT gibi araçları kullanma deneyimi olmadan aynı doğruluk düzeyine ulaşamamıştır. İnsan dedektörler, metinle ilgili belirli bir tahmini neden seçtiklerini ayrıntılı olarak açıklayabilmektedir. Pangram daha yüksek doğruluk ve yanlış pozitif oranlarına sahip olmakla birlikte, metni bağlamsal olarak değerlendirememektedir.

Adil bir yapay zeka akademik dürüstlük süreci oluşturmak

AI kullanımıyla ilgili politikalar veya standartlar oluşturulurken, iletişim açık ve net olmalıdır. AI, taslak yazma, fikir üretme, gramer hatalarını düzeltme, araştırma, taslak hazırlama veya önemli yazma görevleri için kullanılabilir. AI kullanımının hangi derecelerde izin verildiği veya verilmediği konusunda kılavuzlar uygulanmalıdır.

Öğrenciler ve öğretmenler, yaygın olarak kullanılan araçların yapay zeka ile nasıl geliştiğini anlamalıdır. Google Docs'un "Yazmama yardım et" işlevi, sonuçlarını Gemini'den alır. Grammarly şu anda yapay zeka ile metin üretme ve yeniden ifade etme özelliklerini içermektedir. Çeviri araçları da işlevlerini yerine getirmek için büyük ölçekli dil modellerini kullanıyor olabilir. Yapay zeka ile üretilmiş araştırma veya beyin fırtınası bölümlerinden alıntılar yapmak da tespit edilebilir.

Hem insan muhakemesi hem de otomatik algılama yöntemlerinin kullanılmasını öneririz. %0,01'lik FPR nedeniyle, öğrencilerin çalışmalarını değerlendirmek için yalnızca AI algılama yöntemini kullanmak son derece haksızlık olur. Olumlu bir tahmin aldıktan sonra, sonraki adımlar öğrencinin yazma sürecini değerlendirmek ve olumlu metni önceki çalışmalarıyla karşılaştırmak olacaktır. Algılayıcıyı birkaç metinle test ettiğinizden ve ödev için LLM kullanırken elde edebileceğiniz sonuçları göz önünde bulundurduğunuzdan emin olun.

Bir öğrencinin yapay zeka tarafından yazılmış bir ödev teslim ettiği giderek daha açık hale gelirse, bu bir öğretici an olabilir. Öğrencilere saygılı davranmak ve aşırı cezalandırıcı olmamak önemlidir. Öğrenciler, ödevi telafi etmek ve yapay zeka kullanımına neyin katkıda bulunduğuna dair bir konuşma yapmak suretiyle fayda sağlayabilirler.

Bu makale hakkında daha fazla bilgi için lütfen web seminerinin tamamını izleyin: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.