Yapay Zeka Algılamasıyla İlgili Efsaneler ve Yanlış Kanılar

Jason, Los Angeles'taki New Roads Okulu'nda İngilizce ve Felsefe öğretmeni olarak görev yapmaktadır.

Giriş

Genellikle bana AI tespit araçlarının neler yapıp yapamayacağı sorulur. Bugün, AI tespitiyle ilgili en yaygın efsaneleri ve yanlış kanıları ele alacağız. Hadi başlayalım!

Efsane 1: Yapay zeka ile tespit yapmak yerine, yapay zekayı öğretim sürecimize dahil etmeli ve öğrencilere onu nasıl kullanacaklarını öğretmeliyiz.

Yapay zekayı öğretimimize dahil etmeliyiz ve öğrencilere yapay zekayı nasıl kullanacaklarını öğretmeliyiz! Ancak yapay zeka algılama yerine yapay zekayı entegre etmek, aslında birbiriyle çelişmeyen iki fikri birbirine karşı koymak anlamına gelir. Yapay zeka algılama, yapay zekanın entegrasyonu için gerekli bir ön koşuldur; bu sayede teknolojinin etrafına mantıklı sınırlar çizilebilir ve teknolojinin kötüye kullanılmak yerine yardımcı bir araç olarak kullanılması sağlanabilir.

Yeni bir teknoloji ortaya çıktığında ve herhangi bir kısıtlama önerildiğinde ortaya çıkan belirli bir teknoloji karşıtı yanılgı vardır; bu durumda, “tespit, caydırıcılıkla eşittir” şeklindeki bu görüş yanlıştır.

Uygulamada ise tam tersi geçerlidir. Güçlü bir yapay zeka tespit aracı arayanlar, genellikle sınıflarında yapay zekayı en çok kullanmak isteyen kişilerdir. Bu araçları kullanmak isterler, ancak araçların kötüye kullanılmasını istemezler. Öte yandan, yapay zekanın geleceğinden o kadar heyecan duyanlar da vardır ki, “gelecek budur” düşüncesiyle sınıflarında yapay zeka araçlarını koşulsuz olarak kullanmak isterler. Onlar hiçbir kısıtlamayı kabul etmezler. Yine de, AI'dan nefret eden ve "kalem ve kağıt" türünden olanlar da vardır. Bunlar, AI'ya yönelik tek geçerli yaklaşımın onu hiç kullanmamak olduğuna karar vermiş bireyler veya okullardır. Sınıf bilgisayar öncesi günlere döndüğünde, tespit etmeye gerek kalmaz. Ancak gerçek şu ki, AI tespitini isteyenler genellikle sınıfta öğrenim için AI kullanımını en üst düzeye çıkarmakla en çok ilgilenen kişilerdir. AI ile denemeler yaparken ve becerilerini geliştirirken gereksiz engellerden kaçınmak isterler. Bize göre doğru yaklaşım budur.

Efsane 2: Yapay zeka dedektörleri, yöntemlerini açıklamayan kara kutulardır ve bu nedenle güvenilemezler.

Diğer yapay zeka dedektörlerinin yöntemleri konusunda şeffaf olmadıkları doğru olsa da, Pangram metodolojisini açıkça paylaşmıştır. Pangram, araştırma camiasının güvenini kazanmanın ve yazılımın neden doğru sonuçlar verdiğine dair somut kanıtlar sunmanın önemli olduğuna inandığı için yöntemleri konusunda şeffaf davranmaktadır. Pangram , web sitesinde metodolojisinin etkileşimli ve animasyonlu bir sunumunu sunmaktadır.

Pangram, yapay zeka konferanslarında ve dergilerinde bazı teknik yeniliklerini de yayınlamaktadır. Örneğin, kısa süre önce COLING konferansında, sistemin insan diline çevirici ve yeniden ifade edici araçlara karşı ne kadar dayanıklı olduğunu anlatan bir çalışmayı sundular.

3. Efsane: Yapay zeka algılama yöntemi, akademisyenler tarafından hakem değerlendirmesinden geçmemiş veya doğrulanmamıştır.

Pangram’ın çalışması sadece meslektaşlar tarafından değerlendirilmiş olmakla kalmayıp, herkes tarafından her an incelenebilir.

Pangram, son zamanlarda birçok hakemli çalışmada ele alınmış ve karşılaştırmalı değerlendirmelere tabi tutulmuştur. Pangram, çeşitli açık kaynaklı ve ticari yapay zeka dedektörlerinin yer aldığı COLING Ortak Görevi’nde en doğru ve en sağlam dedektör ödülünü kazanmıştır.

Pangram, kısa süre önce Maryland Üniversitesi tarafından yapılan ve yapay zeka tarafından üretilen metinleri tespit etme konusunda eğitimli insan uzmanlardan daha iyi performans gösteren tek otomatik yapay zeka tespit aracı olduğunu gösteren bir araştırmada yer aldı; ayrıca Houston Üniversitesi tarafından yayınlanan bir başka araştırma makalesinde ise Pangram’ın çeviriye karşı dayanıklı tek yapay zeka tespit aracı olduğu ortaya kondu.

2023 tarihli Weber-Wulff çalışması ve yapay zeka dedektörlerinin ESL'ye karşı önyargılı olduğunu gösteren Liang çalışması gibi sıkça atıfta bulunulan eski araştırmalar, Pangram'ı bu testlerde karşılaştırmamaktadır. Bu çalışmaların güncelliğini yitirmiş olmasının yanı sıra, diğer dedektörlerin başaramadığını Pangram'ın bu testlerde üstün başarı gösterdiğini kanıtladık.

Pangram, araştırmacılar tarafından zorlu testlere tabi tutulmaktan çekinmiyor; bu nedenle, Pangram’ın yapay zeka dedektörünün doğruluğunu incelemek isteyen akademik araştırmacılara sınırsız ücretsiz erişim imkanı sunuyor.

4. Efsane: Yapay zeka dedektörleri hatalıdır.

Sık sık, kendi yazdıkları metinlerin insan tarafından yazılmış olmasına rağmen yapay zeka tarafından yazılmış olarak işaretlendiğini iddia eden kişiler bana başvuruyor. Ne yazık ki, bence burada birkaç farklı durum söz konusu.

Yazarlar ve kurumlar hiçbir kanıt sunmadan bu görüşü ısrarla savunmaya devam ettikleri için, yapay zeka tespit araçlarının hiçbir işe yaramadığını düşünenler var. Örneğin şu makaleyiele alalım : "2024 ortası itibarıyla, hiçbir tespit hizmeti AI tarafından üretilen içeriği rastgele bir olasılıktan daha iyi bir oranda kesin olarak tanımlayamamıştır ve Illinois Eyalet Üniversitesi bu hizmetlerin hiçbiriyle bir ilişkisi bulunmamaktadır." Bu, en kötü AI dedektörlerinin bile hala bazı AI içeriklerini yakaladığı göz önüne alındığında uydurma bir iddiadır. Pangram, 1/10.000 oranında yanlış pozitif tespit oranına sahiptir. Çünkü beyaz kitaplarında okuyabileceğiniz geliştirme ve metodolojilerinde, bunlar gördükleri yanlış tespitlerin gerçek rakamlarıdır ve bu, mevcut en iyi ticari yazılımdan yaklaşık 100 kat daha iyidir.

Hiçbir tespit yazılımı %100 doğru olamaz. Bu mümkün değildir. AI tespit araçları genel olarak iyidir; Pangram'ın tespiti ise daha iyidir. Hiçbir AI algılama %100 doğru değildir. İnsan tarafından yazıldığını iddia eden iki metni Pangram'dan (veya herhangi bir algılayıcıdan) geçirirseniz ve her ikisi de AI olarak işaretlenirse, algılayıcının yanılma olasılığı, metnin gerçekten AI tarafından yazılma olasılığından çok daha düşüktür. Okulların çözmek istediği sorun budur: AI ile yazılmamış bir şeyin AI ile yazıldığını iddia ederken duyulan güven. Pangram ile, bir yazının AI tarafından yazıldığına dair, bunun AI tarafından yazılmadığını iddia eden bir kişiden çok daha fazla güvenebiliriz.

5. Efsane: Yapay zeka tabanlı intihal tespit araçları, Grammarly gibi yazma yardım araçlarını tespit edemez

Grammarly gibi üretken yapay zeka araçlarının tespit edilmeyeceği yönünde yaygın bir yanılgı var. Bu, diğer tespit araçları için geçerli olabilir, ancak Pangram yazılarda üretken yapay zeka yardımını yeterince tespit edebilmektedir. Bu da şu anlama geliyor: Evet, yazdığınız makale size ait, ancak “düzeltmek” için önemli ölçüde yapay zeka kullandığınız için yapay zeka kullanımı nedeniyle işaretleniyor. Öğrencilerde bunu sürekli görüyorum.

Grammarly artık sadece bir dilbilgisi denetleyicisi değildir. Büyük bir dil modeli kullanarak öğrencilerin kompozisyonlarını baştan sona yeniden yazan, tam kapsamlı bir yapay zeka destek aracıdır. Bir öğrenci Grammarly’yi bu şekilde, yani orijinal yazısının yapısını ve üslubunu kökten değiştirmek amacıyla kullanırsa, Pangram bu kompozisyonu yapay zeka tarafından oluşturulmuş olarak algılayacaktır.

Bu nedenle, yazma sürecinde hangi tür yapay zeka araçlarının kullanımına izin verildiği ve neyin kurallara aykırı davranış sayıldığı konusunda yanlış anlaşılmaların yaşanmaması için, öğretmenlerin Pangram’ın web sitesinde yer alan kademeli sistem gibi bir yapay zeka politikası benimsemelerini şiddetle tavsiye ediyorum.

6. Efsane: Yapay zeka tespit araçları, dürüst öğrencilere karşı haksız suçlamalar yönelterek zarar veriyor.

Yapay zeka tespitine karşı çıkanlar genellikle, öğrencileri haksız yere yapay zeka kullanımıyla suçlamanın, öğrencinin itibarına ve öğretmenin güvenilirliğine telafisi imkansız bir zarar verdiğini söylerler.

Ancak Pangram, kendi başına bir suçlama aracı değildir.

Deneyimlerime göre, çoğu zaman bir öğrencinin yazısında yapay zeka kullanımı tespit edildiğinde, bu durum genellikle bir yanlış anlaşılma ya da sadece teslim tarihi baskısı altında kalan iyi niyetli bir öğrencinin hatasından kaynaklanmaktadır. Öğretmen ile öğrenci arasındaki basit bir konuşma, çatışmacı bir nitelik taşımak zorunda değildir. Öğretmenlerin bu fırsatı, öğrencinin yazma sürecini anlamak için kullanması gerektiğini düşünüyoruz: öğrenciye temel konuyu ne kadar iyi anladığını sormak, belgenin nasıl oluşturulduğunu anlamak için öğrencinin düzeltme geçmişine bakmak ve öğrencinin kopya çekmek istediği sonucuna hemen varmak yerine, düzenleme sürecinde AI yardımını kullanıp kullanmadığını ve nasıl kullandığını açıklamasını istemek.

Pangram, yapay zeka dedektörlerini sık sık metal dedektörleriyle karşılaştırır: Bir metal dedektörü alarm verdiğinde, hemen tutuklanmazsınız. Aksine, bir pozitif tespit, daha ayrıntılı bir görüşme başlatmak ve gerçekte neler olup bittiğini daha iyi anlamak için bir neden oluşturur.

Sonuç

Herhangi bir araçta olduğu gibi, öğretmenlerin yapay zeka tabanlı intihal tespit sisteminin hem güçlü yanlarını hem de sınırlarını anlamaları önemlidir.

Pangram gibi sistemler yapay zeka tarafından üretilen metinleri tespit etmede son derece isabetli olsa da, nadiren de olsa hatalar meydana gelebilir.

Bu nedenle öğretmenlerin, sınıflarında hangi tür yapay zeka yardımlarının kabul edilebilir olduğuna dair net kurallar, ilkeler ve sınırlar belirlemesi hayati önem taşır; ayrıca Pangram’dan gelen pozitif tespitler ciddiye alınmalıdır, ancak yapay zeka kullanımına ilişkin tartışmalara empati ve merakla yaklaşılmalıdır. Pangram’dan gelen bir pozitif tespit, öğrencinin yazma sürecine dair daha derin bir anlayışa sahip olunmadan, hiçbir şekilde tek başına bir öğrenciyi cezalandırmak veya akademik suistimalle suçlamak için kullanılmamalıdır.

Konuşmaya devam etmek ister misiniz? Jason, sınıfınız için bir yapay zeka politikası oluşturma konusunda memnuniyetle görüşür ve daha fazla bilgi verir. Kendisine jason@pangram.com adresinden ulaşabilirsiniz.