AI Algılama Hakkında Mitler ve Yanlış Anlamalar

Jason, Los Angeles'taki New Roads School'da İngilizce ve Felsefe öğretmeni olarak görev yapmaktadır.

Giriş

Genellikle, AI dedektörlerinin neler yapabileceği ve yapamayacağı sorulur. Bugün, AI tespitiyle ilgili en yaygın mitleri ve yanlış kanıları inceleyeceğiz. Hadi başlayalım!

Mit 1: AI algılama kullanmak yerine, AI'yı öğretimimize dahil etmeli ve öğrencilere onu nasıl kullanacaklarını öğretmeliyiz.

AI'yı öğretimimize dahil etmeli ve öğrencilere AI'yı nasıl kullanacaklarını öğretmeliyiz! Ancak AI'yı kullanmak yerine AI'yı entegre etmek, aslında çelişmeyen iki fikri birbirine karşı koymaktır. AI'nın entegrasyonu için AI'nın tespiti, teknolojiye makul sınırlar koymak ve teknolojinin kötüye kullanılmak yerine yardımcı bir kapasitede kullanılmasını sağlamak için gerekli bir ön koşuldur.

Yeni teknolojiler ortaya çıktığında ve herhangi bir kısıtlama önerildiğinde ortaya çıkan belirli bir luddit yanılgısı vardır - bu durumda "tespit caydırıcılıkla eşittir" gibi yanlış bir yanılgı.

Uygulamada ise tam tersi geçerlidir. Güçlü AI algılama araçları arayanlar genellikle sınıflarında AI'yı en çok kullanmak isteyenlerdir. Bu araçları kullanmak isterler, ancak araçların kötüye kullanılmasını istemezler. Alternatif olarak, AI'nın geleceğine o kadar hevesli olanlar vardır ki, "gelecek budur" idealiyle sınıflarında AI araçlarını tam anlamıyla kullanmak isterler. Hiçbir kısıtlamayı kabul etmezler. Yine de, yapay zekayı nefret eden ve "kalem ve kağıt" türünden olanlar da vardır. Bunlar, yapay zekaya karşı tek geçerli yaklaşımın onu hiç kullanmamak olduğuna karar vermiş bireyler veya okullardır. Sınıf bilgisayar öncesi günlere döndüğünde tespit etmeye gerek kalmaz. Ancak gerçek şu ki, AI tespitini isteyenler genellikle sınıfta öğrenim için AI kullanımını en üst düzeye çıkarmakla en çok ilgilenen kişilerdir. AI ile deneyler yaparken ve becerilerini geliştirirken gereksiz belirleyicilerden kaçınmak isterler. Bize göre doğru yaklaşım budur.

Mit 2: AI dedektörleri, metodolojilerini açıklamayan kara kutular olduğundan güvenilemezler.

Diğer AI dedektörlerinin yöntemleri konusunda şeffaf olmadıkları doğru olsa da, Pangram metodolojisini açık bir şekilde paylaşmıştır. Pangram, yöntemleri konusunda şeffaftır, çünkü araştırma topluluğunun güvenini kazanmanın ve yazılımın neden doğru olduğunu gösteren somut kanıtlar sunmanın önemli olduğuna inanmaktadır. Pangram, web sitesinde metodolojisini interaktif ve animasyonlu bir şekilde göstermektedir.

Pangram, bazı teknik yeniliklerini yapay zeka konferanslarında ve dergilerinde de yayınlamaktadır. Örneğin, kısa süre önce COLING konferansında, sistemin insanlaştırıcılar ve yeniden ifade edicilere karşı ne kadar sağlam olduğunu anlatan bir çalışma sunmuştur.

Mit 3: AI algılama, akademisyenler tarafından hakem değerlendirmesinden geçmemiş veya doğrulanmamıştır.

Pangram'ın çalışmaları sadece meslektaşları tarafından değerlendirilmekle kalmamış, aynı zamanda herkes tarafından her an incelenebilir.

Pangram, son zamanlarda birçok hakemli çalışmada yer almış ve karşılaştırmalı değerlendirmelere konu olmuştur. Pangram, birçok açık kaynaklı ve ticari olarak satılan AI dedektörünün katıldığı COLING Shared Task yarışmasında en doğru ve en sağlam dedektör ödülünü kazanmıştır.

Pangram, ayrıca Maryland Üniversitesi'nin yaptığı bir araştırmada, AI tarafından üretilen metinleri tespit etmede eğitimli insan uzmanlardan daha iyi performans gösteren tek otomatik AI dedektörü olduğunu gösteren bir araştırmada ve Houston Üniversitesi'nin yaptığı bir başka araştırma makalesinde, Pangram'ın çeviriye karşı dayanıklı tek AI dedektörü olduğunu gösteren bir araştırmada da yer aldı.

2023 tarihli Weber-Wulff çalışması ve AI dedektörlerinin ESL'ye karşı önyargılı olduğunu gösteren Liang çalışması gibi sıkça atıfta bulunulan eski araştırma çalışmaları Pangram'ı karşılaştırma ölçütü olarak kullanmamaktadır. Bu çalışmaların güncelliğini yitirmiş olmasının yanı sıra, Pangram'ın bu karşılaştırma ölçütlerinde diğer dedektörlerin aksine üstün olduğunu da kanıtladık.

Pangram, araştırmacılar tarafından stres testine tabi tutulmaktan çekinmez ve bu nedenle Pangram'ın AI dedektörünün doğruluğunu incelemek isteyen akademik araştırmacılara sınırsız ücretsiz erişim imkanı sunar.

Mit 4: AI dedektörleri yanlış sonuçlar verir.

Çoğu zaman, insan tarafından yazılmış olmasına rağmen çalışmalarının yapay zeka tarafından işaretlendiğini iddia eden kişiler bana başvuruyor. Ne yazık ki, burada birkaç şeyin söz konusu olduğunu düşünüyorum.

Yazarlar ve kurumlar kanıt olmadan bunu ısrarla söylemeye devam ettikleri için, AI dedektörlerinin işe yaramadığını düşünen insanlar var. Örneğin , şumakale "2024 ortası itibarıyla, hiçbir tespit hizmeti AI tarafından üretilen içeriği rastgele şans oranından daha iyi bir oranla kesin olarak tanımlayamamıştır ve Illinois State Üniversitesi bu hizmetlerin hiçbiriyle ilişkisi yoktur" iddiasında bulunmaktadır. Bu iddia, en kötü AI dedektörlerinin bile bazı AI içeriklerini tespit edebildiği göz önüne alındığında uydurma bir iddiadır. Pangram, 1/10.000 yanlış pozitif oranıyla övünür, çünkü beyaz kitaplarında okuyabileceğiniz geliştirme ve metodolojilerinde, gördükleri yanlış tespitlerin gerçek sayıları budur ve bu, mevcut en iyi ticari yazılımdan yaklaşık 100 kat daha iyidir.

Hiçbir algılama yazılımı %100 doğru olamaz. Bu mümkün değildir. AI algılayıcıları genellikle iyidir; Pangram algılama daha iyidir. Hiçbir AI algılama %100 doğru değildir. İnsan tarafından yazıldığını iddia eden iki yazıyı Pangram (veya herhangi bir algılayıcı) ile kontrol ederseniz ve her ikisi de AI olarak işaretlenirse, algılayıcının yanlış olma olasılığı, yazının gerçekten AI tarafından yazılmış olma olasılığından çok daha düşüktür. Okulların çözmek istediği sorun budur: AI ile yazılmamış bir şeyin AI ile yazıldığını iddia ederken güvenilirlik. Pangram ile, bir yazının AI tarafından yazıldığına, bunun aksini iddia eden bir kişiden çok daha fazla güvenebiliriz.

Mit 5: AI dedektörleri Grammarly gibi yazma yardım araçlarını algılamaz.

Grammarly gibi üretken yapay zeka yardımının tespit edilemeyeceği yönünde bir yanılgı vardır. Belki diğer tespit araçlarında bu doğrudur, ancak Pangram yazılarda yeterli miktarda üretken yapay zeka yardımı tespit edebilir. Bu, yazdığınız makalenin size ait olduğu, ancak "temizlemek" için önemli miktarda yapay zeka kullandığınız için yapay zeka tarafından işaretlendiği anlamına gelir. Öğrencilerde bunu sürekli görüyorum.

Grammarly artık sadece bir gramer denetleyicisi değildir. Büyük bir dil modeli kullanarak öğrenci makalelerini tamamen yeniden yazan tam kapsamlı bir yapay zeka yardım aracıdır. Bir öğrenci Grammarly'yi bu şekilde kullanarak orijinal yazısının kompozisyonunu ve stilini temelden değiştirirse, Pangram bu makaleyi yapay zeka tarafından üretilmiş olarak algılar.

Bu nedenle, öğretmenlerin Pangram'ın web sitesindeki kademeli sistem gibi bir AI politikası benimsemelerini şiddetle tavsiye ediyorum. Böylece, yazma sürecinde hangi tür AI araçlarının kullanılmasına izin verildiği ve neyin suistimal olarak kabul edileceği konusunda yanlış anlaşılmaların önüne geçilebilir.

Mit 6: AI dedektörleri, dürüst öğrencilere karşı yanlış suçlamalar oluşturarak zarar verir.

AI tespitinin karşıtları genellikle, öğrencileri AI kullanmakla yanlış bir şekilde suçlamanın, öğrencinin itibarına ve öğretmenin güvenilirliğine onarılamaz bir zarar verdiğini söylerler.

Ancak Pangram, kendi başına bir suçlama aracı değildir.

Tecrübelerime göre, çoğu zaman, bir öğrencinin yazısında yapay zeka tespit edilmesi, muhtemelen bir yanlış anlaşılma ya da sadece iyi niyetli bir öğrencinin teslim tarihi baskısı altında ezil mesinden kaynaklanmaktadır. Öğretmen ve öğrenci arasındaki basit bir konuşma, çatışmacı bir nitelikte olmak zorunda değildir. Öğretmenlerin bu fırsatı, öğrencinin yazma sürecini anlamak için kullanmaları gerektiğini düşünüyoruz: öğrenciye temel materyali ne kadar iyi anladığını sorun, belgenin nasıl oluşturulduğunu anlamak için öğrencinin revizyon geçmişine bakın ve öğrenciye, düzenleme sürecinde AI yardımını kullanıp kullanmadığını ve nasıl kullandığını açıklamasını isteyin, hemen öğrencinin kopya çekmek istediği sonucuna varmayın.

Pangram, AI dedektörlerini genellikle metal dedektörleriyle karşılaştırır: metal dedektörü alarm verdiğinde, hemen tutuklanmazsınız. Aksine, pozitif bir tespit, daha fazla konuşma başlatmak ve gerçekte neler olup bittiğini daha derinlemesine anlamak için bir nedendir.

Sonuç

Herhangi bir araçta olduğu gibi, öğretmenlerin AI algılamanın hem güçlü yanlarını hem de sınırlarını anlamaları önemlidir.

Pangram gibi sistemler, yapay zeka tarafından üretilen metinleri tespit etmede son derece doğru olsa da, nadiren hatalar meydana gelebilir.

Bu nedenle, öğretmenlerin sınıflarında hangi tür AI yardımının izin verileceğine dair net bir rehberlik, politika ve sınırlar belirlemeleri ve Pangram'ın pozitif tespitlerinin neden ciddiye alınması gerektiği, ancak AI kullanımıyla ilgili konuşmalara empati ve merakla yaklaşılması çok önemlidir. Pangram'ın pozitif tespiti, öğrencinin yazma sürecini daha derinlemesine anlamadan, bir öğrenciyi akademik suistimalden cezalandırmak veya suçlamak için asla tek başına kullanılmamalıdır.

Konuşmaya devam etmek ister misiniz? Jason, sınıfınız için bir yapay zeka politikası oluşturma konusunda memnuniyetle konuşur ve daha fazla rehberlik sağlar. jason@pangram.com adresinden kendisine ulaşabilirsiniz.