Pangram, insanlaştırıcılar üzerinde ne kadar başarılı? (Ağustos 2025'te güncellenmiştir)

Pangram, insanlaştırıcılar üzerinde ne kadar başarılı? (Ağustos 2025'te güncellenmiştir)

AI algılama, genellikle büyük dil modelleri, algılayıcılar ve "insanlaştırıcılar" arasında bir "silahlanma yarışı" olarak tanımlanır. "İnsanlaştırıcılar", AI tarafından üretilen metinleri karmaşıklaştırmak ve ortaya çıkan metnin insan tarafından yazılmış gibi görünmesi için kasıtlı hatalar eklemek amacıyla tasarlanmış bir tür çevrimiçi araçlardır.

Pangram olarak, her zaman bir adım önde olmaya çalışıyoruz ve hem yeni modellerde hem de insanlaştırıcı cihazlarda en son teknolojik gelişmelere ayak uyduruyoruz. Bu sayede , güvenilirliğini koruyan yapay zeka tespit sistemleri geliştirebiliyoruz.

Ocak 2025'te, 19 farklı insanlaştırıcı ve yeniden ifade edici aracı incelediğimiz teknik raporumuzun güncellemesini yayınladık. Raporun temel bulguları şunlardı:

• Pangram, insanlaştırıcı ve yeniden ifade edicilere karşı dayanıklıdır
• Bazı insan çevirmenler, boşluk ve noktalama işaretlerinde hatalar ekler ve eşanlamlı kelimeleri bire bir değiştirir.
• Diğer insanlaştırıcılar ise metni insan tarzında yeniden ifade etmek üzere eğitilmiş, ince ayarlı büyük dil modelleridir.
• İnsani hale getirilmiş metin ne kadar okunaklı ve akıcı olursa, Pangram tarafından tespit edilme olasılığı o kadar artar.
• Başka bir deyişle, akıcılık açısından "iyi" insanlaştırıcılar daha kolay fark edilirken, "kötü" insanlaştırıcıların fark edilme olasılığı daha düşüktür.

Ancak, insanlaştırıcı sektörü hızla gelişiyor; bu nedenle, en son insanlaştırıcı karşılaştırma çalışmamızla ilgili güncel rakamları yayınlamak istedik.

Pangram'ın güncellenmiş insanlaştırıcı sonuçları

Pangram, test ettiğimiz tüm önemli insanlaştırıcı programlarda %90'ın üzerinde performans gösteriyor.

Pangram, insan diline yakın AI metinleri konusunda diğer AI dedektörleriyle karşılaştırıldığında nasıl bir performans sergiliyor?

Russell ve diğerlerinin çalışmasında, Pangram insan dili benzeri metinler üzerinde GPTZero ve çeşitli açık kaynaklı yöntemlerle karşılaştırılmıştır. Pangram’ın en iyi modeli, insan dili benzeri metinlerde %97 doğruluk oranına ulaşırken, GPTZero %46, FastDetectGPT %23 ve Binoculars ise %7 doğruluk oranına sahiptir.

Pangram'ın insan tarafından yazılmış metinlerdeki performansı diğer dedektörlerle karşılaştırıldığında

Jabarian ve Imas tarafından yapılan son zamanlarda yapılan bir araştırmada, 4 ticari dedektör arasında performansının insanlaştırma işlemlerine karşı dayanıklı olan tek dedektörün Pangram olduğu ortaya çıktı:

Daha uzun metinlerde Pangram, yapay zeka tarafından üretilen metinlerin neredeyse %100’ünü tespit ediyor. Metinler kısaldıkça FNR değeri biraz artıyor, ancak yine de düşük seviyede kalıyor. Diğer tespit araçları ise insanlaştırma yöntemlerine karşı daha az dayanıklı. Originality.AI'nın FNR değeri, daha uzun metinlerde yaklaşık 0,05'e yükselir, ancak türe ve LLM modeline bağlı olarak daha kısa metinlerde 0,21'e kadar çıkabilir. GPTZero, çoğu tür ve LLM modelinde 0,50 ve üzeri FNR değerleriyle, AI tarafından üretilen metinleri tespit etme yeteneğini büyük ölçüde yitirir. RoBERTa da genel olarak yüksek FNR değerleriyle benzer şekilde zayıf bir performans gösterir.

Bir metnin insan eliyle düzenlenip düzenlenmediğini nasıl anlarsınız?

Bir metnin "humanizer"dan geçirildiğini gözle ayırt etmenin birkaç yolu vardır.

Zorlanmış İfadeler

Bir "insanlaştırıcıyı" tespit etmenin en kolay yollarından biri, intihali gizlemek amacıyla kullanılan ve bağlam dışı kalan "zorlama ifadeler"i aramaktır. Grammarly ve Quillbot gibi kelime değiştirme araçları, yapay zeka ortaya çıkmadan önce bile intihali gizlemek için bu eşanlamlılık değiştirme algoritmalarını kullanıyordu.

Kulağa tuhaf gelen ifadelerin örnekleri arasında "yapay zeka" yerine "sahte bilinç" ya da "meme kanseri" yerine "göğüs tehlikesi" sayılabilir. Geçen yıl, bir öğrencinin kompozisyonunda "Martin Luther King, Jr." yerine "Martin Luther Ruler, Jr." ifadesinin kullanıldığı komik bir örnek duymuştuk.

İnsani bir yapay zeka metnini tespit etmenin tek yolu olarak zorlama cümlelere dikkat etmek önemlidir; zira zorlama cümleler, ana dili İngilizce olmayan kişiler belirli kelimelerin doğrudan anlamını veya tipik kullanım biçimini yanlış kullandıklarında ya da yanlış yorumladıklarında, ana dili İngilizce olmayan metinlerde de sıklıkla karşımıza çıkar.

Doğal Olmayan Boşluk Hataları

İnsanlaştırıcılar genellikle boşluk ekleyip çıkararak yapay zeka dedektörlerinin tokenleştiricisini aldatmaya çalışır. Özellikle cümleler arasındaki boşlukların kaldırılması yaygın bir uygulamadır.

Tekrarlanan İfadeler

İnsancılaştırılmış yapay zeka metinleri, insancılaştırılmamış yapay zeka metinleriyle aynı tekrarlayan ifadeleri hâlâ barındırmaktadır. Aynı belgede aynı zorlama ifade iki kez geçiyorsa, bu durum metnin bir insancılaştırıcıdan geldiğini açıkça ortaya koyar; zira bu, insancılaştırıcının aynı eşanlamlı kelime değişikliklerini sistematik olarak uyguladığının kanıtıdır.

Standart Dışı Karakterler

İnsancı programlar genellikle yapay zeka dedektörlerinin tokenleştiricilerini de atlatmak için standart dışı Unicode karakterleri kullanır. Buna bir örnek, normal boşluk yerine "ince boşluk" anlamına gelen "U+2009" karakterini kullanan popüler bir insancı programdır. Kopyala-yapıştır edilen dizgilerde gizlenmiş olabilecek tüm yazdırılamayan karakterleri görmenizi sağlayan https://www.soscisurvey.de/tools/view-chars.php web sitesini öneririz.

İnsanca yazılmış metinde yazdırılamayan karakterlere örnek

Yazma Süreci Araçları

Google Dokümanlar'daki Pangram'ın yeni "Yazma Geri Çalma" özelliğini kullanarak, bir Google Dokümanındaki metnin önemli bir kısmının elle yazılmak yerine kopyala-yapıştır yoluyla eklenip eklenmediğini de kontrol edebilirsiniz. Google Dokümanlar'daki yapay zeka tabanlı algılama özelliğinin daha ayrıntılı açıklamasını burada bulabilirsiniz .

Kopyalama ve yapıştırma işlemlerini gösteren bir yazma örneği

Pangram, insan diliyle yazılmış yapay zeka metinlerinde neden %100 doğru sonuç vermiyor?

Pangram'ın insan diline benzeyen yapay zeka metinlerinde kusursuz bir tespit aracı olmamasının birkaç nedeni vardır.

1. Pangram, Yanlış Pozitif Oranı konusunda taviz vermeye niyetli değildir. İç modellerimizden birkaçı, insan yazım simülatörlerini neredeyse kusursuz bir doğrulukla tespit edebilse de, daha yüksek yanlış pozitif oranları sergilemektedir. Bu modelleri kullanıma sunmuyoruz; çünkü tüm simülatör çıktılarını yakalamaktan çok, gerçek insan yazımlarının asla yapay zeka olarak işaretlenmemesi bizim için daha önemlidir.

2. Son derece düşük kaliteli "önemsiz" metinler gözle kolayca tespit edilebilir. Pangram'ın insan tarafından yazılmış gibi görünen çıktıları yakalayamadığı vakaların çoğunda, metin o kadar kötü bir şekilde bozulmuş ve karmaşık hale getirilmiştir ki, İngilizceye neredeyse hiç benzememektedir. Bu vakalar gözle kolayca fark edilebilir, ancak anlamsız metin üretmenin sonsuz sayıda yolu olduğu için algoritmik olarak tespit edilmesi zordur. İnsan tarafından üretilen anlamsız metinleri, insanlaştırıcı tarafından üretilen anlamsız metinlerden ayırt etmeye çalışmak bile zor olduğundan, anlamsız metinleri tespit etmeye çalışmaktansa kapsam dışı bırakmayı tercih ediyoruz.

Pangram'ın zamanla insan benzeri konuşma performansını iyileştirmesini bekleyebilir miyim?

Evet, humanizer algılama Pangram için aktif bir araştırma alanıdır ve bu humanizer'ların özelliklerini daha ayrıntılı olarak belirlemeye devam etmeyi ve humanizer çıktılarını tespit etmeye yönelik araştırmalarımızı kamuoyuna duyurmayı umuyoruz. Pangram'ın akademik dürüstlük alanında güvenilir bir araç olarak kabul edilebilmesi için, büyük dil modellerinden doğrudan kopyalanıp yapıştırılan metinlerin yanı sıra bu kopya araçları tarafından üretilen metinleri de tespit edebilmemiz gerekir.

Pangram'ın yapay zeka tespit aracını deneyin ve kendi belgelerinizi Humanizer çıktısıyla karşılaştırın.