Pangram, insanlaştırıcılar üzerinde ne kadar iyi performans gösteriyor? (Ağustos 2025'te güncellenmiştir)

Pangram, insanlaştırıcılar üzerinde ne kadar iyi performans gösteriyor? (Ağustos 2025'te güncellenmiştir)

AI algılama, genellikle büyük dil modelleri, algılayıcılar ve "insanlaştırıcılar" arasındaki bir "silahlanma yarışı" olarak tanımlanır. İnsanlaştırıcılar, AI tarafından üretilen metni gizlemek ve sonuçta ortaya çıkan metnin insan gibi görünmesi için kasıtlı hatalar eklemek amacıyla kullanılan bir tür çevrimiçi araçlardır.

Pangram'da, her zaman bir adım önde olmak ve hem yeni modellerde hem de insanlaştırıcılar konusunda en son teknolojik gelişmelere ayak uydurmak için çalışıyoruz. Bu sayede, güvenilirliğini koruyan bir yapay zeka algılama sistemi oluşturabiliyoruz.

2025 yılının Ocak ayında, 19 farklı insanlaştırıcı ve yeniden ifade edici aracı denetlediğimiz teknik raporumuzun güncellemesini yayınladık. Temel bulgular şunlardı:

• Pangram, insanlaştırıcılar ve yeniden ifade edicilere karşı dayanıklıdır.
• Bazı insanlaştırıcılar, boşluk ve noktalama hatalarını manuel olarak ekler ve eşanlamlı kelimeleri tek tek değiştirir.
• Diğer insanlaştırıcılar, metni insan tarzında yeniden ifade etmek üzere eğitilmiş, ince ayarlı LLM'lerdir.
• İnsanlaştırıcı metin ne kadar okunaklı/akıcı olursa, Pangram tarafından tespit edilme olasılığı o kadar artar.
• Diğer bir deyişle, akıcılık açısından "iyi" insanlaştırıcılar daha kolay tespit edilebilirken, "kötü" insanlaştırıcılar tespit edilme olasılığı daha düşüktür.

Ancak, humanizer ortamı hızla gelişiyor ve bu nedenle en son humanizer benchmark'ımızla ilgili güncel rakamları yayınlamak istedik.

Pangram'ın güncellenmiş insanlaştırıcı sonuçları

İnsancıllaştırıcı	Doğruluk
Ahrefs	100.0%
aihumanizer.com	100.0%
GPT'yi atla	99.7%
DIPPER	97.6%
Hayalet Yapay Zeka	100.0%
GPTinf	99.2%
Grammarly	100.0%
insanlaştırma.io	93.8%
insanlaştırma.pro	100.0%
Az önce bitti	93.5%
Quillbot	100.0%
Scribbr	99.0%
Yarı insan yapay zeka	100.0%
Smodin	100.0%
GizliGPT	95.6%
Sörfçü SEO	100.0%
surgegraph.io	100.0%
TwainGPT	92.7%
Algılanamayan AI	90.3%
Writesonic Yapay Zeka	98.1%

Pangram, test ettiğimiz tüm önemli insanlaştırıcılar üzerinde %90'ın üzerinde performans gösteriyor.

Pangram, insanlaştırılmış AI metinleri konusunda diğer AI dedektörleriyle karşılaştırıldığında nasıl bir performans sergiliyor?

Russell ve diğerleri tarafından yapılan çalışmada, Pangram, GPTZero ve insanlaştırılmış metinler üzerinde kullanılan çeşitli açık kaynak yöntemlerle karşılaştırılmıştır. Pangram'ın en iyi modeli, insanlaştırılmış metinlerde %97 doğruluk oranına sahipken, GPTZero %46, FastDetectGPT %23 ve Binoculars %7 doğruluk oranına sahiptir.

Diğer dedektörlerle karşılaştırıldığında Pangram'ın insanlaştırılmış metin üzerindeki performansı

Jabarian ve Imas tarafından yapılan çok yeni bir araştırma, Pangram'ın 4 ticari dedektör arasında humanizerlere karşı sağlam performansa sahip tek dedektör olduğunu ortaya koydu:

Daha uzun metinlerde Pangram, AI tarafından üretilen metinlerin neredeyse %100'ünü tespit eder. Metinler kısaldıkça FNR biraz artar, ancak yine de düşük seviyede kalır. Diğer dedektörler, humanizer'lara karşı daha az dayanıklıdır. Originality.AI için FNR, daha uzun metinlerde yaklaşık 0,05'e yükselir, ancak türe ve LLM modeline bağlı olarak daha kısa metinlerde 0,21'e kadar çıkabilir. GPTZero, çoğu tür ve LLM modelinde 0,50 ve üzeri FNR puanlarıyla AI tarafından üretilen metinleri algılama kapasitesini büyük ölçüde kaybeder. RoBERTa da benzer şekilde, genel olarak yüksek FNR puanlarıyla zayıf bir performans gösterir.

Bir metnin insanlaştırılmış olup olmadığını nasıl anlayabilirsiniz?

Bir metnin insanlaştırıcıdan geçtiğini gözle birkaç şekilde anlayabilirsiniz.

İşkence Gören İfadeler

Bir humanizer'ı tespit etmenin en kolay yollarından biri, intihalı gizlemek için kullanılan, uygunsuz eşanlamlı kelime ikameleri olan "zorlama ifadeler" aramaktır. Grammarly ve Quillbot gibi kelime döndürücü araçlar, intihalı gizlemek için AI'dan önce bile bu eşanlamlı kelime ikamesi algoritmalarını kullanıyordu.

İşkence görmüş ifadelerin örnekleri arasında "yapay zeka" yerine "sahte bilinç" veya "meme kanseri" yerine "göğüs tehlikesi" sayılabilir. Geçen yıl, bir öğrencinin kompozisyonunda "Martin Luther King, Jr." yerine "Martin Luther Ruler, Jr." ifadesinin kullanıldığı komik bir örnek duymuştuk.

İnsanlaştırılmış AI metinlerini tespit etmenin tek yolu olarak zorlama ifadeler kullanmaya dikkat etmek önemlidir, çünkü zorlama ifadeler genellikle ana dili İngilizce olmayan kişiler belirli kelimelerin doğrudan anlamını veya tipik kullanım şeklini yanlış kullandıklarında veya yanlış yorumladıklarında ana dili İngilizce olmayan yazılarda da sıklıkla görülür.

Doğal Olmayan Boşluk Hataları

İnsanlaştırıcılar genellikle boşluk ekleyerek veya kaldırarak AI dedektörlerinin tokenizer'ını aldatmaya çalışırlar. Özellikle cümleler arasındaki boşlukların kaldırılması yaygın bir uygulamadır.

Tekrarlanan İfadeler

İnsancıllaştırılmış AI metni, insancıllaştırılmamış AI metniyle aynı tekrarlayan cümleleri sergilemeye devam ediyor. Aynı zorlama cümlenin aynı belgede iki kez geçmesi, metnin bir insancıllaştırıcıdan geldiğini özellikle ortaya koyuyor, çünkü bu, insancıllaştırıcının sistematik olarak aynı eşanlamlı kelime değiştirmelerini uyguladığının kanıtıdır.

Standart Olmayan Karakterler

İnsanlaştırıcılar ayrıca, AI dedektörlerinin tokenizer'larını da aldatmak için genellikle standart olmayan Unicode karakterleri kullanır. Bunun bir örneği, normal boşluk yerine "ince boşluk" için kullanılan Unicode karakteri olan "U+2009"u kullanan popüler bir insanlaştırıcıdır. Kopyalayıp yapıştırılan dizelerde gizlenmiş olabilecek tüm yazdırılamayan karakterleri görebileceğiniz https://www.soscisurvey.de/tools/view-chars.php web sitesini öneririz.

İnsanlaştırılmış metinde yazdırılamayan karakterlere örnek

Yazma Süreci Araçları

Google Dokümanlar'daki Pangram'ın yeni Yazma Oynatma özelliğini kullanarak, Google dokümanındaki metnin önemli bir kısmının manuel olarak yazılmak yerine kopyalanıp yapıştırılmış olup olmadığını da kontrol edebilirsiniz. Google Dokümanlar'daki AI algılama özelliği hakkında daha ayrıntılı bilgiyi burada bulabilirsiniz .

Kopyala ve yapıştır işlemini gösteren yazma oynatma örneği

Pangram, insanlaştırılmış AI metinlerinde neden %100 doğru değil?

Pangram'ın insanlaştırılmış AI metinlerinde mükemmel bir dedektör olmamasının birkaç nedeni vardır.

1. Pangram, Yanlış Pozitif Oranı konusunda taviz vermek istememektedir. İç modellerimizin birçoğu, insanlaştırıcıları neredeyse mükemmel bir doğrulukla tespit edebilmektedir, ancak daha yüksek yanlış pozitif oranları sergilemektedir. Bu modelleri piyasaya sürmüyoruz, çünkü tüm insanlaştırıcı çıktılarını yakalamaktan daha önemli olan, gerçek insan yazımlarının asla AI olarak işaretlenmemesidir.

2. Son derece düşük kaliteli "çöp" metinler gözle kolayca tespit edilebilir. Pangram'ın insanlaştırılmış çıktıyı yakalayamadığı çoğu durumda, metin o kadar kötü bir şekilde bozulmuş ve karmaşık hale getirilmiştir ki, İngilizceye neredeyse hiç benzememektedir. Bu durumlar gözle kolayca tespit edilebilir, ancak algoritmik olarak yakalamak zordur çünkü anlamsız metinler üretmenin sonsuz sayıda yolu vardır. Anlamsız metinleri tespit etmeye çalışmaktansa, kapsam dışı bırakmayı tercih ederiz, çünkü insan kaynaklı anlamsız metinleri insanlaştırıcı kaynaklı anlamsız metinlerden ayırmak bile zor bir iştir.

Pangram'ın zamanla insanlaştırıcı performansını iyileştireceğini bekleyebilir miyim?

Evet, insanlaştırıcı algılama Pangram için aktif bir araştırma alanıdır ve bu insanlaştırıcıların özelliklerini tanımlamaya ve insanlaştırıcı çıktılarını algılama konusundaki araştırmalarımızı yayınlamaya devam etmeyi umuyoruz. Pangram'ın akademik dürüstlük konusunda güvenilir bir araç olarak görülmesi için, bu kopya araçları tarafından üretilen metinleri ve büyük dil modellerinden doğrudan kopyalanıp yapıştırılan metinleri algılayabilmeliyiz.