Pangram, AI içeriğini tanımlama konusunda insan uzmanlarından daha iyi performans gösteren tek AI dedektörüdür.

Maryland Üniversitesi ve Microsoft'tan Jenna Russell, Marzena Karpinksa ve Mohit Iyyer'in, Pangram'ın en iyi AI algılama sistemi olduğunu ve AI tarafından üretilen içeriği algılamada eğitimli insan uzmanlarından daha iyi performans gösteren tek sistem olduğunu gösteren yeni araştırmasını görmekten heyecan duyuyoruz. Makalenin tamamını buradan okuyabilirsiniz.

Jenna Russell'ın tweet'i

Araştırmacılar, otomatik AI dedektörlerinin etkinliğini incelemenin yanı sıra, eğitimli uzmanların AI tarafından üretilen içeriğin belirgin işaretlerini tespit etmelerine yardımcı olan sinyalleri nasıl algıladıklarını da inceliyorlar. Bu araştırmanın, AI tespitinde açıklanabilirlik ve yorumlanabilirlik açısından büyük bir adım olduğunu düşünüyoruz ve bu araştırma yönünü daha da derinlemesine incelemekten heyecan duyuyoruz.

Bu blog yazısında, araştırmanın öne çıkan noktalarını ve bunun LLM algılamasının geleceği için ne anlama geldiğini açıklayacağız.

İnsanları AI Dedektörü Olmaları İçin Eğitmek

Geçmişte, AI yazımını nasıl tespit edeceğimizi ve insan temel testini, ayrıca bunu AI tarafından üretilen metinler hakkında daha iyi modeller geliştirmemize yardımcı olacak değerli sezgiler elde etmek için nasıl kullandığımızı yazmıştık.

Normalde, AI tarafından üretilen incelemeleri, makaleleri, blog gönderilerini veya haberleri tespit etmek için kendimizi eğitmeye başladığımızda, başlangıçta pek başarılı olamayız. Bir metnin ChatGPT veya başka bir dil modeli tarafından üretildiğini gösteren belirgin işaretleri fark etmeye başlamamız biraz zaman alır. Örneğin, incelemeleri incelemeye başladığımızda, zamanla çok sayıda veriyi inceleyerek ChatGPT'nin incelemelere "Son zamanlarda şunun keyfini çıkardım" cümlesiyle başlamayı sevdiğini öğrendik. AI tarafından üretilen bilim kurgu hikayelerini okumaya başladığımızda ise, bunların sıklıkla "Yıl" cümlesiyle başladığını fark ettik. Ancak zamanla bu kalıpları içselleştirmeye başlar ve bunları tanımaya başlayabiliriz.

Araştırmacılar ayrıca, uzmanların da aynı şekilde AI tarafından üretilen makaleleri tespit etmek üzere eğitilip eğitilemeyeceğini merak ettiler. Upwork'te beş anotatörü AI tarafından üretilen içeriği tespit etmek üzere eğittiler ve AI'yı gözle tespit etme becerilerini uzman olmayanlarla karşılaştırdılar.

Bu iki grubun AI tarafından yazılmış metni tespit etme becerilerinde bir fark olması beklense de, araştırmacılar önemli bir fark buldular. Uzman olmayanlar, AI tarafından üretilen metni tespit etmede rastgele şansla benzer bir performans gösterirken, uzmanlar oldukça yüksek bir doğruluk oranına sahipti (ortalama olarak %90'ın üzerinde doğru pozitif oran).

En ilginç bulduğumuz bölümlerden biri, "Uzman yorumcular, uzman olmayanların görmediği neyi görürler?" başlıklı bölümdü. Araştırmacılar, katılımcılardan bir yazının AI tarafından üretilmiş olup olmadığını neden düşündüklerini açıklamalarını istedi ve ardından katılımcıların yorumlarını analiz etti.

İşte makaleden doğrudan alınan bazı analizler:

"Uzman olmayanlar, uzmanlara kıyasla genellikle belirli dilbilimsel özelliklere yanlış bir şekilde odaklanırlar. Bunun bir örneği, kelime seçimi konusudur. Uzman olmayanlar, "süslü" veya düşük sıklıkta kullanılan kelime türlerinin metne dahil edilmesini, AI tarafından üretilen metnin bir işareti olarak görürler. Buna karşın, uzmanlar AI tarafından aşırı kullanılan kelime ve deyimlere (örneğin, vasiyet, hayati) çok daha aşinadırlar. Uzman olmayanlar ayrıca, insan yazarların gramer açısından doğru cümleler kurma olasılığının daha yüksek olduğuna inanır ve bu nedenle uzun cümleleri yapay zekaya atfeder, ancak bunun tam tersi doğrudur: İnsanlar, yapay zekadan daha fazla gramer açısından yanlış veya uzun cümleler kullanma eğilimindedir. Son olarak, uzman olmayanlar nötr bir üslupla yazılmış herhangi bir metni AI'ya atfederler, bu da resmi insan yazıları da genellikle nötr bir üslupta olduğu için birçok yanlış pozitif sonuca yol açar." (Russell, Karpinska ve Iyyer, 2025).

Ek bölümde, yazarlar ChatGPT tarafından yaygın olarak kullanılan "AI kelime dağarcığı" listesini sunmaktadır. Bu özellik, Pangram kontrol panelinde yakın zamanda yayınladığımız ve yaygın olarak kullanılan AI ifadeleri öne çıkaran bir özelliktir!

Deneyimlerimize göre, birçok insan AI'nın sofistike, "süslü" kelimeler kullandığını düşünse de, pratikte AI'nın genellikle anlamsız olan daha klişeleşmiş, mecazi kelimeler kullandığını görüyoruz. Gayri resmi olarak, LLM'lerin akıllı görünmeye çalışan insanlara benzediğini, ancak aslında sadece akıllı görünmelerini sağlayacağını düşündükleri ifadeler kullandıklarını söyleyebiliriz.

En gelişmiş modellere karşı AI dedektörlerinin sağlamlığı

Pangram'da sıkça karşılaştığımız bir soru türü, en son teknolojiye sahip modelleri nasıl takip ettiğimizdir. Dil modelleri geliştikçe, Pangram artık işe yaramayacak mı? OpenAI gibi öncü laboratuvarlar bizi geride bırakacak mı?

Araştırmacılar da bunu merak ettiler ve OpenAI'nin bugüne kadar piyasaya sürdüğü en gelişmiş model olan o1-pro'ya karşı çeşitli AI algılama yöntemlerinin performansını incelediler.

Araştırmacılar, Pangram'ın o1-pro çıktılarını %100 doğrulukla tespit ettiğini ve "insanlaştırılmış" o1-pro çıktılarını (buna birazdan değineceğiz) %96,7 doğrulukla tespit ettiğini buldu! Karşılaştırma olarak, diğer hiçbir otomatik dedektör temel o1-pro çıktılarını %76,7'nin üzerinde bir doğrulukla tespit edemiyor.

Pangram nasıl böyle genelleme yapabiliyor? Sonuçta, araştırma sırasında eğitim setimizde o1-pro verileri bile yoktu.

Tüm derin öğrenme modelleri gibi, biz de ölçek ve hesaplama gücüne inanıyoruz. İlk olarak, LLM'ler gibi, devasa bir eğitim külliyatı üzerinde önceden eğitilmiş güçlü bir temel modelle başlıyoruz. İkinci olarak, ölçeklendirme amaçlı bir veri boru hattı oluşturduk. Pangram, 100 milyon insan belgesinden oluşan eğitim külliyatından ince desen tanıma yapabilmektedir .
Sadece denemeler, haberler veya incelemeler için bir veri kümesi oluşturmuyoruz: mevcut tüm insan tarafından yazılmış verileri mümkün olduğunca geniş bir ağdan toplamaya çalışıyoruz, böylece model en yüksek kalitede ve en çeşitli veri dağılımından öğrenebilir ve her türlü insan yazısını öğrenebilir. AI algılamaya yönelik bu genel yaklaşımın, her metin alanı için ayrı bir model oluşturma gibi özel bir yaklaşımdan çok daha iyi sonuç verdiğini görüyoruz.

Son derece geniş ve yüksek kaliteli insan veri setimizi tamamlayan unsurlar, sentetik veri boru hattımız ve aktif öğrenme tabanlı arama algoritmamızdır. Algoritmamız için yapay zeka verilerini elde etmek amacıyla, kapsamlı bir komut istemleri kütüphanesi ve tüm önemli açık ve kapalı kaynaklı yapay zeka modellerini kullanarak sentetik veriler üretiyoruz. Teknik raporumuzda bahsettiğimiz sentetik ayna komut istemlerini ve en yüksek hataya sahip veri havuzumuzdaki örnekleri arayan ve insan örneklerine çok benzeyen AI örnekleri oluşturan sert negatif madenciliği kullanıyoruz ve daha fazla hata görmeyene kadar modeli yeniden eğitiyoruz. Bu sayede, modelimizin yanlış pozitif ve yanlış negatif oranlarını çok verimli bir şekilde sıfıra indirebiliyoruz.

Kısaca özetlemek gerekirse, genellememiz ön eğitim verilerimizin ölçeğinden, sentetik veri üretimi için kullanılan komutların ve LLM'lerin çeşitliliğinden ve aktif öğrenme ve sert negatif madencilik yaklaşımımızdan elde ettiğimiz veri verimliliğinden kaynaklanmaktadır.

Ayrıca, sadece dağıtım dışı performansı iyileştirmekle kalmayıp, yaygın olarak kullanılan LLM'lerin mümkün olduğunca dağıtım içinde olmasını da sağlamak istiyoruz. Bu nedenle, en son modellerden veri çekmek için sağlam bir otomatikleştirilmiş boru hattı oluşturduk, böylece yeni LLM'ler piyasaya çıkar çıkmaz eğitimine başlayabilir ve güncel kalabiliriz. Farklı modellerde performansı dengelemek arasında bir ödünleşme olmadığını görüyoruz: Eğitim setine yeni bir LLM eklediğimizde, modelin genelleştirilmesinin iyileştiğini görüyoruz.

Mevcut sistemimizde, modellerin gelişmesiyle birlikte bunların tespit edilmesinin zorlaştığını görmüyoruz. Çoğu durumda, yeni nesil modellerin tespiti aslında daha kolaydır. Örneğin, Claude 3 piyasaya sürüldüğünde, Claude 2'ye göre daha doğru tespitler yapabildiğimizi gördük.

Paraphraser ve Humanizer Saldırıları

Son blog yazılarımızda, AI humanizer'ın ne olduğunu açıkladık ve insanlaştırılmış AI metinlerinde performansı büyük ölçüde iyileştirilmiş bir model sunduk. Üçüncü bir tarafın, insanlaştırılmış o1-pro makalelerinden oluşan bir veri setiyle iddialarımızı doğrulamış olmasını görmekten memnuniyet duyuyoruz.

İnsanlaştırılmış o1-pro metinlerinde %96,7'lik bir doğruluk oranı elde ederken, bir sonraki en iyi otomatik model insanlaştırılmış metinlerin yalnızca %46,7'sini tespit edebilmektedir.

Ayrıca, cümle cümle yeniden ifade edilmiş GPT-4o metinlerinde de %100 doğruluk oranına sahibiz.

Sonuç

Pangram'ın yapay zeka algılama yetenekleri konusunda bağımsız bir araştırmada gösterdiği güçlü performansı görmekten büyük heyecan duyuyoruz. Akademik araştırmaları desteklemekten her zaman mutluluk duyarız ve dedektörümüzü incelemek isteyen tüm akademisyenlere açık erişim sağlıyoruz.

Otomatik dedektörlerin performansını karşılaştırmanın yanı sıra, AI algılamanın açıklanabilirliği ve yorumlanabilirliği konusunu da ele almaya başlayan araştırmaları görmekten heyecan duyuyoruz: sadece bir şeyin AI tarafından yazılmış olup olmadığı değil, neden yazılmış olduğu da. Bu sonuçların öğretmenlerin ve eğitimcilerin AI tarafından üretilen metinleri gözle tespit etmelerine nasıl yardımcı olabileceği ve bu araştırmayı daha açıklanabilir otomatik algılama araçlarına nasıl dahil etmeyi planladığımızı daha ayrıntılı olarak yazmayı sabırsızlıkla bekliyoruz.

Daha fazla bilgi için lütfen pangram.com web sitemizi ziyaret edin veya info@pangram.com adresinden bize ulaşın.