Üçüncü taraf araştırma çalışması, Pangram'ın en sağlam yapay zeka algılayıcısı olduğunu gösteriyor

Üçüncü taraf araştırma çalışması, Pangram'ın en sağlam yapay zeka algılayıcısı olduğunu gösteriyor

Houston Üniversitesi, UC Berkeley, UC Irvine ve Esperanto AI adlı girişimden araştırmacılar, çok çeşitli ticari ve açık kaynaklı yöntemler arasında Pangram’ın en sağlam yapay zeka metin tespit aracı olduğunu ortaya koydu. “Esperanto: Metin Kaynağının Yapay Zeka ile Tespitinde Sağlamlığı Artırmak Amacıyla Sentezlenmiş İfadelerin Değerlendirilmesi” başlıklı makalede araştırmacılar, dil çevirisinin yapay zeka tespit araçlarının performansına etkisini inceledi.

Çevirmenleri Kullanarak Yapay Zeka Algılayıcılarını Atlatmak

Yapay zeka algılama sistemlerini atlatmanın bilinen bir yöntemi, yapay zeka tarafından üretilen metni Google Translate aracılığıyla yabancı bir dile çevirip ardından bu metni tekrar İngilizceye çevirmenin, bir saldırganın (ya da sadece zaman sıkıntısı çeken zeki bir öğrencinin) yapay zeka algılama programlarından kaçmasına yardımcı olabileceğidir. Pangram’da bu saldırıya şirket içinde “çift çeviri” diyoruz; araştırmacılar ise buna “geri çeviri” adını vermektedir. İşte çift çevirinin bir örneği. ChatGPT'den bizim için bir metin yazmasını istiyoruz. Metni önce Japonca'ya çeviriyoruz, ardından tekrar İngilizce'ye çeviriyoruz. Çeviri yazılımlarının mükemmel olmadığı ve aynı şeyi ifade etmenin genellikle birden fazla yolu olduğu için bazı cümlelerin değiştiğini fark ediyoruz. Bu, Quillbot gibi bir yeniden ifade etme aracının yaptığına benzer bir etkiye sahiptir.

ChatGPT tarafından oluşturulan metin İki kez çevrilmiş metin Çift çevirinin bir örneği

Rakiplerimizin çoğu bu istismara karşı dayanıklı değildir. Yukarıda, piyasada yaygın olarak kullanılan rakip yapay zeka tespit araçlarından biri yer almaktadır. Bu modelin, doğrudan ChatGPT’den gelen metinlerde yapay zekayı tespit edebildiğini görüyoruz; ancak metin iki kez çevrildiğinde, yapay zeka oranını yalnızca %15 olarak tahmin ediyor.

GPTZero sonuçları Popüler bir rakip araç, orijinal yapay zeka metnini doğru bir şekilde sınıflandırırken, iki kez çevrilmiş metni yanlış bir şekilde insan tarafından yazılmış olarak sınıflandırıyor

Ancak Pangram, hem orijinal ChatGPT metnini hem de iki kez çevrilmiş metni %99,99 oranında yapay zeka ürünü olarak tespit edebiliyor. Sadece bunun yapay zeka tarafından üretilmiş bir metin olduğunu tespit etmekle kalmıyor, aynı zamanda orijinal kaynağın GPT-4 olduğunu da kesin bir şekilde belirleyebiliyoruz. Araştırmacılar, bu olguyu genel bir çerçeve içinde ve geniş ölçekte incelemeye koyuldular.

Pangram sonuçları Pangram, hem orijinal metni hem de iki kez çevrilmiş metni yapay zeka tarafından üretilmiş olarak doğru bir şekilde tanımlıyor

720.000 belge üzerinde geri çevirinin etkisinin incelenmesi

Tek bir örnek, bizim dedektörümüzün sağlam olduğunu, diğerlerinin ise olmadığını kanıtlamak için yeterli değildir. Araştırmada, araştırmacılar insan tarafından yazıldığı doğrulanmış binlerce haber makalesi, bilimsel makale özeti, Reddit gönderisi ve ürün yorumu topladılar. Ardından GPT-3.5-Turbo, LLaMA 3, Mistral, Phi3 ve Yi kullanarak çeşitli yapay zeka örnekleri oluşturdular.

Genel olarak, çeviri saldırısı uygulanmadan önce bile, açık kaynaklı yöntemlerin ve ticari tespit araçlarının çoğu aslında tamamen etkisizdir.

Öncelikle bir eşik değeri belirlendi: bu, bir belgenin yapay zeka ürünü olarak değerlendirilmesi için gerekli olan yüzde eşiğinin seçilmesi anlamına geliyor. Çoğu yapay zeka tespit aracı, nihai sonuç olarak bir yüzde değeri verir. Tüm tespit araçlarını karşılaştırılabilir bir zemine oturtmak için, eşik değerleri her modelin %1 Yanlış Pozitif Oranına sahip olacak şekilde belirlendi. Böylece, tespit araçlarının doğruluğu, doğru pozitiflerin oranı olarak karşılaştırılabilir: her bir tespit aracı bu eşik değerinde kaç tane yapay zeka örneğini tespit edebiliyor?

Makalede incelenen diğer yöntemlerin çoğu, yapay zeka ile üretilmiş içeriği tespit etmede tamamen başarısız olmaktadır. Örneğin, ZeroGPT ve GPTZero bazı alanlarda hiçbir eşik değerinde %1’lik bir yanlış pozitif oranına bile ulaşamamaktadır; RADAR ve LLMDet gibi sıkça atıf yapılan akademik makalelerin doğruluk oranı ise %50’nin altındadır.

Performansı değerlendirmek için önerilen ölçüt, %1 FPR'de TPR'yi ölçmektir: yani, %1'lik sabit bir yanlış pozitif oranı göz önüne alındığında, model yapay zeka tarafından üretilen metni ne sıklıkla tespit edebilmektedir? ZeroGPT, çoğu alanda hiçbir eşik değerinde %1'lik bir yanlış pozitif oranına bile ulaşamamaktadır; RADAR ve LLMDet gibi sıkça atıf yapılan akademik makaleler ise bu ölçütte %50'nin oldukça altında bir performans sergilemektedir.

Bu arada, Pangram %1 FPR oranında tüm alanlarda %96'nın üzerinde hatırlama oranına ulaşırken, sadece 40-50 kelimeden oluşan yorumları içeren zorlu yorum veri setinde bile %85'lik bir oran elde ediyor (bu rakam, ticari ortamda yapay zekayı tespit etmek için önerdiğimiz kelime sayısı eşiğinin oldukça altında).

Çift yönlü çeviri saldırısının ardından, dedektörlerin çoğu tamamen işlevini yitiriyor. Örneğin GPTZero, haber alanında %97’den sadece %42’ye, inceleme alanında ise %65’ten %9’a düşüyor. Araştırmacılar şu sonuca varıyor: “GPTZero ve ZeroGPT’nin sonuçları, geri çeviri tekniklerine karşı dayanıklılık eksikliğini ortaya koyuyor… Pangram ise özellikle daha uzun metinlerde bir dereceye kadar dayanıklılık sergiliyor.”

Sonuçların tamamı burada yer almaktadır. Pangram, tüm kategorilerde üstün bir performans sergilemektedir.

AI algılayıcılarını karşılaştıran sonuç tablosu Esperanto makalesinden alınan ve Pangram'ın sağlamlığını gösteren sonuç tablosu

Sonuç

Bu araştırma, Pangram’ın günümüz piyasasında akademik ve ticari ortamlarda kullanılabilecek kadar güvenilir bir şekilde çalışan ve çift çeviri gibi hilelerle atlatılamayan tek yapay zeka algılama yazılımı olduğu yönündeki iddialarımızı bir kez daha doğrulamaktadır.

Bu bir tesadüf ya da rastlantı değildir. Pangram’ın sağlamlığı, genelleme yapmayı bilen, büyük veri kümeleriyle desteklenen ve hedef odaklı aktif öğrenme yaklaşımımıza dayanan güçlü bir modelin kanıtıdır. Herkes zaman zaman, hatta çoğu zaman işe yarayan bir yapay zeka algılama aracı geliştirebilir; ancak metin değiştirildiğinde veya düzeltildiğinde tamamen çökmayan, güvenilir ve tutarlı bir doğruluk elde etmenin tek yolu, bizim ölçeklenebilir yaklaşımımızdır.

Yapay zeka tespit modelimizin performansını ve sağlamlığını artırmak için sürekli çalışıyoruz. Karşıt makine öğrenimi alanındaki en son araştırmaları yakından takip ediyor ve kendi modelimizi olası saldırılara ve atlatma girişimlerine karşı sürekli olarak test ediyoruz.

Bu konuyla ilgili yakında daha fazla bilgi paylaşacağız!