Neden Karmaşıklık ve Ani Artışlar Yapay Zekayı Tespit Edemiyor?

İnternette AI tespit araçlarının nasıl çalıştığını araştırdığınızda, genellikle "perplexity" ve "burstiness" terimlerini kullanan birçok kaynakla karşılaşırsınız. Bu terimler ne anlama geliyor ve neden AI tarafından üretilen içeriği tespit etmek için sonuçta işe yaramıyorlar? Bugün, perplexity ve burstiness kavramlarını ayrıntılı olarak ele almak ve bunların AI tarafından üretilen metinleri tespit etmek için neden uygun olmadığını açıklamak istiyorum. Ayrıca, neden işe yaramadıklarını, perplexity ve burstiness tabanlı dedektörlerin neden Bağımsızlık Bildirgesini yanlış bir şekilde AI tarafından üretilmiş olarak gösterdiğini ve bu dedektörlerin neden ana dili İngilizce olmayan kişilere karşı önyargılı olduğunu da ele alacağız. Hadi başlayalım!

Perplexity ve burstiness nedir?

Perplexity kavramının ne olduğu ve nasıl işlediği konusunda genel bir fikir edinmek amacıyla, öncelikle teknik olmayan ve biraz genel bir tanımla başlayalım. Perplexity hakkında daha fazla bilgi edinmek için, bu iki dakikalık açıklayıcı makaleyi oldukça faydalı buldum.

Şaşkınlık, belirli bir dil modeli veya LLM'nin bakış açısıyla değerlendirildiğinde, bir metindeki her bir kelimenin ne kadar beklenmedik ya da şaşırtıcı olduğudur.

Örneğin, işte iki cümle. Açıklama amacıyla her cümlenin son kelimesine odaklanalım. İlk örnekte son kelimenin perpleksitesi düşükken, ikinci örnekte son kelimenin perpleksitesi yüksektir.

Düşük karmaşıklık:

Bugün öğle yemeğinde bir kase *çorba* yedim.

Yüksek karışıklık:

Bugün öğle yemeğinde bir kase *örümcek* yedim.

İkinci cümlenin kafa karıştırıcılık derecesinin yüksek olmasının nedeni, bir dil modelinin eğitim veri kümesinde insanların kase dolusu örümcek yediği örneklerle çok nadiren karşılaşmasıdır; bu nedenle, cümlenin "çorba", "sandviç" veya "salata" gibi bir kelimeyle değil de "örümcekler" ile bitmesi, dil modeli için oldukça şaşırtıcıdır.

"Perplexity" kelimesi, "kafası karışmış" veya "şaşkın" anlamına gelen "perplexed" kelimesiyle aynı kökten gelir. Perplexity kavramını, dil modelinin kafasının karışması olarak düşünmek faydalıdır: Model, eğitim sürecinde okuduğu ve işlediği bilgilere kıyasla tanıdık olmayan veya beklenmedik bir şeyle karşılaştığında, bu tamamlama işlemi karşısında kafasının karıştığını veya şaşkına döndüğünü düşünebiliriz.

Tamam, harika. Peki ya ani dalgalanma? Ani dalgalanma, bir metin boyunca karışıklık değerindeki değişimdir. Eğer metin boyunca bazı şaşırtıcı kelimeler ve ifadeler serpiştirilmişse, bu metnin ani dalgalanma değerinin yüksek olduğunu söyleriz.

Perplexity ve burstiness temelli dedektörler nasıl çalışır?

Ne yazık ki, Pangram hariç çoğu ticari dedektör, kullandığı yöntemler konusunda şeffaf değildir; ancak açıklamalarından anlaşıldığı kadarıyla, insan tarafından yazılmış metinler, yapay zeka tarafından üretilen metinlere kıyasla daha yüksek karmaşıklık ve daha yüksek ani yoğunluk derecesine sahip olarak değerlendirilirken, yapay zeka tarafından üretilen metinler ise daha düşük olasılık ve daha düşük ani yoğunluk derecesine sahiptir.

Bunun görselleştirmesini aşağıda görebilirsiniz! Huggingface'den GPT-2 modelini indirdim ve iki belgedeki tüm metinlerin perplexity değerlerini hesapladım: biri insan tarafından yazılmış restoran yorumları, diğeri ise yapay zeka tarafından üretilmiş yorumlardan oluşan iki set. Ardından, düşük perplexity değerine sahip metinleri mavi, yüksek perplexity değerine sahip metinleri ise kırmızı renkle vurguladım.

Yapay zeka ve insan tarafından yazılmış metinleri karşılaştıran kafa karışıklığı görselleştirmesi

Gördüğünüz gibi, yapay zeka tarafından üretilen metin baştan sona koyu mavi renkte; bu da perpleksite değerlerinin genel olarak düşük olduğunu gösteriyor. İnsan tarafından yazılan metin ise çoğunlukla mavi olmakla birlikte, içinde kırmızı renkli ani artışlar da bulunuyor. İşte buna yüksek patlamalı dağılım deriz.

İşte bu fikir, şaşkınlık ve ani artış dedektörlerine ilham kaynağı olmuştur. Bu fikre dayanan dedektörler, sadece ilk ticari yapay zeka dedektörleri arasında yer almakla kalmamış, aynı zamanda DetectGPT ve Binoculars gibi bazı akademik çalışmalara da ilham kaynağı olmuştur.

Tamamen dürüst olmak gerekirse, bu şaşkınlık ve ani patlama tespit araçları zaman zaman gerçekten işe yarıyor! Ancak, yanlışlıkların kesinlikle önlenmesi gereken yüksek riskli ortamlarda, örneğin sınıf ortamında, bu araçların güvenilir bir şekilde çalışabileceğine inanmıyoruz. Zira bu tür ortamlarda yapay zeka tarafından yapılan bir yanlış pozitif tespit, öğretmen ile öğrenci arasındaki güveni sarsabilir; hatta daha da kötüsü, bir hukuk davasında hatalı delillerin ortaya çıkmasına neden olabilir.

1. Eksiklik: Eğitim kümesindeki metinler yanlış bir şekilde yapay zeka olarak sınıflandırılıyor

LLM'lerin nasıl oluşturulduğunu bilmeyenler için şunu belirtmek gerekir ki, LLM'ler chatbot olarak devreye alınıp kullanılmaya hazır hale gelmeden önce, önce "eğitim" adı verilen bir süreçten geçmeleri gerekir. Eğitim sırasında dil modeli milyarlarca metni inceler ve "eğitim kümesi" olarak adlandırılan bu metinlerin altında yatan dilbilimsel kalıpları öğrenir.

Eğitim sürecinin mekanik ayrıntıları bu blog yazısının kapsamı dışındadır, ancak en önemli nokta şudur: Optimizasyon sürecinde, büyük dil modeli (LLM) eğitim kümesindeki belgelerin perpleksitesini en aza indirgemek için doğrudan teşvik edilmektedir! Başka bir deyişle, model zamanla, eğitim sürecinde tekrar tekrar karşılaştığı metin parçalarının perpleksitesinin mümkün olduğunca düşük olması gerektiğini öğrenir.

Bu neden sorun oluyor?

Modelden eğitim kümesindeki belgelerin perpleksite değerini düşürmesi istendiği için, perpleksite ve patlamalı dağılım dedektörleri, eğitim kümesindeki belgeler aslında insanlar tarafından yazılmış olsa bile, bu belgeleri yapay zeka ürünü olarak sınıflandırmaktadır!

İşte bu yüzden, perplexity tabanlı yapay zeka dedektörleri Bağımsızlık Bildirgesini yapay zeka tarafından üretilmiş olarak sınıflandırıyor: Bağımsızlık Bildirgesi, sayısız ders kitabında ve internetteki makalelerde yer almış ünlü bir tarihi belge olduğu için, yapay zeka eğitim kümelerinde... çok sık karşımıza çıkıyor. Ve metin, eğitim sırasında her görüldüğünde tamamen aynı olduğu için, model Bağımsızlık Bildirgesini gördüğünde ne olduğunu ezberleyebilir ve ardından tüm tokenlere otomatik olarak çok düşük bir karışıklık derecesi atayabilir, bu da patlamayı gerçekten çok düşük hale getirir.

Yukarıdaki aynı görselleştirmeyi Bağımsızlık Bildirgesi üzerinde de denedim ve aynı yapay zeka izini görüyoruz: metin boyunca derin ve tutarlı bir mavi renk, her kelimenin düşük bir karmaşıklık derecesine sahip olduğunu gösteriyor. Karmaşıklık ve ani artışlara dayalı bir algılayıcının bakış açısıyla, Bağımsızlık Bildirgesi yapay zeka tarafından üretilen içerikten tamamen ayırt edilemez.

İlginç bir şekilde, Bağımsızlık Bildirgesi’nin ilk cümlesinin, metnin geri kalanına kıyasla daha koyu mavi renkte ve daha düşük karmaşıklık derecesine sahip olduğunu görüyoruz. Bunun nedeni, ilk cümlenin metnin açık ara en çok kopyalanan kısmı olması ve GPT-2 eğitim kümesinde en sık karşımıza çıkmasıdır.

Bağımsızlık Bildirgesi’nin karmaşıklık görselleştirmesi

Benzer şekilde, LLM eğitim verilerinin diğer yaygın kaynaklarında da, perplexity ve burstiness dedektörleri kullanıldığında yanlış pozitif oranlarının yükseldiğini görüyoruz. Wikipedia, yüksek kalitesi ve kısıtlamasız lisansı nedeniyle çok yaygın bir eğitim veri setidir; bu nedenle, dil modelleri Wikipedia makalelerinde perplexity değerini düşürmek üzere doğrudan optimize edildiği için, bu makalelerin yapay zeka tarafından üretilmiş olduğu yönünde son derece sık yanlış tahminlerde bulunulmaktadır.

Yapay zeka gelişmeye ve daha da gelişmiş hale gelmeye devam ettikçe bu sorun giderek daha da ciddi bir hal alıyor; zira en yeni dil modelleri son derece fazla veriye ihtiyaç duyuyor: OpenAI, Google ve Anthropic’in tarayıcıları, siz bu makaleyi okurken interneti hummalı bir şekilde tarıyor ve dil modeli eğitimi için veri toplamaya devam ediyor. Yayıncılar ve web sitesi sahipleri, bu tarayıcıların LLM eğitimi için web sitelerini taramasına izin vermenin, gelecekte içeriklerinin AI tarafından üretilmiş olarak yanlış sınıflandırılmasına yol açabileceğinden endişe etmeli mi? Verilerini OpenAI'ye lisanslamayı düşünen şirketler, LLM'ler bu verileri topladıktan sonra, verilerin AI tarafından üretilmiş olarak yanlış tahmin edilme riskini de göz önünde bulundurmalı mı? Biz bunu tamamen kabul edilemez bir başarısızlık örneği olarak görüyoruz ve bu durum zamanla daha da kötüleşiyor.

Eksiklik #2: Şaşkınlık ve Ani Artış, Farklı Dil Modelleri İçin Farklıdır

Algılama ölçütü olarak perplexity ve burstiness'i kullanmanın bir başka sorunu da, bunların belirli bir dil modeline göre değişken olmasıdır. Örneğin GPT için beklenen sonuçlar, Claude için geçerli olmayabilir. Ayrıca yeni modeller çıktığında, bunların perplexity değerleri de farklılık gösterir.

Sözde "kara kutu" perpleksite tabanlı dedektörler, gerçek perpleksiteyi ölçmek için bir dil modeli seçmek zorundadır. Ancak bu dil modelinin perpleksitesi, üreticinin perpleksitesinden farklı olduğunda, son derece hatalı sonuçlar elde edilir ve bu sorun yeni model sürümleriyle birlikte daha da artar.

3. Eksiklik: Ticari modeller her zaman karmaşıklığı ortaya çıkarmaz

Kapalı kaynaklı sağlayıcılar her zaman her bir tokenin olasılıklarını sunmazlar; bu nedenle ChatGPT, Gemini ve Claude gibi kapalı kaynaklı ticari modeller için perplexity değerini hesaplayamazsınız. En iyi ihtimalle, perplexity değerini ölçmek için açık kaynaklı bir model kullanabilirsiniz, ancak bu da 2. Eksiklik’te belirtilen sorunlarla aynı sorunlara yol açar.

4. Eksiklik: Ana dili İngilizce olmayan metinler (ESL), yanlış bir şekilde yapay zeka olarak sınıflandırılıyor

2023 yılında Stanford Üniversitesi'nde 91 TOEFL kompozisyonu üzerinde yapılan bir araştırmanın da desteklediği üzere, yapay zeka tabanlı algılama sistemlerinin ana dili İngilizce olmayan kişilere karşı önyargılı olduğu yönünde bir görüş ortaya çıkmıştır. Pangram, modelin bu tür metinleri tanıyıp algılayabilmesi için ana dili İngilizce olmayan metinleri kapsamlı bir şekilde karşılaştırmalı olarak değerlendirip eğitim kümesine dahil etse de, perplexity tabanlı algılayıcıların ana dili İngilizce olmayan metinlerde gerçekten de yüksek bir yanlış pozitif oranına sahip olduğu görülmektedir.

Bunun nedeni, İngilizce öğrenenlerin yazdığı metinlerin genel olarak daha düşük karmaşıklık ve daha düşük patlama özelliğine sahip olmasıdır. Bunun bir tesadüf olmadığına inanıyoruz: Bu durum, dil öğrenme sürecinde öğrencinin kelime dağarcığının önemli ölçüde daha sınırlı olmasından ve öğrencinin, bir dil modeli için sıra dışı veya yüksek şaşırtıcılık derecesine sahip karmaşık cümle yapıları kuramamış olmasından kaynaklanmaktadır. Dilbilimsel olarak doğru olan, yüksek karmaşıklık ve patlamalı bir şekilde yazmayı öğrenmenin, dil deneyimi ile kazanılan ileri düzey bir dil becerisi olduğunu savunuyoruz.

İngilizceyi ana dili olarak konuşmayanlar ve buna bağlı olarak nörolojik çeşitliliğe sahip öğrenciler ya da engelli öğrenciler, kafa karışıklığına dayalı yapay zeka dedektörleri tarafından yakalanma riskine daha fazla maruz kalmaktadır.

5. Eksiklik: Şaşkınlık Temelli Algılayıcılar Kendilerini Tekrarlı Olarak Geliştiremez

Perplexity tabanlı dedektörlerin en büyük eksikliği olarak gördüğümüz şey ve Pangram olarak bunun yerine derin öğrenme tabanlı bir yaklaşımı tercih etmemizin nedeni, bu perplexity tabanlı dedektörlerin veri ve hesaplama ölçeği ile kendiliğinden gelişememeleridir.

Bu ne anlama geliyor? Pangram, aktif öğrenme algoritmamız sayesinde insan metinleri konusunda daha fazla deneyim kazandıkça, giderek daha iyi hale geliyor. İşte bu sayede yanlış pozitif oranımızı %2’den %1’e, oradan %0,1’e ve şimdi de %0,01’e düşürdük. Perplexity tabanlı algılayıcılar ise daha fazla veri görerek kendilerini geliştiremiyorlar.

Kaynaklar ve İlgili Okumalar

• "DetectGPT: Olasılık Eğriliği Kullanılarak Zero-Shot Makine Tarafından Üretilen Metin Algılama ", insan ve yapay zeka tarafından yazılan metinleri ayırt etmek için mutlak perplexity değerleri yerine yerel perplexity manzarasını inceleyen bir makaledir.

• "Dürbünle Büyük Dil Modellerini Tespit Etmek: Makine Tarafından Oluşturulan Metinlerin Sıfır Örneklemli Algılama " çalışması, temel perplexity algılamasını geliştirmek için "çapraz perplexity" adı verilen yeni bir ölçüt kullanmaktadır.

• Pangram'ın teknik raporu, derin aktif öğrenmeye dayalı olarak yapay zeka tarafından üretilen metinleri tespit etmeye yönelik alternatif çözümümüzü ayrıntılı olarak ele almaktadır.

Sonuç

Yapay zeka tarafından üretilen metinlerle ilişkili bir istatistik hesaplamak ile, bu tür metinleri güvenilir bir şekilde tespit edebilen, üretim ortamında kullanılabilecek bir sistem geliştirmek arasında büyük bir fark vardır. Perplexity tabanlı tespit araçları, insan yazısını insan yapan ve yapay zeka yazısını yapay zeka yapan unsurların önemli bir yönünü ortaya koysa da, bu makalede açıklanan nedenlerden ötürü, üretim uygulamaları için yeterince düşük bir yanlış pozitif oranını korurken yapay zeka tarafından üretilen metinleri güvenilir bir şekilde tespit etmek için perplexity tabanlı bir tespit aracını kullanamazsınız.

Eğitim gibi yanlış pozitif sonuçların önlenmesinin hayati önem taşıdığı ortamlarda, araştırmaların karmaşıklık ve ani artış gibi ölçütlere dayalı yöntemlerden uzaklaşarak derin öğrenme temelli yöntemlere yönelmesini umuyoruz.

Umarız bu, Pangram'ın yapay zeka tarafından üretilen metinleri tespit etmek için neden karmaşıklık ve ani artış ölçütlerini kullanmamayı tercih ettiğini ve bunun yerine ölçeklenebilir, güvenilir yöntemlere odaklandığını anlamanıza yardımcı olur.

Pangram, istatistiksel sezgisel yöntemler yerine derin öğrenmeyi kullanır. Üretim düzeyinde doğruluk için yapay zeka içerik tespit aracımızı deneyin.