Pangram nasıl çalışır?

Yapay zeka tarafından üretilen metinleri güvenilir bir şekilde tespit edebilmenin önemli olduğunu düşünüyoruz; bu nedenle bunu gerçekleştiren bir tespit aracı geliştirdik. Bu konu o kadar önemli ki, sistemin nasıl çalıştığı konusunda şeffaf davranmak en doğru yaklaşımdır.

Herhangi bir yazar bir cümle yazarken, bu cümlenin nasıl kurgulanması gerektiğine dair binlerce bilinçli ve bilinçsiz karar verir. Temel olarak, yapay zeka algılama, yazar tanımlama sorunudur – hangi kararların ne tür bir yazara özgü olduğunu sınıflandırmaktır. Bunu yapabilmemizin nedeni, ChatGPT gibi büyük dil modelleri (LLM’ler) insan olmasa da, yine de kararlar alan tek bir yazar gibi davranmalarıdır. Alabilecekleri kararların türü de sınırlıdır: Asistan modeller, soruları etkili bir şekilde yanıtlamak için yararlı ve net metinler üretmek zorundadır. Bu tercihler, eğitim sırasında modele kazınır ve bir kez yerleştiğinde, bunların ortaya çıkmasını engellemek çok zordur.

Pangram nedir?

Pangram, sınıflandırıcı model olarak adlandırılan bir tür sinir ağıdır. En geniş anlamıyla, Pangram bir metin parçasını okur ve – öğrenilmiş devasa bir kalıp kümesini kullanarak – bu metnin yapay zeka tarafından üretilip üretilmediğini tahmin eder.

Pangram, benzer yazım tarzlarına sahip yazarları birbirine yakın, tarzları farklı olanları ise birbirinden daha uzak konumlandırdığı bir tür harita oluşturarak insan ve LLM tarafından yazılmış metinleri ayırt etmeyi öğrenir. Bu haritada, insan tarafından yazılmış ve yapay zeka tarafından üretilmiş metinler ayrı kümeler oluşturur; araştırmamız, Pangram’ın ChatGPT ve Claude gibi büyük ticari dil modellerini bile farklı bölgelerde tespit edebildiğini göstermektedir.

Pangram, daha önce hiç görmediği bir yazı parçasıyla karşılaştığında, bunu halihazırda bildiği metinlerle karşılaştırarak harita üzerinde nereye yerleştirilmesi gerektiğini belirler. Yazının tek bir özelliği bile nereye yerleştirileceğini belirlemez; bu nedenle, bir insan yazar, sırf ChatGPT’nin uzun tire gibi en sevdiği üslup öğelerinden birini kullanmış olması nedeniyle yanlış sınıflandırılma riskiyle karşı karşıya kalmaz. Gözle görülür LLM özellikleri, Pangram’ın dikkate aldığı yüz binlerce işaretten sadece bir tanesidir.

Elde edilen koordinatlar insan tarafından yazılmış bir bölgeye denk gelirse, Pangram metnin insan tarafından yazıldığını öngörür; daha belirsiz bir alana denk gelirse ya da aynı metnin farklı bölümleri farklı yönlere işaret ediyorsa, Pangram metnin yapay zeka tarafından yazılmış olabileceğinden şüphelenmeye başlar. İşte bu nedenle Pangram’ın minimum kelime sayısı kuralı vardır: daha fazla kelime, daha kesin koordinatlar anlamına gelir. Aynı yaklaşım, Pangram’ın yeni yapay zeka model sürümlerine de genelleme yapmasına yardımcı olur; bu modeller genellikle öncekilerin üslubunu ve sesini büyük ölçüde miras alır ve bu nedenle haritanın çok benzer bölgelerini işgal eder.

Pangram, diğer yapay zeka algılayıcılarından daha iyidir

Yapay zeka tarafından yazılmış metinleri tespit etmeye yönelik önceki girişimler, tam bir fiyasko ve kamuoyu nezdinde başarısızlıkla sonuçlandı. Bunun nedeni, bu girişimlerin büyük dil modellerinin metin üretme yöntemini tersine mühendislikle çözmeye çalışmasıydı. Bir cümlenin her kelimesinden sonra, bu tespit araçları şu soruyu soruyordu: “Ben bir büyük dil modeli olsaydım, bundan sonra hangi kelimenin gelmesini beklerdim?”

Örneğin, “Köpeğimi …’ye götüreceğim” gibi bir cümle parçası verildiğinde, bir yapay zeka modeli “yürüyüş” veya “koşu” gibi kelimeleri bir sonraki kelime olarak çok olası görürken, “harbinger” veya “verglas” gibi mantıksız kelimeler olası adaylar arasında yer almayacaktır. İlk nesil algılayıcılar, bir LLM’nin olası kelimelere ilişkin sıralamasını yeniden oluşturmaya ve bunu gerçekten ortaya çıkan kelimeyle karşılaştırmaya çalışırdı; dolayısıyla metin öngörülebilir seçimi ne kadar sık takip ederse, algılayıcının onu yapay zeka tarafından üretilmiş olarak sınıflandırma olasılığı o kadar artardı. Esasen bu, bir LLM’nin cümlede bir sonraki kelimeyle karşılaştığında ne kadar şaşkın olacağını yansıtır; bu nedenle bu yapay zeka algılama yöntemine “perplexity analizi” adı verildi.

Perplexity analizinin pek çok sorunu vardır. Ayırt etmeye çalıştığı şey için iyi bir ölçüt değildir; zira insan cümleleri de sıklıkla büyük dil modellerinin (LLM) ürettiği metinler kadar kalıplaşmıştır. Dolayısıyla, öngörülebilir veya yapılandırılmış insan yazıları, perplexity dedektörleri tarafından sıklıkla hatalı bir şekilde işaretlenirken, aynı zamanda bu dedektörler, kelimeleri daha az yaygın eşanlamlılarla değiştirmek gibi bariz stratejilerle kolayca atlatılabilmektedir.

Bilindiği üzere, perpleksite modelleri bilgisayarın ortaya çıkışından önceki birçok metinde de başarısız olmaktadır. Perpleksite tabanlı tespit sistemleri, size İncil’in, Bağımsızlık Bildirgesi’nin veya Mary Shelley’nin Frankenstein’ının %100 yapay zeka tarafından üretildiğini söylemeye meyillidir. Bunun nedeni, büyük dil modellerinin (LLM’ler) eğitim süreçleri boyunca Bağımsızlık Bildirgesi’ni binlerce kez okumuş olmalarıdır; dolayısıyla metinde yer alan her bir sonraki kelime, LLM’nin bakış açısından hiç de şaşırtıcı değildir. Algılayıcı, bu olasılığı yazının yapay zeka tarafından üretildiğine dair bir kanıt olarak yanlış yorumlar.

Pangram bunu önler, çünkü bir LLM’nin metni nasıl ürettiğini tersine mühendislikle çözmeye çalışmaz. Her kelimeye bakıp “bir LLM buraya ne yazardı?” diye sormak yerine, Pangram metnin tamamına bakar ve “bu kimin üslubuna benziyor?” diye sorar. Bu sayede, ChatGPT’nin aşinalık düzeyi, Pangram’ın tarihi belgeleri yapay zeka tarafından üretilmiş olarak yanlış sınıflandırmasına asla yol açmaz – ancak her durum bu kadar kolay değildir.

Pangram’ı nasıl eğittik

Bir sınıflandırıcıyı %98 doğruluk oranına sahip olacak şekilde eğitmek zor değildir. Yapay zeka tarafından yazılan metinlerin çoğu kolayca tanınabilir ve bir sinir ağı, en bariz ipuçlarını hızla öğrenebilir. Tıpkı hemen hemen herkesin bir E. E. Cummings şiirini “Karamazov Kardeşler” den bir alıntıyla karşılaştırıp bunların farklı yazarlar tarafından yazıldığı sonucuna varabileceği gibi, temel bir sınıflandırıcı da yapay zeka tarafından üretilmiş bir makarna tarifini bir insanın günlük kaydından kolayca ayırt edebilir. Ancak yapay zeka tespitinde %98 doğruluk oranı son derece yetersizdir: %2’lik bir hata oranı, her 50 belgeden birinin yanlış sınıflandırılması anlamına gelir ve bu da herhangi bir tahmini şüpheli hale getirir. Öyleyse düşünün: Eğer Dostoyevski eserlerini ayırt etmede en iyi %2’lik kesime dahil olsaydınız, en iyi %0,01’lik kesime girmek için hangi stratejiyi kullanırdınız?

Bu düzeyde, Dostoyevski’yi yeniden okumak doğrudan azalan getirilerle sonuçlanır – bu farkı kapatmak için, Dostoyevski dışında hiç kimsenin üretemeyeceği özellikleri bulmak gerekir. İyi bir strateji, birkaç profesyonel taklitçiyi işe alarak Dostoyevski’nin mümkün olan en inandırıcı kopyalarını yazmalarını sağlamak ve aradaki farkları incelemek olabilir. Pangram’ı işte bu şekilde eğitiyoruz: Ticari lisanslı, insan tarafından yazılmış metinlerden oluşan veri setimizin her bir öğesi için, kaynağına mümkün olduğunca yakın bir yapay zeka kopyası oluşturuyoruz. Bu kopyalar aynı uzunlukta, aynı üslupta ve aynı konuyu işliyor, ancak yapay zeka tarafından üretiliyor. Ardından, Pangram modelini bu insan-yapay zeka metin çiftleri üzerinde eğitiyoruz.

Pangram, bu çiftleri birbirinden ayırt etmeyi öğrenirken, iç haritasındaki sınır bölgelerinin çözünürlüğünü etkili bir şekilde artırır. Pangram’ın haritasının olabildiğince doğru olmasını sağlamak için, veri zehirlenmesi konusunda son derece dikkatliyiz: Bilinen insan metinlerinden oluşan veri setimiz, yapay zekanın internette yaygınlaşmaya başlamasından önceki, 2021 ve daha eski dönemlerden derlenmiştir. Bu yaklaşım şimdilik iyi sonuç veriyor, ancak dilin gelişmesine paralel olarak ayarlamalar yapmamız gerekeceğinin farkındayız. Veri sapması bir sorun haline gelmeden önce proaktif olarak bu sorunu ele almak, en önemli araştırma önceliklerimizden biridir.

Pangram’ın doğru sonuç verdiğini nereden biliyoruz?

Pangram, yalnızca metne dayalı olarak tahminlerde bulunan istatistiksel bir modeldir; bu nedenle doğruluğu da istatistiksel olarak test edilmelidir. Biz de tam olarak bunu yapıyoruz. Yayınladığımız her Pangram modeli için ve her AI laboratuvarının büyük dil modellerini (LLM) güncellediği her seferde, kurum içi karşılaştırma sonuçlarını yayınlıyoruz. Ayrıca, Chicago Üniversitesi ve Maryland Üniversitesi’ndeki ekipler gibi bağımsız üçüncü taraflar tarafından da test edildik ve doğrulandık.

Eğer bir araştırmacıysanız – ya da gerçekten iyi bir fikriniz varsa ve sonuçlarınızı yayınlayacağınıza söz veriyorsanız – API kredi hibelerimizden birine başvurabilir ve modellerimizi kendiniz test edebilirsiniz. Sürekli olarak iyileştirme yolları arıyoruz.