Hayır, Pangram model tahminlerimizde karmaşıklık ve ani artışlara dayanmaz. Pangram, sınıflandırıcı model olarak adlandırılan bir tür sinir ağıdır. Pangram, sınıflandırılması en zor belgelerin “sentetik kopyaları” kullanılarak eğitilir ve ardından defalarca yeniden eğitilir. Bu, Pangram’ın yeni modellere uyum sağlayabilmesini sağlar ve aktif öğrenme algoritmamız aracılığıyla insan metinleri konusunda daha fazla deneyim kazandıkça, Pangram’ın kademeli olarak daha iyi hale geldiği anlamına gelir.
Perplexity ve burstiness nedir?
Bu bilgiler, “perplexity” ve “burstiness” konulu blog yazımızdan alınmıştır — bu yöntemlerin eksikliklerine ilişkin ayrıntılı açıklamalar için bu yazıya başvurabilirsiniz.
https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai
Şaşkınlık, belirli bir dil modeli veya LLM'nin bakış açısıyla değerlendirildiğinde, bir metindeki her bir kelimenin ne kadar beklenmedik ya da şaşırtıcı olduğudur.
Örneğin, işte iki cümle. Açıklama amacıyla her cümlenin son kelimesine odaklanalım. İlk örnekte son kelimenin perpleksitesi düşükken, ikinci örnekte son kelimenin perpleksitesi yüksektir.
Düşük karmaşıklık:
Bugün öğle yemeğinde bir kase *çorba* yedim.
Yüksek karışıklık:
Bugün öğle yemeğinde bir kase *örümcek* yedim.
İkinci cümlenin kafa karıştırıcılık derecesinin yüksek olmasının nedeni, bir dil modelinin eğitim veri kümesinde insanların kase dolusu örümcek yediği örneklerle çok nadiren karşılaşmasıdır; bu nedenle, cümlenin "çorba", "sandviç" veya "salata" gibi bir kelimeyle değil de "örümcekler" ile bitmesi, dil modeli için oldukça şaşırtıcıdır.
Patlamalılık, bir metin boyunca perpleksitede meydana gelen değişimdir. Metnin genelinde bazı şaşırtıcı kelimeler ve ifadeler yer alıyorsa, bu metnin patlamalılık düzeyinin yüksek olduğu söylenebilir.
Pangram neden “perplexity” ve “burstiness” kavramlarını kullanmıyor?
Yapay zeka tarafından yazılmış metinleri tespit etmek için perpleksite ve patlamalı dağılım ölçütlerini kullanmanın birçok dezavantajı vardır. Aşağıdaki konuyla ilgili ayrıntılı bir açıklama için lütfen bu konuyla ilgili blog yazımıza göz atın: https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai. Dil modelleri, eğitim verilerindeki perplexity değerini en aza indirecek şekilde açıkça eğitildiğinden, Bağımsızlık Bildirgesi ve Wikipedia makaleleri gibi sıkça yeniden üretilen insan metinleri yanlışlıkla yapay zeka metni olarak sınıflandırılır; bu sorun, modellerin web'den daha fazla veri almasıyla birlikte giderek daha da kötüleşir. Bu metrikler ayrıca belirli bir modele göredir; dolayısıyla bir üretici üzerinde kalibre edilmiş bir algılayıcı, başka bir üreticide yanlış sonuçlar verir ve birçok ticari model, perplexity değerini hesaplamak için gerekli olan token olasılıklarını hiç sunmaz. Bu metrikler, ana dili İngilizce olmayan kullanıcıları sistematik olarak dezavantajlı duruma düşürür; zira bu kullanıcıların daha sınırlı kelime dağarcığı ve daha basit cümle yapıları, doğal olarak daha düşük perplexity ve patlama eğilimi (burstiness) değerlerine yol açar. En temelinde ise, bunlar daha fazla veriyle gelişemeyen ve derin öğrenme yaklaşımının yapabildiği şekilde hesaplama yapamayan statik sezgisel yöntemlerdir; dolayısıyla, yüksek riskli uygulamaların gerektirdiği güvenilirliği sağlayamazlar.
