AI Tanımlama Özelliğinin Duyurusu: Pangram, farklı büyük dil modellerini birbirinden ayırt edebiliyor

Pangram, ChatGPT, Claude, Gemini ve diğerleri tarafından yazılan yapay zeka kaynaklı metinleri tespit etme ve yapay zeka tarafından yazılan metinleri insan tarafından yazılan metinlerden ayırt etme konusunda lider bir yazılımdır.

Şimdi bir adım daha ileri giderek, yalnızca yapay zeka tarafından üretilen içeriği tespit etmekle kalmayıp, yapay zeka tarafından üretilen bir metnin hangi büyük dil modelinden (LLM) geldiğini de belirleyebilen gelişmiş bir model piyasaya sürüyoruz. Yeni teknolojimize "AI Identification" adını verdik.

Yapay Zeka ile Tanımlama

İnsanlar sezgisel olarak, farklı büyük dil modellerinin (LLM) farklı yazım tarzlarına sahip olduğunu fark etmeye başlıyor. Örneğin, ChatGPT oldukça doğrudan ve net bir üslubuyla, Claude ise daha akıcı ve sohbet havasındaki üslubuyla tanınıyor; Grok sansürsüz ve kışkırtıcı üslubuyla, Deepseek-R1 ise dağınık ve laf kalabalığıyla dikkat çekmeye başlıyor.

Graham Neubig, çeşitli büyük dil modellerinin üslup eğilimleriyle dalga geçiyor

Ethan Mollick, Claude Sonnet'in sevimli kişiliği üzerine düşüncelerini paylaşıyor.

UC Berkeley'den Lisa Dunlap ve ekibinin yakın zamanda yaptığı bir araştırma, farklı büyük dil modellerinin (LLM) niteliksel farklılıklarını (ya da daha samimi bir ifadeyle, "havalarını") inceledi. Araştırmacılar, "Llama, GPT ve Claude'a kıyasla daha esprili, daha fazla biçimlendirme kullanıyor, daha fazla örnek veriyor ve etik konular hakkında çok daha az yorum yapıyor" gibi birçok ilginç bulguya ulaştı. Bunun anlamı, model performansının her zaman insan tercihleriyle uyumlu olmadığıdır: GPT-4 ve Claude-3.5, Llama serisinden daha gelişmiş modeller olsa da, Llama, aynı sorulara verilen yanıtlara göre tercihlere dayalı, kitle kaynaklı bir Elo sıralaması olan Chatbot Arena'da her zaman ağırlığının üzerinde bir performans sergiliyor gibi görünüyor. Chatbot Arena'da iyi performans gösteren modeller daha akıllı ve yetenekli mi, yoksa sadece kendilerini daha "sevimli" hale getirecek şekilde insan psikolojisini manipüle etmeye mi çalışıyorlar? Bazı modeller diğerlerinden daha yardımcı ve sevimli; doktora düzeyindeki akıl yürütme problemlerini çözme konusunda daha az yetenekli olmaları önemli mi? Bunlar, araştırmaya değer ve Chatbot Arena gibi sistemlerin geleneksel model değerlendirmelerine göre yararını anlamak için önemli sorulardır.

Pangram'da, modelimizin bu özellikleri kullanarak bu büyük dil modellerini (LLM'ler) tanımlayıp birbirinden ayırt etmesinin mümkün olup olmadığını merak ettik.

Pangram'ın Yapay Zeka Tanımlama Sistemi

Temel AI algılama modelimizi AI metinlerini insan metinlerinden ayırt edecek şekilde eğittiğimiz gibi, aynı algılama modelini “çoklu görev öğrenimi” adı verilen bir teknik kullanarak AI tanımlaması yapması için de eğitiyoruz. Uygulamada, çeşitli dil modellerini kapsamlı denemeler sonucunda belirlediğimiz 9 gruba ayırıyoruz.

Aileler şunlardır:

1. GPT-3.5
2. GPT-4 (GPT-4o, GPT-4-turbo ve GPT-4o-mini dahil)
3. OpenAI Akıl Yürütme Modelleri
4. Claude
5. Google (hem Gemini sürümlerini hem de Gemma'yı içerir)
6. Grok
7. DeepSeek
8. Amazon Nova
9. Diğer (LLaMA, Mistral, Qwen ve bu modellerin diğer açık kaynaklı türevlerini içerir)

Bunu pratikte gerçekleştirme yöntemimiz, sinir ağımıza bir "katman" daha eklemektir. AI algılama görevini denetlerken, model etiketini ağa iletip hem AI algılama hem de tespit tahminindeki hatayı geriye doğru yayarak AI tanımlama görevini de denetleriz.

Görsel kaynağı: GeeksForGeeks

Modelin katmanlarının neredeyse tamamı iki görev arasında paylaşılır ve yalnızca son tahmin katmanı ayrılır.

Çoklu görev öğreniminde, bazı görevlerin birlikte öğrenildiğinde birbirlerine yardımcı olduğunu, bazılarının ise birbirlerine zarar verdiğini görüyoruz. Biyolojide, benzer bir kavram, simbiyoz ve parazitizm kavramlarıdır. Örneğin, deniz anemonunda yaşayan palyaço balığı bir simbiyoz örneğidir: palyaço balığı, anemonuna zarar verebilecek avcılarla beslenirken, anemonun içinde kamufle olarak ve saklanarak kendi avcılarından korunur.

LLM tanımlama görevinin eklenmesinin, LLM tespit göreviyle birbirini tamamlayıcı nitelikte olduğunu tespit ettik. Başka bir deyişle, modelimizden yalnızca yapay zeka tarafından üretilen metinleri tespit etmesini değil, aynı zamanda bu metinlerin hangi modelden geldiğini de belirlemesini istemek, genel olarak yapay zekayı tespit edebilmemiz açısından faydalıdır. Diğer araştırmacılar da çeşitli LLM’lerin yalnızca insan tarafından yazılmış metinlerden değil, birbirlerinden de ayırt edilebilir olduğunu doğrulamışlardır.

Gömme, bir metin parçasının sayısal bir vektör olarak temsil edilmesidir. Gömmenin gerçek değerleri tek başına anlamlı değildir, ancak iki gömme birbirine yakınsa, bu ya benzer bir anlam ya da benzer bir üsluba sahip oldukları anlamına gelir. UMAP adı verilen bir teknik kullanarak, çok yüksek boyutlu olan gömmeleri 2 boyutlu uzayda görselleştirebiliriz. Bu yazarlar, insanlar ve LLM'ler tarafından yazılan belgeler stil gömmelerine dönüştürüldüğünde, yukarıdaki resimde de görebileceğiniz gibi, aynı LLM'ye ait tüm belgelerin gömme uzayında birbirinden ayrılabilir olduğunu bulmuşlardır! Bu, genel olarak aynı LLM tarafından yazılan tüm belgelerin, farklı LLM'ler veya LLM'ler ve insanlar tarafından yazılan belgelere göre stil açısından birbirine daha yakın olduğu anlamına gelir.

Bu sonuç, kaynak LLM'yi tanımlayabilen bir sınıflandırıcının geliştirilebileceğine dair bize güven verdi.

Yapay Zeka Tanıma Doğruluğu

Modelimiz, yapay zeka tarafından üretilen bir metnin hangi LLM ailesinden geldiğini %93 doğrulukla tespit edebilmektedir. Aşağıda, modelimizin her bir LLM ailesini ne sıklıkla doğru bir şekilde tanımladığını (diyagonal hücreler) ve bir LLM'yi başka bir LLM ile ne sıklıkla karıştırdığını (diyagonal dışındaki hücreler) gösteren karışıklık matrisi yer almaktadır. Renk ne kadar koyu olursa, o hücreye o kadar çok tahmin düşer. Mükemmel bir modelde sadece diyagonal boyunca koyu renkli kareler, diğer her yerde ise beyaz kareler bulunur.

Karışıklık matrisimizle ilgili birkaç ilginç gözlem:

• Model aileleri arasında karışıklıklar daha sık yaşanmaktadır. Örneğin, GPT-4 sık sık OpenAI’nin akıl yürütme serisiyle karıştırılmaktadır. Bu gayet mantıklıdır, çünkü GPT-4 muhtemelen OpenAI’nin akıl yürütme modellerinin bir bileşeni ya da başlangıç noktasıdır!

• Model, belirli bir büyük dil modeliyle (LLM) karşılaştırıldığında, daha sık "Diğer" seçeneğiyle karıştırıyor. Bu durum, modelin emin olamadığı durumlarda belirli bir LLM'yi seçmek yerine "Diğer" seçeneğini tercih etme eğiliminde olduğunu gösteriyor.

LLM sınıflandırıcısı mükemmel olmasa da genellikle doğru sonuçlar verir ve en önemlisi, LLM sınıflandırıcısı yanıldığında belirli yapay zeka sistemlerini diğer yapay zeka sistemleriyle karıştırır, ancak yapay zeka sistemlerinin çıktılarını gerçek insan yazıları ile karıştırmaz.

Yapay zeka ile kimlik tespiti neden önemlidir?

Birkaç nedenden ötürü, yapay zeka algılamasının ötesine geçip yapay zeka tanımlama sorununu da çözmenin önemli olduğuna inanıyorduk.

• Öncelikle, modelin farklı büyük dil modellerinin (LLM) yazım tarzlarını ayırt etmeyi öğrenmesini sağlamanın – ki bu, bir metnin yapay zeka tarafından üretilip üretilmediğini tespit etmekten daha zor bir görevdir – yapay zeka tespit aracının performansını güçlendirmede faydalı olduğuna inanıyoruz. Modelden bu ek çabayı göstermesini isteyerek, bir bakıma modelin daha yüksek doğrulukla yapay zeka tarafından üretilmiş metinleri tespit etmeyi genelleştirmesine yardımcı olan ileri düzey beceriler ve örtük bilgiler edinmesini sağlıyoruz.

• Yorumlanabilirlik, LLM sınıflandırıcısının sonuçlarını görüntülemek istememizin bir başka nedenidir. Modelin arka planda ne yaptığını gerçekten bildiğine ve (diğer birçok rastgele algılayıcı gibi) sadece rastgele bir tahminde bulunmadığına dair güven oluşturmak istiyoruz. Sadece AI puanını değil, metnin hangi LLM'den geldiğini de göstererek, modelin AI yazım stilinin inceliklerini anlama yeteneğine dair güven oluşturmayı umuyoruz.

• Son olarak, zaman içindeki eğilimleri ortaya çıkarmak istiyoruz: Hangi büyük dil modelleri (LLM’ler) pratikte kullanılıyor ve ne sıklıkta? Öğrenciler, dolandırıcılar ve yazılımcılar için tercih edilen LLM’ler hangileri? İşte bunlar, gelecekteki çalışmalarda yanıtlamayı umduğumuz türden sorular.

Sonuç

Yapay zeka tabanlı kişilik belirleme özelliğimizi denemenizden keyif almanızı ve bu özelliğin, farklı LLM ailelerinin doğuştan gelen kişiliklerini ve tarzlarını anlamaya yardımcı olmasını umuyoruz. Daha fazla bilgi için lütfen info@pangram.com adresinden bize ulaşın!