Pangram Metni Güncellemesi: GPT-4o, Claude 3, LLaMA 3

Fotoğraf: Google DeepMind.

Bugün, GPT-4o, Claude 3 ve LLaMA 3 tarafından yazılmış metinleri tespit etmede neredeyse kusursuz bir doğruluk sağlayan model güncellememizi yayınlayarak, piyasadaki yeni büyük dil modellerine (LLM) hızla uyum sağlama yeteneğimizi gururla sunuyoruz.

Özetle:

• GPT-4o, Claude 3 ve LLaMA 3'te performansı artıran Pangram Text'in yeni bir sürümünü yayınladık.
• Altyapı süreçlerimiz, yeni modeller halka açık hale gelir gelmez bunlardan büyük miktarda AI metnini hızla alabilecek şekilde tasarlanmıştır.
• Gördüğümüz kadarıyla, tüm bu yeni modellerin performansı GPT-4 seviyesine yaklaştıkça, stil açısından da hepsi birbirine benzemeye başlıyor.

Sonuçlar

En son yayınladığımız model, eğitim kümesinde bu yeni modellerin örneklerini hiç görmemiş olmasına rağmen, onların çıktılarını tespit etmede oldukça başarılıydı. Ancak, biz sadece “oldukça iyi” olmakla yetinmiyoruz; yapay zeka tabanlı algılama ile mümkün olan sınırları sürekli olarak zorladığımızdan ve müşterilerimiz için mümkün olan en yüksek doğruluğu sağladığımızdan emin olmak istiyoruz.

Yeni nesil dil modellerinde ne kadar başarılı olduğumuzu test etmek için, sınıflandırılması zor insan metinleri ile çeşitli dil modellerinden elde edilen yapay zeka tarafından üretilmiş metinlerden oluşan 25.000 örneklik değerlendirme kümesini yeniledik. Bu yeni değerlendirme kümesinin yaklaşık %40’u, haberler, incelemeler, eğitim ve daha fazlasını içeren çeşitli metin alanlarını kapsayan GPT-4o, Claude 3 ve LLaMA 3 kaynaklı çok çeşitli yapay zeka tarafından üretilmiş metinlerden oluşmaktadır.

Mevcut olduğunda yeni modellerin tüm sürümlerini kullanıyoruz: örneğin, Claude 3’ün Opus, Sonnet ve Haiku sürümlerinden eşit oranda örnek alıyoruz.

En yeni büyük dil modellerini (LLM) dahil etmek üzere eğitim veri kümemizi güncelledikten sonra, en yeni nesil dil modelleri tarafından üretilen metinlerde bir kez daha neredeyse kusursuz bir doğruluk oranına ulaştığımızı gördük.

Yeni modellerde performansı artırmanın yanı sıra, en yeni nesil modellerden elde edilen eğitim verilerini dahil etmenin, aslında bazı eski modellerde de performansı az da olsa artırdığını görüyoruz.

Eski model değerlendirme kümesinde herhangi bir gerileme yaşanmamasının yanı sıra, GPT-3.5 ve (standart) GPT-4 algılamasında birçok vakada iyileşme sağladığımızı tespit ettik. Spesifik olarak, model tarafından daha önce başarısız olarak değerlendirilen 8 GPT-3.5 vakasının artık başarılı olduğunu ve yine model tarafından başarısız olarak değerlendirilen 13 GPT-4 vakasının da artık başarılı olduğunu gördük. Buradan, modelimizin GPT-4o, Claude 3 ve LLaMA 3'ü algılama yeteneğindeki artışın, eski modelleri algılama yeteneği açısından herhangi bir maliyet getirmediği sonucuna varıyoruz.

Gelişmelerin bir adım önünde olmak

Başından beri büyük dil modellerinin (LLM) sınırlarının hızla değişeceğini biliyorduk; bu nedenle sistem mimarimizi bu durumu göz önünde bulundurarak tasarladık. Sistemlerimiz, yeni bir API kamuya açıldıktan sonra birkaç saat içinde verileri yeniden oluşturabilecek ve yeni bir modelin eğitimine başlayabilecek şekilde tasarlanmıştır.

Yeni bir model piyasaya sürüldüğünde, yeni bir veri seti oluşturmak ve modeli yeniden eğitmek, bir yapılandırma değişikliği kadar basittir. Veri setimizin insan tarafına yakın, ancak tam olarak aynı olmayan, insan benzeri metinler üretmek üzere büyük dil modellerine (LLM) girilmek üzere tasarlanmış standart bir komut şablonu kütüphanemiz bulunmaktadır. "Sentetik Aynalarla Sert Negatif Madenciliği" olarak adlandırılan bu süreci teknik raporumuzda ayrıntılı olarak ele alıyoruz.

Bu yeni modelin piyasaya sürülme takvimi şu şekildeydi:

13 Mayıs: GPT-4o piyasaya sürüldü ve OpenAI API'sinde kullanıma sunuldu. 14 Mayıs: Veri kümesi iş akışı güncellendi ve yeni eğitim ve değerlendirme kümeleri oluşturuldu. 15-16 Mayıs: AI algılama modeli, yeni veri kümeleri kullanılarak eğitildi. 17 Mayıs: Kalite kontrol ve doğruluk kontrolleri gerçekleştirildi ve model piyasaya sürüldü.

Kurduğumuz altyapı, yeni modellerden gelen metinleri sadece bir hafta içinde üretim algılama sistemine dahil ederek hızlı bir şekilde uyum sağlamamıza olanak tanıyor.

Azalan Getiri mi?

Yeni modeller gittikçe daha iyi hale geldikçe, tespit edilmesi de daha zor hale gelmeli, değil mi? Bu cazip ama sonuçta yanlış olan iddiayı destekleyecek bir kanıt henüz bulamadık.

Gözlemlerimize göre, daha yetenekli modellerin kendine özgü tarzları nedeniyle, aslında daha az yetenekli modellere kıyasla tespit edilmesi daha kolay olduğunu görüyoruz. Örneğin, eski modelimizin Sonnet ve Haiku’ya kıyasla Claude Opus’u tespit etmede daha başarılı olduğunu tespit ettik.

LMSYS sıralamasında da görüldüğü üzere, birçok temel modelin GPT-4 seviyesine asimptotik olarak yaklaştığını görüyoruz; ancak henüz hiçbir model onu ikna edici bir şekilde ve önemli bir farkla geride bırakabilmiş değil. Duruma kuşbakışı bir bakış attığımızda, birkaç farklı temel model şirketi aynı dikkat tabanlı mimariyi alıp bunu tüm İnternet üzerinde eğitirse, tüm modellerden çıkan dilin birbirine inanılmaz derecede benzer hale gelmesi şaşırtıcı değildir. Dil modelleriyle düzenli olarak etkileşimde bulunanlar, bunun ne anlama geldiğini hemen anlayacaktır.

Gözlemlerimize göre, büyük dil modellerinden (LLM'ler) bir görüş yazısı, bir eleştiri ya da yaratıcı bir kısa öykü gibi yaratıcı ve özgün metinler yazmaları istendiğinde, hâlâ hayal gücü yoksunu ve sıkıcı saçmalıklar ürettiklerini görüyoruz. Bunun temelinde, dağılım dışı özgün düşünce ve fikirlerden uzak dururken yüksek olasılıklı tamamlamaları tahmin etmeye yönelik optimizasyon hedefinin bir özelliği yattığına inanıyoruz.

İnsanların özgün yazıları, sıradan bir insanın söyleyebileceği şeyler olduğu için değil, bize yeni bir bakış açısı ya da farklı bir düşünce biçimi sunabileceği için değerlidir. Bu değer geçerliliğini koruduğu sürece, yapay zeka ile yazının orijinalliğini tespit etmeye yönelik bir ihtiyaç her zaman var olacak ve bu sorunu çözmenin bir yolu da her zaman bulunacaktır.