LoRA ile ölçeklendirme

Fotoğraf: Tara Winstead.

Geçen ay, modelimizi hem rakiplerimizle hem de önde gelen bir akademik yöntemle kapsamlı bir şekilde karşılaştıran teknik raporumuzu yayınladık.

Bugün, bu zorlu performans testinde gösterdiğimiz performansı daha da artıran yeni bir modelin piyasaya sürüldüğünü duyuruyoruz.

Bu gelişmenin sebebi nedir?

Yeni modeli geliştirmek için, teknik raporumuzda (“Hard Negative Mining with Synthetic Mirrors”) kullandığımız aktif öğrenme yaklaşımının aynısını kullandık. Ancak bu sürüm güncellemesinde, modelimizi önemli ölçüde genişlettik ve modeldeki toplam parametre sayısını on kat artırdık. Bunu gerçekleştirmek için, yeni modeli eğitmek için gereken hesaplama kaynaklarını da ölçeklendirmemiz ve LLM'leri verimli bir şekilde ince ayarlamak için yaygın olarak kullanılan bir teknik olan Düşük Sıra Adaptasyonu (LoRA) uygulamasını hayata geçirmemiz gerekti. Bu yeni model, aynı zamanda NVIDIA'nın yeni H100 GPU'larında eğitilmiş ilk model sürümümüz!

Aşırı uyum sorunu yaşamadan modeli ölçeklendirme

DetectGPT'nin yapay zeka tarafından üretilen metinleri tespit etmede daha küçük modellerin daha iyi sonuç verdiği görülmüştür; ayrıca teknik raporumuzda ölçekleme yasalarının doygunluğunu daha önce ele almıştık. Özetlemek gerekirse, belirli bir kritik veri eşiğinin (bizim durumumuzda yaklaşık 40 bin belge) aşılmasından sonra, daha fazla veri eklemenin modeli iyileştirmediğini tespit ettik.

Ayrıca, MTEB, IMDB duygu analizi ve AGNews gibi diğer metin sınıflandırma görevlerinin liderlik tablosuna bakarsanız, bu tablonun hâlâ XLNet, DeBERTa ve T5-XXL gibi modeller tarafından domine edildiğini göreceksiniz. Bu modeller, yıllardır basit sınıflandırma görevlerinde başarılı sonuçlar veren, kendini kanıtlamış mimariler olsa da, günümüzün en gelişmiş büyük dil modellerinin boyutlarına yaklaşamıyorlar bile. Bu BERT tarzı modellerin yaklaşık iki yüz milyon parametresi varken, önde gelen açık kaynaklı LLM'lerin artık on milyarlarca parametresi var – bu çok büyük bir fark!

LLM tarzı mimarilerin metin sınıflandırmasında pek başarılı olamamasının nedeni, büyük ölçüde kolayca aşırı uyum sağlamalarıdır. Her iki dünyanın da en iyi yanlarını nasıl bir araya getirebiliriz: LLM gibi çok daha fazla “temel” bilgiye sahip, ancak sınıflandırma görevlerinde aşırı uyum sağlamayan bir model?

LoRA imdadımıza yetişiyor

En son sürümümüzde, LoRA olarak bilinen ve büyük dil modellerinin ince ayarında yaygın olarak kullanılan bir tekniği kullanıyoruz.

Orijinal makaleden alınan LoRA tensör işlemlerinin görselleştirilmesi.

LoRA’nın temel fikri, (1) çok fazla zaman ve bellek gerektiren, (2) aşırı uyum sorunlarına çok yatkın olan ve (3) ön eğitim verilerinin feci şekilde unutulmasına neden olabilen modelin tamamını ince ayarlamak yerine, temel LLM’nin sabit tutulması ve adaptör modüllerinin LLM’nin ana dikkat bloklarının yanında yan ağlar olarak eğitilmesidir. LoRA, "Düşük Sıra Adaptasyonu" anlamına gelir; bu, adaptör modüllerinin parametre açısından verimli ağırlık matrislerine güzel bir şekilde ayrıştırıldığı anlamına gelir; bu da onları çok hızlı eğitilebilir ve bellek açısından verimli hale getirir.

LoRA makalesinden alınan bu şekil, bu fikri oldukça iyi açıklıyor. Orijinal LLM, yalnızca mavi W matrisiyle temsil ediliyor. Turuncu modüllerin eğitilmesine izin verilirken, orijinal LLM’deki mavi modül, adaptör modülü onu atlamayı öğrenirken olduğu yerde donduruluyor.

LoRA'nın performansımızı önemli ölçüde artırdığını ve hem yanlış pozitif hem de yanlış negatif oranlarını azalttığını görüyoruz.

Bu gelişmenin büyük ölçüde, LLM’de bulunan daha fazla ön eğitim bilgisine bağlı olduğunu ve LoRA adaptörü konsepti sayesinde aşırı uyum sorunu yaşamadan bu bilgiden yararlanabildiğimizi varsayıyoruz. Oldukça etkileyici!

Sonraki Adımlar

Piyasadaki en iyi derin öğrenme mimarileriyle ayak uydurmak için zaman içinde mimari iyileştirmeler yapmaya devam edeceğiz. Ayrıca, planlarımızda başka mimari ve veri iyileştirmeleri de var, ancak öncelikle daha da zorlu bir değerlendirme kümesi oluşturmanın zamanı geldi!

Gelişmeleri takip etmeye devam edin…

Bizimle iletişime geçmek ister misiniz? info@pangram.com adresine bir e-posta gönderin!