Pangram'ın AI Dedektörü, 20'den fazla dilde üstün performans sergiliyor

İki ay önce Pangram, ilk çok dilli yapay zeka algılama modelini piyasaya sürdü. Şimdi ise bir güncelleme duyurusuna hazırız! Pangram artık internette en çok kullanılan ilk 20 dili resmi olarak destekliyor ve gayri resmi olarak çok daha fazlasında da iyi performans gösteriyor. Özellikle Arapça, Japonca, Korece ve Hintçe dillerinde oldukça güçlü ve büyük ölçüde iyileştirilmiş bir performans gözlemliyoruz.

Sonuçlar

Resmi destek kümesinde her dil için yaklaşık 2.000 belgeyi değerlendirdik. İnsan kaynaklı kısım, gerçek yorumlar, haber makaleleri ve Vikipedi makalelerinden oluşuyor. Yapay zeka kaynaklı kısım ise, GPT-4o’ya çeşitli uzunluk, üslup ve konularda yazması için talimat verdiğimiz denemeler, haber makaleleri ve blog yazılarından oluşan bir kümedir.

Neler değiştirdik?

Çok dilli desteğimizi iyileştirmek için yaptığımız temel değişiklikler şunlardır:

• İnternetteki en yaygın 20 dile odaklanarak, web ölçeğindeki veriler üzerinde aktif öğrenme tabanlı bir veri kampanyası yürüttük.

• İngilizce dışındaki dilleri daha iyi desteklemek için tokenizer'ı değiştirdik.

• Temel modelin ve LoRA adaptörlerinin parametre sayısını artırdık.

• Eğitimden önce veri kümesimizin rastgele bir kısmını makine çevirisine tabi tutmak için veri genişletme uyguladık.

• Kelime sayımındaki, Doğu Asya dillerinin eğitim kümesinde yanlışlıkla yetersiz temsil edilmesine neden olan bir hatayı düzelttik.

Aktif Öğrenme Kampanyası

Yanlış pozitif oranları son derece düşük modeller oluşturma sürecimizin temel dayanağı aktif öğrenmedir: Basitçe ifade etmek gerekirse, 2022 öncesine ait internet verilerinden modelimizin düşük performans gösterdiği örnekleri (ör. yanlış pozitifler) tespit ediyor, bu örnekleri eğitim kümesine ekliyor, modeli yeniden eğitiyor ve bu süreci tekrarlıyoruz. Bu algoritmayı teknik raporumuzda ayrıntılı olarak ele alıyoruz.

Aktif öğrenme yaklaşımımızı web üzerindeki bazı büyük çok dilli veri kümelerine uygulayarak, mevcut modelimizin zorlandığı çok dilli metinleri tespit edebiliriz. Ardından bu verileri, bulduğumuz yanlış pozitif örneklerine benzeyen yapay zeka metinleri (sentetik aynalar) oluşturmak için geniş komut kütüphanemizle birlikte kullanarak yineleme yapabiliriz. İnternetteki en popüler 20 dile odaklanırken, veri işleme sürecimizden dil filtreleme adımını kaldırıyoruz: yani tüm dillerdeki metinler, kesin negatif madenciliği ve eğitim kümesine dahil edilme açısından eşit şartlara tabidir.

Aktif öğrenme yaklaşımımızın avantajlarından biri, modelimizin doğruluğuna göre dillerin dağılımını otomatik olarak yeniden dengelemesidir. Kaynakları kısıtlı diller çevrimiçi ortamda yeterince temsil edilmez; ancak bu sınıf dengesizliği nedeniyle, ilk modelimiz başlangıçta kaynakları kısıtlı dillerde düşük performans gösterir ve bu da zor negatif veri madenciliği çalışmasında nadir dillerden daha fazla metnin öne çıkmasına neden olur. Aktif öğrenme süreci boyunca, İngilizce, İspanyolca ve Çince gibi kaynakları bol olan dillerden gelen verilerin eğitim setimizdeki oranının kademeli olarak azaldığını ve daha nadir dillerin oranının arttığını görüyoruz. Bunun, çok dilli model eğitiminin doğal dengesiz veri dağılımına nispeten zarif bir çözüm olduğunu düşünüyoruz. Aktif öğrenme algoritmamız sayesinde, model daha fazla görmesi gereken dillerdeki verileri kendisi seçebiliyor.

Mimari Değişiklikler

Giriş alanında çok dilli metinleri daha iyi desteklemek amacıyla, sınıflandırıcımızı oluşturmak için kullandığımız temel LLM’nin İngilizce dışındaki birçok dilde de geniş bir akıcılığa sahip olduğundan emin olmak istedik. Veri setimiz üzerinde çeşitli LLM omurgaları ve tokenizer'ları taradık ve çok sayıda İngilizce dışı dil arasında genel olarak en iyi performansı gösterenini bulmaya çalıştık. Çok dilli benchmark testlerindeki performansın, omurganın AI algılama görevimizde ne kadar iyi performans göstereceği ile güçlü bir korelasyon göstermediğini gördük: başka bir deyişle, temel model diğer dillerde akıl yürütme görevlerini çözüp soruları yanıtlayabilse bile, çok dilli AI algılamaya beceri aktarımının etkinliği son derece büyük farklılıklar gösteriyor.

Ayrıca, eğittiğimiz ilk modellerimizin yeni çok dilli dağılıma yeterince uyum sağlayamadığını fark ettik; başlangıçta daha yüksek bir eğitim kaybı gözlemledik. Bu amaçla, temel modelin boyutunu ve LoRA adaptörlerindeki parametre sayısını artırdık ve modeli daha fazla adım boyunca eğittik. (Aktif öğrenme / yüksek veri rejiminde olduğumuz için, neredeyse hiçbir zaman 1 epoktan daha uzun süre eğitmiyoruz. Bu durumda, sadece epok boyutunu genişletmemiz gerekti!)

Veri Genişletme

Aktif öğrenme yöntemini kullansak bile, İngilizce dışındaki dillerdeki verilerin çeşitliliği, çevrimiçi İngilizce verilerin çeşitliliği ve hacminden belirgin şekilde daha düşüktür; bu durumu, sadece eğitim kümesindeki dil dağılımını yeniden dengeleyerek tam olarak düzeltemeyiz. Bunu kabaca ifade etmek gerekirse, değerli olan bazı İngilizce veriler vardır, ancak bunlar diğer dillerde mevcut değildir veya bu dillerde tam bir karşılığı yoktur. Bu nedenle, veri setimizin küçük bir kısmına rastgele bir makine çevirisi artırımı uygulamaya karar verdik (bizim durumumuzda Amazon Translate'i kullandık).

LLM eğitiminde eğitim kümesine makine çevirisi ile veri zenginleştirmesi uygulamak genel bir uygulama olmasa da – zira makine çevirisi ile elde edilen veriler genellikle doğal olmayan bir yapıya sahip olup "çeviri dili" sorunları barındırmaktadır – bizim durumumuzda, üretken bir model eğitmediğimiz için bu durum çıktı kalitesini etkilemiyor gibi görünüyor ve bu zenginleştirmeyi uyguladığımızda ölçütlerimizde iyileşmeler gözlemledik.

Karşılaştırmalı değerlendirme: İspanyolca

İspanyolca'yı, daha önce Pangram Metni tarafından desteklenen ancak günümüzde önemli ölçüde geliştirilmiş, kaynak açısından zengin bir dilin tipik bir örneği olarak ele alıyoruz. Çeşitli alanlarda yanlış pozitif oranını ölçüyoruz.

Ayrıca, çeşitli büyük dil modelleri için yanlış negatif oranını (yapay zeka tarafından üretilen metinlerin yanlışlıkla insan tarafından yazılmış olarak sınıflandırılma oranı) ölçtük. Bu deneyde, büyük dil modellerinin (LLM’ler) çeşitli uzunluk ve tarzlarda denemeler, blog yazıları ve haber makaleleri üretmesi için bir dizi komut hazırladık ve ardından bu komutları İspanyolca’ya çevirdik. Büyük dil modelleri kendileri çok dilli olduğundan, İspanyolca talimatlara yanıt veriyorlar.

Görüldüğü gibi, güncellenmiş modelimiz test edilen tüm büyük dil modellerinde kusursuz bir algılama performansı sergiliyor ve önceki sürümümüze kıyasla önemli ölçüde iyileşme sağlıyor.

Karşılaştırmalı Değerlendirme: Arapça ve Japonca

Geliştirmeye en çok odaklandığımız dillerden ikisi, dünyada yaygın olarak konuşulmasına rağmen internette aslında daha az yaygın olan Arapça ve Japonca’dır.

Daha önce bu iki dili desteklemiyorduk, bu nedenle yanlış negatif oranları son derece yüksekti. Artık yapay zeka tarafından üretilen Arapça ve Japonca metinleri oldukça güvenilir bir şekilde tahmin edebiliyoruz.

Görüldüğü üzere, güncellenmiş modelimiz hem Arapça hem de Japonca dillerinde test edilen tüm büyük dil modellerinde neredeyse kusursuz bir algılama performansı sergiliyor; Japonca dilinde yalnızca Gemini 1.5 Pro için %0,21’lik çok düşük bir yanlış negatif oranı gözlemleniyor.

İstenirse tüm dil karşılaştırma sonuçları temin edilebilir.

Sırada ne var?

Orijinal web metinlerinde performansımız güçlü olsa da, modelimiz bazen "çeviri dili"ni —yani kötü çevrilmiş ya da başka bir şekilde kulağa doğal gelmeyen metinleri— tespit etmekte zorlanıyor. Durumu daha da karmaşık hale getiren ise, birçok kişinin artık ChatGPT gibi büyük dil modellerini (LLM) doğrudan çeviri işleri için kullanıyor olması. LLM tarafından çevrilen metinler insan tarafından yazılmış mı yoksa yapay zeka tarafından mı yazılmış olarak sınıflandırılmalı? Bu, çevirinin ne kadar yapay olduğuna ve ayrıca son kullanım senaryosuna bağlıdır. Bir İspanyolca öğretmeni, ödevde makine çevirisi kullanmayı akademik dürüstlüğe aykırı olarak görebilir, ancak bir yayıncı, kalite kontrol sürecinde çevrilmiş eserlere izin vermek isteyebilir. Pangram, çevrilmiş metni insan ve AI arasında bir yerde bulunan "üçüncü bir modalite" olarak anlamaya ve kullanıcılarımıza daha fazla bilgi sunmaya aktif olarak çalışmaktadır. Böylece, modelimizin son kullanıcıları kendileri için neyin doğru olduğuna karar verebilirler.

Başka sorunuz mu var? info@pangram.com adresinden bize ulaşın!