توسيع النطاق باستخدام LoRA

التقطت الصورة تارا وينستيد.

في الشهر الماضي، أصدرنا تقريرنا الفني الذي تضمن مقارنة شاملة لنموذجنا مع نماذج المنافسين، بالإضافة إلى إحدى الطرق الأكاديمية الرائدة.

نعلن اليوم عن طرح طراز جديد يرفع مستوى أدائنا في هذا الاختبار القياسي الصعب إلى مستويات أعلى.

ما السبب وراء هذا التحسن؟

من أجل إنتاج النموذج الجديد، استخدمنا نفس نهج التعلم النشط الذي استخدمناه في تقريرنا التقني، «استخراج الحالات السلبية الصعبة باستخدام المرايا الاصطناعية». ومع ذلك، في تحديث الإصدار هذا، قمنا بتوسيع نطاق نموذجنا بشكل كبير، حيث زادنا العدد الإجمالي للمعلمات في النموذج بمقدار عشرة أضعاف. ولتحقيق ذلك، كان علينا أيضًا توسيع نطاق موارد الحوسبة اللازمة لتدريب النموذج الجديد، وتطبيق تقنية Low-Rank Adaptation (LoRA) – وهي تقنية شائعة الاستخدام لضبط نماذج اللغة الكبيرة (LLMs) بكفاءة. ويعد هذا النموذج الجديد أيضًا أول إصدار لنا من نموذج تم تدريبه على وحدات معالجة الرسومات (GPUs) H100 الجديدة من NVIDIA!

توسيع نطاق النموذج دون الإفراط في التكييف

وقد تبين أن النماذج الأصغر حجماً تحقق أداءً أفضل في DetectGPT عند الكشف عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، وقد ناقشنا سابقاً مسألة «تشبع قوانين التوسع» في تقريرنا الفني. وباختصار، نجد أن إضافة المزيد من البيانات لا تؤدي إلى تحسين النموذج بعد تجاوز عتبة حرجة من البيانات (في حالتنا، حوالي 40 ألف وثيقة).

بالإضافة إلى ذلك، إذا ألقيت نظرة على قائمة المتصدرين لمهام تصنيف النصوص الأخرى مثل MTEB وتحليل المشاعر في IMDB وAGNews، فستلاحظ أن هذه القائمة لا تزال تهيمن عليها نماذج مثل XLNet وDeBERTa وT5-XXL. ورغم أن هذه النماذج تمثل بنى مجربة ومثبتة أثبتت فعاليتها في مهام التصنيف البسيطة على مدار سنوات، إلا أنها لا تقارن بحجم نماذج اللغة الكبيرة المتطورة الحالية. تحتوي هذه النماذج من طراز BERT على حوالي مائتي مليون معلمة، في حين أن نماذج اللغة الكبيرة (LLM) الرائدة مفتوحة المصدر تحتوي الآن على عشرات المليارات من المعلمات – وهو فرق هائل!

السبب في أن البنى النمطية على غرار نماذج اللغة الكبيرة (LLM) لا تحقق أداءً جيدًا في تصنيف النصوص يرجع في الغالب إلى أنها تتعرض بسهولة لظاهرة «التكيف المفرط». كيف يمكننا الحصول على أفضل ما في كلا النموذجين: نموذج يتمتع بمعرفة «أساسية» أكبر بكثير مثل نماذج اللغة الكبيرة، ولكنه لا يتعرض لظاهرة «التكيف المفرط» في مهام التصنيف؟

LoRA تنقذ الموقف

في إصدارنا الأخير، نستفيد من تقنية شائعة نسبيًا تُستخدم لضبط نماذج اللغة الكبيرة تُعرف باسم LoRA.

تصور لعمليات التنسور في نموذج LoRA وفقًا للورقة البحثية الأصلية.

تكمن الفكرة الرئيسية لـ LoRA في أنه بدلاً من إجراء الضبط الدقيق للنموذج بأكمله، وهو ما (1) يستغرق الكثير من الوقت والذاكرة، و(2) يكون عرضة بشدة لظاهرة «التكيف المفرط»، و(3) قد يتسبب في نسيان كارثي لبيانات التدريب المسبق، يتم الإبقاء على نموذج اللغة الكبير (LLM) الأساسي كما هو، ويتم تدريب وحدات «المهايئ» كشبكات جانبية جنبًا إلى جنب مع كتل الانتباه الأساسية للنموذج. LoRA هي اختصار لـ "Low-Rank Adaptation" (التكيف منخفض الرتبة)، مما يعني أن وحدات التكييف تتحلل بشكل جيد إلى مصفوفات أوزان فعالة من حيث المعلمات – مما يجعلها سريعة التدريب وفعالة من حيث الذاكرة.

يوضح هذا الشكل المأخوذ من ورقة LoRA الفكرة بشكل جيد. يتم تمثيل نموذج اللغة الكبير (LLM) الأصلي بمصفوفة W الزرقاء فقط. يُسمح بتدريب الوحدات البرتقالية، في حين يتم تجميد الوحدة الزرقاء من نموذج اللغة الكبير الأصلي في مكانها، بينما تتعلم وحدة المُكيِّف كيفية الالتفاف حولها.

لقد وجدنا أن نموذج LoRA يساهم بشكل كبير في تحسين أدائنا، حيث يقلل من معدلات الإيجابيات الكاذبة والسلبيات الكاذبة على حد سواء.

نفترض أن هذا التحسن يرجع إلى حد كبير إلى الكم الهائل من المعرفة المسبقة الموجودة في نموذج اللغة الكبير (LLM)، والتي يمكننا الاستفادة منها دون الوقوع في مشكلة «التكيف المفرط» (overfitting) بفضل فكرة محول LoRA. هذا رائع حقًا!

الخطوات التالية

سنواصل إدخال تحسينات على البنية مع مرور الوقت لمواكبة أحدث بنى التعلم العميق المتوفرة حالياً. كما أن لدينا تحسينات إضافية على مستوى البنية والبيانات قيد الإعداد، ولكن قبل ذلك حان الوقت لإنشاء مجموعة تقييم أكثر صعوبة!

تابعوا معنا...

هل ترغب في التواصل معنا؟ أرسل لنا رسالة عبر البريد الإلكتروني على العنوان info@pangram.com!