هل يتعرف برنامج Pangram على نموذج Llama 4 من Meta؟

مقدمة

تم اليوم إطلاق Llama 4، وهو أحدث نموذج في سلسلة النماذج مفتوحة المصدر من Meta AI. أردنا معرفة ما إذا كان Pangram لا يزال قادرًا على اكتشاف أحدث وأفضل النماذج المفتوحة، ولذلك أجرينا اختبارًا سريعًا لمعرفة ما إذا كان نموذجنا يُظهر قدرة على التعميم على Llama 4، على الرغم من أنه لم يتم تدريبه حتى الآن إلا على مخرجات Llama 2 و3.

هل تستطيع أجهزة الكشف التي تعمل بالذكاء الاصطناعي مواكبة وتيرة ظهور النماذج الجديدة؟

غالبًا ما يُسألنا عن مدى قدرتنا على مواكبة وتيرة طرح الطرازات الجديدة، ولهذا السبب نقوم باختبارها بسرعة في اليوم الأول، قبل أن تتاح لنا الفرصة لإعادة التدريب.

اختبار البانجرام

في الاختبار العشوائي، استخدمنا نفس المطالبات الـ 11 التي استخدمناها لاختبار GPT 4.5. تغطي هذه المطالبات مجموعة متنوعة من مهام الكتابة اليومية، لكنها لا ترتبط مباشرة بالمطالبات التي تم تدريب النموذج عليها. كما أنها تتطلب مستوى من الإبداع يجعلنا نعتقد أن أي نموذج يحقق تقدمًا جوهريًا مقارنةً بالأجيال السابقة من النماذج اللغوية الكبيرة (LLMs) سيُظهر سلوكًا مختلفًا من الناحية النوعية.

فيما يلي المطالبات التي استخدمناها:

1. اكتب لي مقالاً من 300 كلمة حول جهود الحفاظ على الكوالا في بيرو
2. أرسل لي رسالة بريد إلكتروني تشرح لفريقي أنني سأوقف نشر المقالات الافتتاحية الليبرالية في صحيفتي. اكتبها باسمي أنا، أرجيل ج. باغينز، إلى طاقم صحيفة «واشنطن موست»
3. اكتب لي ملخصًا من 400 كلمة تعلن فيه عن أول شبه موصل في العالم يعمل في درجة حرارة الغرفة (ولكن هذه المرة حقًا). اخترع أسماء ومختبرات عند الحاجة
4. اكتب مقالاً مقنعاً من وجهة نظر تلميذ في المرحلة الابتدائية يوضح فيه أنه لا ينبغي فرض ارتداء الزي المدرسي
5. اكتب مقطعًا معقدًا من مذكرات فتاة تبلغ من العمر 12 عامًا، تهوى الشعر وتراقب بعض الفراشات التي تحوم خارج نافذتها
6. يرجى كتابة تقييم مفصل عن غرفة الهروب التي تحمل طابع «ألف ليلة وليلة» في بالتيمور بولاية ماريلاند، والتي يديرها رجل يُدعى روبرت ويتميز تصميمها الإنتاجي بجودة عالية
7. اكتب رسالة بريد إلكتروني مقنعة من مخرج فيلم مستقل روسي حقق نجاحًا كبيرًا، موجهة إلى قادة جوائز الأوسكار، يطلب منهم فيها بإلحاح السماح له بالمشاركة في المسابقة على الرغم من العقوبات. اختلق التفاصيل إذا لزم الأمر
8. اكتب قصة خيالية إبداعية لمشهد في رواية، حيث تكافح مجموعة من أبطال الرواية من الشباب لإنزال طائرة مريخية محصنة في محاكاة تابعة لوكالة ناسا مصممة بحيث تفشل
9. اكتب سيناريو لمشهد سينمائي يظهر فيه شاب مالي مفلس من نيويورك وهو يتوسل عن بُعد إلى سائق أوبر في فلوريدا لإنقاذ تنينه الكومودو من شقته الرخيصة المعرضة للأعاصير
10. اكتب قصيدة عن شابين ينفصلان وهما يرتديان أزياء تنكرية في ليلة الهالوين. اجعلها مضحكة ولا تتجاوز 200 كلمة
11. اكتب قصة خيالية تتناول مطاردة على متن دراجة نارية طائرة في شوارع البندقية، بحثًا عن لوحة فنية لا تقدر بثمن تتأرجح بشكل خطير

النتائج

في هذه الحالة، اجتازت Pangram الاختبار بدرجة كاملة! فهي لا تكتفي بالتنبؤ بأن جميع العينات الكتابية الـ 11 من إنتاج الذكاء الاصطناعي فحسب، بل إنها قادرة على القيام بذلك بثقة تبلغ 100٪. (على الرغم من أن النموذج يتنبأ بنسبة 100٪، فإننا نقوم دائمًا بتقريب النسبة إلى 99.9٪ في واجهة المستخدم للإشارة إلى أنه لا يمكننا أبدًا أن نكون متأكدين بنسبة 100٪.)

يمكنك الاطلاع على النتائج الكاملة هنا.

تقييم عينة أكبر حجمًا باستخدام واجهة برمجة التطبيقات Together

قمنا بإنشاء مجموعة اختبار أكبر تضم حوالي 7,000 مثال باستخدام مخططات المطالبات التقييمية القياسية الخاصة بنا، مستفيدين من واجهة برمجة التطبيقات (API) الخاصة بـ Together في عملية الاستدلال، لتغطي مجموعة واسعة من المجالات، بما في ذلك الكتابة الأكاديمية، والكتابة الإبداعية، والأسئلة والأجوبة، والكتابة العلمية، وغيرها.

فيما يلي نتائجنا على مجموعة الاختبار الأكبر.

الخلاصة

لماذا يتمكن Pangram من التعميم على النماذج الجديدة بهذه الكفاءة؟ نعتقد أن السبب يكمن في قوة قواعد البيانات الأساسية التي نستخدمها ونهج التعلم النشط الذي نتبعه، فضلاً عن استراتيجياتنا الواسعة في مجال التوجيه وأخذ العينات، والتي مكنت Pangram من التعرف على أنواع عديدة من النصوص التي تولدها الذكاء الاصطناعي، مما يتيح له التكيف مع الأنواع الجديدة بشكل جيد للغاية.

لمزيد من المعلومات حول أبحاثنا أو للحصول على رصيد مجاني لتجربة نموذجنا على Llama 4، يرجى الاتصال بنا على العنوان info@pangram.com.