هل يتعرف برنامج Pangram على نموذج Llama 4 من Meta؟
نعم — قمنا باختبار نموذج «Llama 4» الذي أطلقته شركة «ميتا» مؤخرًا، وقد تمكنت أداة «بانغرام» من التعرف على النصوص التي يكتبها هذا النموذج بدقة عالية.
مقدمة
تم اليوم إطلاق Llama 4، وهو أحدث نموذج في سلسلة النماذج مفتوحة المصدر من Meta AI. أردنا معرفة ما إذا كان Pangram لا يزال قادرًا على اكتشاف أحدث وأفضل النماذج المفتوحة، ولذلك أجرينا اختبارًا سريعًا لمعرفة ما إذا كان نموذجنا يُظهر قدرة على التعميم على Llama 4، على الرغم من أنه لم يتم تدريبه حتى الآن إلا على مخرجات Llama 2 و3.
هل تستطيع أجهزة الكشف التي تعمل بالذكاء الاصطناعي مواكبة وتيرة ظهور النماذج الجديدة؟
غالبًا ما يُسألنا عن مدى قدرتنا على مواكبة وتيرة طرح الطرازات الجديدة، ولهذا السبب نقوم باختبارها بسرعة في اليوم الأول، قبل أن تتاح لنا الفرصة لإعادة التدريب.
اختبار البانجرام
في الاختبار العشوائي، استخدمنا نفس المطالبات الـ 11 التي استخدمناها لاختبار GPT 4.5. تغطي هذه المطالبات مجموعة متنوعة من مهام الكتابة اليومية، لكنها لا ترتبط مباشرة بالمطالبات التي تم تدريب النموذج عليها. كما أنها تتطلب مستوى من الإبداع يجعلنا نعتقد أن أي نموذج يحقق تقدمًا جوهريًا مقارنةً بالأجيال السابقة من النماذج اللغوية الكبيرة (LLMs) سيُظهر سلوكًا مختلفًا من الناحية النوعية.
فيما يلي المطالبات التي استخدمناها:
- اكتب لي مقالاً من 300 كلمة حول جهود الحفاظ على الكوالا في بيرو
- أرسل لي رسالة بريد إلكتروني تشرح لفريقي أنني سأوقف نشر المقالات الافتتاحية الليبرالية في صحيفتي. اكتبها باسمي أنا، أرجيل ج. باغينز، إلى طاقم صحيفة «واشنطن موست»
- اكتب لي ملخصًا من 400 كلمة تعلن فيه عن أول شبه موصل في العالم يعمل في درجة حرارة الغرفة (ولكن هذه المرة حقًا). اخترع أسماء ومختبرات عند الحاجة
- اكتب مقالاً مقنعاً من وجهة نظر تلميذ في المرحلة الابتدائية يوضح فيه أنه لا ينبغي فرض ارتداء الزي المدرسي
- اكتب مقطعًا معقدًا من مذكرات فتاة تبلغ من العمر 12 عامًا، تهوى الشعر وتراقب بعض الفراشات التي تحوم خارج نافذتها
- يرجى كتابة تقييم مفصل عن غرفة الهروب التي تحمل طابع «ألف ليلة وليلة» في بالتيمور بولاية ماريلاند، والتي يديرها رجل يُدعى روبرت ويتميز تصميمها الإنتاجي بجودة عالية
- اكتب رسالة بريد إلكتروني مقنعة من مخرج فيلم مستقل روسي حقق نجاحًا كبيرًا، موجهة إلى قادة جوائز الأوسكار، يطلب منهم فيها بإلحاح السماح له بالمشاركة في المسابقة على الرغم من العقوبات. اختلق التفاصيل إذا لزم الأمر
- اكتب قصة خيالية إبداعية لمشهد في رواية، حيث تكافح مجموعة من أبطال الرواية من الشباب لإنزال طائرة مريخية محصنة في محاكاة تابعة لوكالة ناسا مصممة بحيث تفشل
- اكتب سيناريو لمشهد سينمائي يظهر فيه شاب مالي مفلس من نيويورك وهو يتوسل عن بُعد إلى سائق أوبر في فلوريدا لإنقاذ تنينه الكومودو من شقته الرخيصة المعرضة للأعاصير
- اكتب قصيدة عن شابين ينفصلان وهما يرتديان أزياء تنكرية في ليلة الهالوين. اجعلها مضحكة ولا تتجاوز 200 كلمة
- اكتب قصة خيالية تتناول مطاردة على متن دراجة نارية طائرة في شوارع البندقية، بحثًا عن لوحة فنية لا تقدر بثمن تتأرجح بشكل خطير
النتائج
| الموجه | احتمالية Pangram AI |
|---|---|
| حماية الكوالا | 99.9% |
| البريد الإلكتروني للصحيفة | 99.9% |
| أشباه الموصلات في درجة حرارة الغرفة | 99.9% |
| الزي المدرسي | 99.9% |
| يوميات الشعر | 99.9% |
| مراجعة غرفة الهروب | 99.9% |
| البريد الإلكتروني الخاص بالأفلام الروسية | 99.9% |
| مشهد الهبوط على المريخ | 99.9% |
| نص كومودو دراجون | 99.9% |
| قصيدة انفصال عيد الهالوين | 99.9% |
| مشهد مطاردة في البندقية | 99.9% |
في هذه الحالة، اجتازت Pangram الاختبار بدرجة كاملة! فهي لا تكتفي بالتنبؤ بأن جميع العينات الكتابية الـ 11 من إنتاج الذكاء الاصطناعي فحسب، بل إنها قادرة على القيام بذلك بثقة تبلغ 100٪. (على الرغم من أن النموذج يتنبأ بنسبة 100٪، فإننا نقوم دائمًا بتقريب النسبة إلى 99.9٪ في واجهة المستخدم للإشارة إلى أنه لا يمكننا أبدًا أن نكون متأكدين بنسبة 100٪.)
يمكنك الاطلاع على النتائج الكاملة هنا.
تقييم عينة أكبر حجمًا باستخدام واجهة برمجة التطبيقات Together
قمنا بإنشاء مجموعة اختبار أكبر تضم حوالي 7,000 مثال باستخدام مخططات المطالبات التقييمية القياسية الخاصة بنا، مستفيدين من واجهة برمجة التطبيقات (API) الخاصة بـ Together في عملية الاستدلال، لتغطي مجموعة واسعة من المجالات، بما في ذلك الكتابة الأكاديمية، والكتابة الإبداعية، والأسئلة والأجوبة، والكتابة العلمية، وغيرها.
فيما يلي نتائجنا على مجموعة الاختبار الأكبر.
| نموذج | الدقة |
|---|---|
| لاما 4 سكوت | 100٪ (3678/3678) |
| لاما 4 مافريك | 99.86٪ (3656/3661) |
| لاما 4 الإجمالي | 99.93٪ (7334/7339) |
الخلاصة
لماذا يتمكن Pangram من التعميم على النماذج الجديدة بهذه الكفاءة؟ نعتقد أن السبب يكمن في قوة قواعد البيانات الأساسية التي نستخدمها ونهج التعلم النشط الذي نتبعه، فضلاً عن استراتيجياتنا الواسعة في مجال التوجيه وأخذ العينات، والتي مكنت Pangram من التعرف على أنواع عديدة من النصوص التي تولدها الذكاء الاصطناعي، مما يتيح له التكيف مع الأنواع الجديدة بشكل جيد للغاية.
لمزيد من المعلومات حول أبحاثنا أو للحصول على رصيد مجاني لتجربة نموذجنا على Llama 4، يرجى الاتصال بنا على العنوان info@pangram.com.

برادلي باحث في مجال الذكاء الاصطناعي وخبير في تطوير منتجات التعلم العميق في القطاع الصناعي. وقد تولى مؤخرًا قيادة مجموعة أبحاث التعلم العميق في شركة «أبسكي» (Absci)، وهي شركة متخصصة في اكتشاف الأدوية باستخدام الذكاء الاصطناعي التوليدي، وكان قبل ذلك عضوًا في الفريق الأساسي للرؤية الحاسوبية في نظام «تيسلا أوتوبيلوت» (Tesla Autopilot).
مقالات ذات صلة

دليل الترحيل إلى Pangram 4

بانجرام هو الكاشف الوحيد للذكاء الاصطناعي الذي يتفوق على الخبراء البشريين في تحديد المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي

تقديم صفحة النتائج الجديدة

تعرّفوا على Pangram 3.3!

ما هو جهاز "هيومانيزر"؟
