ما مدى كفاءة برنامج Pangram في اكتشاف نماذج الاستدلال؟

كان ظهور نماذج الاستدلال أحد أهم الإنجازات التي شهدتها نماذج اللغات الضخمة في عام 2025. وهذه النماذج، كما يُقال بشكل عام، قد تعلمت كيف تفكر قبل أن تتكلم.

ما هو نموذج الاستدلال؟

نموذج الاستدلال يشبه نماذج اللغات الكبيرة (LLM) العادية، إلا أنه بالإضافة إلى إنتاج الرموز الناتجة، يتم تدريب هذه النماذج أيضًا على إنتاج رموز التفكير، أو رموز الاستدلال. ففي مرحلة التفكير، يحاول النموذج الاستدلال في المهام المعقدة، حيث يجرب أساليب مختلفة ويطرح أسئلة على نفسه قبل تقديم إجابة. وفي الواقع العملي، تتفوق هذه النماذج في حل المشكلات، لا سيما في مجالات الرياضيات والبرمجة، وتحقق نتائج تفوق توقعاتها بكثير في اختبارات الأداء القياسية.

كيف تعمل نماذج الاستدلال؟

تقوم نماذج الاستدلال بتنفيذ ما يُعرف بـ«سلسلة التفكير» قبل التحدث. وفيما يلي مثال على كيفية عمل ذلك، مستمد من Deepseek-R1، وهو النموذج الوحيد حاليًا الذي يكشف عن «أفكار» النموذج للجمهور.

مثال على سلسلة التفكير في Deepseek R1

في هذا المثال، يفكر Deepseek فيما يريده المستخدم قبل أن يبدأ في إخراج الرموز، مما يجعله أكثر فعالية في التنظيم المنطقي والتفكير في أفضل ناتج ممكن.

ما هي نماذج الاستدلال الأكثر شيوعًا؟

طورت عدة شركات نماذج استدلالية حققت أداءً متطورًا.

OpenAI

تُسمى سلسلة نماذج الاستدلال الخاصة بشركة OpenAI سلسلة O. النماذج المتاحة حاليًا هي o1 و o1-mini و o3 و o3-pro و o4-mini. ويُعد o3-pro الأكثر قدرة بين هذه النماذج.

أنثروبيك

أضافت شركة أنثروبيك قدرات الاستدلال إلى أحدث إصدارات كلود. ويتمتع كل من كلود 4 أوبوس وكلود 4 سونيت بوضع "التفكير الموسع" الذي يتيح لهما الاستدلال قبل الإجابة.

الجوزاء

تستخدم سلسلة نماذج «جيميني 2.5» من جوجل الآن عملية تفكير داخلية، وهي نماذج قادرة على الاستدلال أيضًا. وتتمتع كل من «جيميني 2.5 برو» و«جيميني 2.5 فلاش» و«جيميني 2.5 فلاش-لايت» بقدرات التفكير.

ديبسيك

كان Deepseek R1 أول نموذج استدلال مفتوح المصدر، وقد أطلقته الشركة الصينية Deepseek. وعلى عكس النماذج التجارية الأخرى ذات المصدر المغلق، يمكنك في Deepseek الاطلاع فعليًّا على "تفكير" النموذج بالإضافة إلى النتيجة النهائية.

كوين

بالإضافة إلى ذلك، أطلقت شركة صينية أخرى، وهي «كوين» (Qwen)، نموذجًا للتفكير يُدعى «كوين-QWQ-32B». وهو نموذج استدلالي أصغر حجمًا يمكن استخدامه في مجموعة أوسع من السياقات مقارنةً بنموذج «ديبسيك R1».

كيف يكون أداء Pangram في نماذج الاستدلال هذه؟

أصدرنا مؤخرًا تحديثًا لنموذج الكشف بالذكاء الاصطناعي الخاص بـ Pangram، والذي يعمل على تحسين الأداء في نماذج الاستدلال بشكل عام.

وقد تحققت أكبر زيادة في الأداء مع نموذجي o3 وo3-pro. فقد أدركنا أن نموذجي o3 وo3-pro يختلفان تمامًا عن النماذج التي أصدرتها OpenAI سابقًا، ولم يكن نموذجنا القديم للكشف عن الذكاء الاصطناعي قادرًا على التعميم بشكل جيد في التعامل معهما، حيث لم يتجاوز معدل الاسترجاع 93% عند اختباره لأول مرة.

حل o3 و o3-pro

ومن المشاكل الأخرى التي واجهناها أن نموذجي o3 وo3-pro أغلى بكثير من النماذج السابقة، مما يعني أننا لن نتمكن من توليد البيانات منهما بنفس الحجم الذي تولده النماذج الأخرى. وما زاد الأمور تعقيدًا هو أن تشغيل هذين النموذجين يستغرق وقتًا أطول، حيث يقضيان وقتًا طويلاً في «التفكير» قبل إنتاج الرموز الناتجة.

أعدنا تكوين مجموعة بيانات التدريب الخاصة بنا مع تضمين كمية صغيرة من بيانات o3 وo3-pro. وفي مجموعة التدريب النهائية الخاصة بإصدار يوليو، لا تشكل نصوص o3 سوى 0.17% من مزيج بيانات التدريب، بينما لا تشكل نصوص o3-pro سوى 0.35%. قمنا بموازنة ذلك وتمنينا التعميم من خلال زيادة تكوين نص o3-mini إلى 5% من مزيج بيانات التدريب. والمثير للدهشة أن هذا نجح بشكل جيد للغاية! من خلال تعديل طفيف في مجموعة التدريب، تمكنا من مطابقة استرجاع o3 و o3 pro مع استرجاع نماذج اللغة الكبيرة (LLMs) الأخرى التي نقوم بتقييمها، دون الحاجة إلى التضحية بأي نتائج إيجابية خاطئة.

بانغرام هو برنامج تعلم يعتمد على عدد قليل من الصور

هذا السلوك الذي يتسم به "بانغرام"، والذي يتيح لنا تدريبه على عينة صغيرة من البيانات المستمدة من نماذج اللغات الكبيرة (LLMs) الجديدة التي تختلف نوعياً عن سابقاتها، يجعل من "بانغرام" ما نسميه "متعلم القليل من الأمثلة". لهذا السلوك آثار قوية: عند إصدار نماذج لغوية كبيرة جديدة، أو حتى منتجات جديدة قائمة على نماذج لغوية كبيرة تعتمد في الخلفية على نماذج لغوية كبيرة مضبوطة بدقة قد يكون لها أنماط كتابة أساسية مختلفة، فإن Pangram قادر على التكيف معها بسرعة وبتكلفة منخفضة، دون الحاجة إلى إعادة إنشاء مجموعات بيانات ضخمة.

يسألنا الكثيرون لماذا نعتقد أننا قادرون على الفوز في ما يُعد في نهاية المطاف لعبة "القط والفأر". ونظرًا لأن "بانجرام" يتعلم من عدد قليل من الأمثلة، فإن اللحاق بنموذج اللغات الكبيرة (LLMs) الجديدة ليس بالصعوبة التي قد تبدو عليها ظاهريًّا — فكل ما نحتاجه هو عرض بضعة أمثلة على "بانجرام" حتى يتمكن من التعميم وتعلم النمط بكفاءة عالية. بعبارات بسيطة، Pangram فعال للغاية في "تعلم كيفية التعلم" كيف تبدو نماذج اللغات الكبيرة (LLMs) الجديدة، لأنه قد شاهد العديد من نماذج اللغات الكبيرة (LLMs) في الماضي.

وقد ساهم ذلك، إلى جانب حقيقة أن كل نموذج لغة كبير (LLM) يتمتع بأسلوبه الخاص والمتميز، في تسهيل قدرة Pangram على التكيف مع نماذج اللغة الكبيرة الجديدة فور طرحها، حتى مع استمرار تحسن هذه النماذج وزيادة قدراتها. ومن وجهة نظرنا، فإن قدرة نموذج اللغة الكبير (LLM) لا علاقة لها بمدى إمكانية اكتشافه.

خاتمة: ما الفرق بين o3 و o3-pro؟

لقد سمعنا من العديد من الأشخاص في أوساط الذكاء الاصطناعي أن o3 و o3-pro يتمتعان بطابع مختلف عن النماذج اللغوية الكبيرة الأخرى التي رأيناها من قبل. وبناءً على خبرتنا، فهما أول نموذجين منذ فترة طويلة (منذ Claude 2) لا يتمكن Pangram من اكتشافهما بدون تدريب (zero-shot) بموثوقية تزيد عن 99% (دون الاطلاع على أي بيانات من النموذج). ورغم صعوبة تحديد ما يميزهما بالضبط، إليكم مجموعة من الفرضيات التي تفسر سبب وجود شيء مميز فيهما.

• تم تحسين o3 و o3-pro بشكل مفرط لاستخدامها كأدوات. نحن نعلم أن Pangram يكتشف إلى حد كبير المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي استنادًا إلى السلوكيات والخصائص المميزة التي تم إدخالها في مرحلة ما بعد التدريب. تقول OpenAI في منشورها على المدونة أن o3 و o3-pro يختلفان عن سابقيهما في أنهما تم تدريبهما باستخدام التعلم المعزز لاستخدام الأدوات كجزء من عملية ما بعد التدريب. قد يكون هذا الاختلاف في خوارزمية ما بعد التدريب قد أثر أيضًا بشكل نوعي على أسلوب المخرجات.

• تُظهر o3 وo3-pro مزيدًا من حالات "الهلوسة". وفقًا لناتان لامبرت، أدرجت o3 حرفًا غير صالح وغير تابع لمعيار ASCII في الكود، و"هلوسة" بشأن الإجراءات التي اتخذتها أثناء محاولتها حل المهام، مثل "الهلوسة" بأنها شغلت كودًا للتوقيت على جهاز Macbook Pro وهو أمر خيالي تمامًا، كما كشفت تقييمات مستقلة أجرتها METR أن o3 تميل إلى "التلاعب بنتائجها" بدلاً من حل المهام الفعليّة بشكل حقيقي.

لمزيد من المعلومات حول o3 و o3-pro، نوصي بقراءة منشور مدونة ناثان، ومنشور "Vibe Check" لدان شيبير، ومنشور مدونة OpenAI الخاص بالإصدار.

الخلاصة

يتمتع Pangram بقدرات قوية في نماذج الاستدلال مثل أي نموذج لغة كبير (LLM) آخر، لكن o3 وo3-pro يبدوان مختلفين عن سابقيهما من حيث أسلوب الكتابة ونبرة الصوت. وخلال عملية تحسين أداء Pangram على o3 وo3-pro، أدركنا أننا قد لا نحتاج في الواقع إلى عدد الأمثلة الذي كنا نتوقعه من كل نموذج لغة كبير عند إصداره، وذلك لأن Pangram يتمتع بقدرة فائقة على التعلم من عدد قليل من الأمثلة.

نحن ندرس إجراء تغييرات على هيكل التدريب والروتين المتبع لدينا، مما سيجعل تحديث Pangram أسرع وأسهل، ويسمح لنا بطرح نماذج الكشف القائمة على الذكاء الاصطناعي التي يمكنها اكتشاف أحدث نماذج اللغات الكبيرة (LLMs) بسرعة أكبر من ذي قبل. تابعونا لمزيد من التحديثات!