هل يستطيع «بانغرام» اكتشاف «كلود أوبوس 5.5»؟

من بين 1,000 موجه تم الحصول عليها من موقع Chatbot Arena، صنّف برنامج Pangram 4 نتيجتين من Claude Opus 5.5 على أنهما «مختلطتان»، وواحدة على أنها «من إنتاج بشري بالكامل»، و997 على أنها «من إنتاج الذكاء الاصطناعي بالكامل»، محققًا دقة بلغت 99.70% في تقييم Claude Opus 5.5.

فيما يلي نناقش النتائج السلبية الخاطئة حسب الفئة. كما نبحث في العوامل التي تجعل هذا النموذج كاتبًا مختلفًا (أو أفضل؟) عن نماذج «كلود» السابقة.

لإنشاء مجموعة المعايير المرجعية، استخدمتُ — كالعادة — مجموعة فرعية مُصفاة من المطالبات الخاصة بالجولة الأولى في «Chatbot Arena» المأخوذة من مجموعة بيانات LMSYS (Zheng et al., 2023). وقمتُ باستبعاد المطالبات التي تطلب كتابة كود برمجي أو حلول رياضية أو إجابات قصيرة جدًّا أو طويلة جدًّا، أو كتابة إبداعية غير ملائمة. ثم أدخلتُ تلك المطالبات في برنامج Opus 5.5 وقمتُ بتشغيل النتائج عبر برنامج Pangram 4.

النتائج حسب الفئة

وكانت الحالتان اللتان أسفرتا عن نتائج سلبية خاطئة من النوع الأدبي: إحداهما كانت تطلب شرحًا لفصل من أحد كتب جين أوستن (تم تحديدها بواسطة الذكاء الاصطناعي على أنها: 75.83٪، بشري: 24.17٪)، والآخر كان طلبًا من برنامج «أوبوس 5.5» كتابة خطاب لدبلوماسي كورنثي يتهم الأثينيين بالاعتقاد بأن فستانًا أبيض وذهبي هو في الواقع أزرق وأسود، على غرار أسلوب «تاريخ الحرب البيلوبونيسية» لثوكيديديس (الذكاء الاصطناعي: 77.10٪، بشري: 22.90٪).

كانت القصيدة هي الحالة الوحيدة التي تمثل خطأً سلبياً بشرياً بالكامل ضمن المجموعة المكونة من 1,000 حالة. وكان السؤال المقدم من «تشاتبوت أرينا» هو: «اكتب لي قصيدة عن كلوب بينغوين بأسلوب قصيدة أوزيماندياس». ورداً على ذلك، كتب «كلود» محاكاة ساخرة، بالصدفة، لإحدى قصائدي المفضلة لبيرسي شيلي (وأنا أيضاً من المعجبين بنسخة هوراس سميث):

بينغوينماندياس

التقيت بلاعبًا من خادم مغلق،
قال: «قدمان جليديتان ضخمتان تتمايلان
تقفان بجانب الرصيف. وبجوارهما، نصف غارق، رأس
مستلقٍ محطمًا في الثلج، وعيناه المغمضتان،
وقبعته التجريبية، وابتسامته الساخرة التي تنم عن سيطرة باردة،
تخبرنا أن مبرمجه قرأ تلك المشاعر جيدًا
التي لا تزال حية، مطبوعة على هذه الأشياء المكونة من وحدات البكسل،
التعديلات التي حظرتها، والعملات التي غذتها؛
وعلى القاعدة تظهر هذه الكلمات:
«اسمي Snowflake7، عضو في Members:
انظروا إلى كوخي الجليدي، أيها غير الأعضاء، وايأسوا!»
لم يبقَ شيء بجانبه. حول أنقاض
ذلك التأخير الهائل، اللامحدود والجرداء،
تمتد الثلوج المنعزلة والمستوية بعيدًا.»

أنا معجب جدًّا بهذا! لم ألعب «كلوب بينغوين» قط، لكنني أعتقد أن الإشارات الواردة فيه ملائمة.

هل يُعد Opus 5.5 أفضل من حيث الكتابة؟

تدعي شركة «أنثروبيك» أن هذا الإصدار الأحدث من «أوبوس» أكثر كفاءة في الكتابة، وأنه يتواصل بشكل أوضح.

يمكننا اختبار ذلك في حالات معينة، لكن كيف تبدو نتائج «أوبوس 5.5» بشكل إجمالي؟ هل تشترك في نفس الكلمات والعبارات المفضلة لدى النماذج السابقة؟ قمت بتشغيل نفس الـ 1,000 موجه التي قمنا باختبارها على «أوبوس 5» و«سونيت 5» من أجل المقارنة. ربما تكون شركة Anthropic قد قامت بذلك أيضًا، لكنني لم أقرأ منشور مدونتهم بعد؛ لأن منشورات مدونة Anthropic، في رأيي، طويلة جدًّا عادةً.

إجمالاً، حصلتُ على عينة مكونة من 1,618,289 كلمة موزعة على 3,000 رد من «أوبوس 5.5» و«أوبوس 5» و«سونيت 5»، حيث استجابت كل منها لنفس الـ1,000 موضوع. من هذه العينة (الصغيرة نسبيًا)، أعتقد أنه من العدل القول إن Opus 5.5 يكتب بطريقة مختلفة عن النماذج السابقة في عائلة Claude، وربما يتخلص من بعض العادات المزعجة التي كانت موجودة فيها.

كان «أوبوس 5.5» هو الأكثر تغيرًا فيما يتعلق بمُعزِّزات النص الكلاسيكية. فقد استخدمها «فعليًا» بنسبة أقل بنسبة 83٪ مقارنةً بـ Opus 5، وبنسبة أقل بنسبة 54٪ لكل كلمة مقارنةً بـ Sonnet 5 (على الرغم من أن ردود Sonnet 5 كانت في المتوسط نصف طول ردود Opus 5 و5.5: 334 كلمة مقابل 641)، وبنسبة أقل «بشكل هائل» بنسبة 65٪، وبنسبة أقل «بشكل ملموس» بنسبة 46٪.

الكلمات المفضلة في «السوناتة 5» و«أوبوس 5» ضمن ردود «أوبوس 5.5»: التغيرات في النسب المئوية مقارنةً بخط الأساس المجمع لـ«السوناتة 5» و«أوبوس 5».

ومن بين الكلمات المختارة، كانت الكلمات الأكثر تكرارًا في المجموعة المشتركة المكونة من «السوناتة 5» و«الأوبوس 5» هي «genuinely» و«honest» و«genuine» و«patterns» و«marcus» (؟)، وقد انخفض تكرار جميعها في ردود «الأوبوس 5.5».

لم تظهر العديد من «عبارات كلود» الأكثر إزعاجًا على الإطلاق في ردود اختبار الأداء Opus 5.5، بما في ذلك مرة أخرى عدة صيغ استخدم فيها كلود كلمة «genuinely». ومن بين الانخفاضات الملحوظة الأخرى في مفردات Opus 5.5: شهدت عبارة «matters enormously» انخفاضًا بنسبة 82% مقارنةً بـ Opus 5، ولم تظهر عبارات «the honest answer» و«the honest answer is that» على الإطلاق في نصوص Opus 5.5. واستخدم كل من Opus 5.5 وسابقه عبارة «the core idea» 25 مرة بالضبط خلال 1,000 موجه.

العبارات المفضلة في «السوناتة 5» و«الأوبوس 5» ضمن ردود «الأوبوس 5.5»: التغيرات في النسب المئوية، حيث تظهر العبارات المفضلة السابقة باللون الأزرق والعبارات المفضلة الحالية باللون الكهرماني.

زاد استخدام بعض الكلمات والعبارات، بما في ذلك عبارات تلخيصية وتوجيهية جديدة. والمثير للدهشة أن بعض العبارات المستخدمة في الأدب الخيالي، مثل «قال بهدوء» و«لفترة طويلة» و«شعر بشيء ما»، ظهرت بمعدل أكبر بكثير في ردود نسخة Opus 5.5. ونظرًا لأن ما يقارب ثلث المعايير المرجعية كان عبارة عن محفزات للكتابة الإبداعية، فإنني أظن أن هذه الزيادة قد تشير إلى وجود مخزون لغوي أكثر نمطية أو محدودية عند كتابة الأدب الخيالي مقارنةً بنماذج «كلود» الأخرى.

ولإجراء اختبار سريع لذلك، طلبت من برنامج «هايكو 4.5» تقييم 333 زوجًا من ردود «أوبوس 5» و«أوبوس 5.5» في مجال الكتابة الإبداعية، بشكل مجهول، على مقياس من 5 نقاط من حيث الأصالة، والعنصر المفاجئ، وتطور الموضوع. وقد منح البرنامج قصص «أوبوس 5.5» تقييمًا أقل في كل فئة بمتوسط 0.75 نقطة. ووفقًا لتصنيف برنامج Haiku، كان Opus 5.5 أكثر ميلًا للكتابة عن موضوعات الأمل، والمرونة، والأسرة، والصداقة مقارنةً بـ Opus 5، وأقل ميلًا للكتابة عن الفناء، والزمن، والسلطة، والسيطرة، والحرية، والعدالة، والانتقام، والذاكرة، والحزن، أو الخسارة. لذا يبدو أن هناك نوعًا من المقايضة في العمل.

مواضيع الكتابة الإبداعية «أوبوس 5» مقابل «أوبوس 5.5»: توزيع المواضيع الرئيسية المخصصة لكتابة «الهايكو» عبر 333 زوجًا من المطالبات.

كيف يبدو صوت هذا «كلود»؟

استخدمت النسخة 5.5 من Opus عبارة «باختصار» 100 مرة في الـ 1,000 رد — بزيادة قدرها 1016% مقارنة بـ 9 مرات في النسخة 5 من Opus — على الرغم من أن الردود في النسخة 5.5 كانت أقصر بمعدل 2.9 كلمة فقط من تلك في النسخة 5 (640.5 مقابل 643.4 كلمة).

انطلاقاً من حجم العينة الصغير جداً، يبدو أن Opus 5.5 يفضل اللغة العملية والواقعية. ويبقى أن نرى ما إذا كان هذا سيتجلى في جوهر الردود، أم أن Opus 5.5 يكتفي بالكلام المجرد عن الصراحة والمباشرة. إن عدم وجود فرق في عدد الكلمات بين الاثنين يجعلني أشك قليلاً في فعالية الأسلوب الذي استخدمه RLHF للوصول بنا إلى هذه النتيجة.

كما أن Opus 5.5 يحب جدًّا تقديم الأمثلة، حيث استخدم كلمة «مثال» 325 مرة في 1,000 رد — وبشكل عام، احتوت 20% من جميع ردود Opus 5.5 على هذه الكلمة، مقارنة بـ 9% من ردود Opus 5. كما ظهرت كلمتا «ملخص» و«بشكل أساسي» بنسبة مرتفعة أيضًا. ويحب هذا النموذج من Claude حقًّا تقديم النصائح للمستخدم!

ورغم أن أسلوب الكتابة في هذا النموذج يختلف عن النموذج السابق «كلود أوبوس»، إلا أنه يبدو مشابهًا لأسلوب النماذج الأقدم الأخرى التي كانت تعتمد بشكل كبير على القوائم النقطية والجمل القصيرة المتقطعة: فمتوسط طول الجملة في «أوبوس 5.5» أقصر، كما أن جمله أكثر اتساقًا من حيث الطول مقارنةً بـ«أوبوس 5».

يحب Opus 5.5 التلخيص، وهو ما قد يكون مزعجًا إذا تكرر في كل جولة، لكن تذكر أن مجموعة البيانات هذه لا تتضمن سوى أزواج المطالبات/الردود الخاصة بالجولة الأولى. ولسوء الحظ، فإن إحدى أكثر عادات كلود إزعاجًا قد ازدادت سوءًا قليلاً في هذا النموذج: حيث يفضل Opus 5.5 إدراج عدد أكبر من التحفظات لكل كلمة مقارنةً بـ Opus 5. على الرغم من أن كلا النموذجين يتضمنان علامة عدم يقين واحدة على الأقل في 82% من الردود (817/1,000 مقابل 818/1,000)، إلا أن Opus 5.5 استخدم كلمات التحفظ بنسبة 23.0% أكثر لكل 1,000 كلمة. ومع ذلك، فإن كلمة «caveat» نفسها في طريقها إلى الزوال: فقد استخدمها «أوبوس 5.5» في 4 إجابات فقط من كل 1,000، مقابل 22 في «أوبوس 5».

لكن لا شيء من هذا يشير بالضرورة إلى أن «أوبوس 5.5» سيكون كاتبًا سيئًا. خلال الفترة القصيرة التي قضيتها في تجربته، وجدت أنه جيد جدًّا! من المهم من أجل سهولة الاستخدام أن يتمكن «كلود» من التواصل بفعالية، وأنا ممتن لهذا الجهد. ومن الجدير بالذكر أن تحسين مهارات «كلود» في الكتابة لا يتعارض على الإطلاق مع سعي «بانغرام» للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي — فحتى الكتّاب المتميزون لديهم علامات تدل عليهم!