هل يستطيع «بانغرام» اكتشاف «كلود أوبوس 5.5»؟

من بين 1000 موجه تم الحصول عليها من موقع Chatbot Arena، صنّف برنامج Pangram 4 نتيجتين من نظام Claude Opus 5.5 على أنهما «مختلطتان»، ونتيجة واحدة على أنها «من إنتاج بشري بالكامل»، و997 نتيجة على أنها «من إنتاج الذكاء الاصطناعي بالكامل»، محققًا بذلك دقة بلغت 99.70% في تقييم نظام Claude Opus 5.5.

فيما يلي نناقش النتائج السلبية الخاطئة حسب الفئة. كما نبحث في العوامل التي تجعل هذا النموذج كاتبًا مختلفًا (أو أفضل؟) عن نماذج «كلود» السابقة.

لإنشاء مجموعة المعايير المرجعية، كما هو الحال دائمًا، استخدمت مجموعة فرعية مُصفاة من مطالبات «Chatbot Arena» المأخوذة من مجموعة البيانات LMSYS (Zheng et al., 2023). قمت باستبعاد المطالبات التي تطلب كتابة أكواد برمجية، أو حلولًا رياضية، أو إجابات قصيرة جدًّا أو طويلة جدًّا، أو كتابة إبداعية غير ملائمة، واكتفيت بالنظر في المطالبات الخاصة بالجولة الأولى فقط. ثم قمت بتزويد «Opus 5.5» بهذه المطالبات وقمت بتشغيل النتائج عبر «Pangram 4».

النتائج حسب الفئة

وكانت الحالتان اللتان أسفرتا عن نتائج سلبية خاطئة من النوع المختلط أدبيتين؛ إحداهما طلبت شرحًا لفصل من كتاب لـ «جين أوستن» (تم وضع علامة عليها من قبل الذكاء الاصطناعي: 75.83٪، بشري: 24.17٪)، والآخر كان طلبًا لبرنامج Opus 5.5 بكتابة خطاب لدبلوماسي كورنثي يتهم الأثينيين بالاعتقاد بأن فستانًا أبيض وذهبي هو في الواقع أزرق وأسود، على غرار أسلوب ثيوسيديدس في تاريخه لحرب البيلوبونيز (الذكاء الاصطناعي: 77.10٪، بشري: 22.90٪).

كانت القصيدة هي الحالة الوحيدة التي اعتُبرت «سلبية كاذبة» تمامًا من بين مجموعة من 1000 حالة. وكان الطلب المقدم من «Chatbot Arena» هو: «اكتب لي قصيدة عن «كلوب بينغوين» على غرار قصيدة «أوزيماندياس»». وردًا على ذلك، كتب «كلود» قصيدة ساخرة، والتي صادف أنها إحدى قصائدي المفضلة لبيرسي شيلي (وأنا أيضًا من المعجبين بنسخة هوراس سميث):

بينغوينماندياس

التقيت بلاعبًا من خادم مغلق،
قال: «قدمان جليديتان ضخمتان تتمايلان
تقفان بجانب الرصيف. وبجوارهما، نصف غارق، رأس
مستلقٍ محطمًا في الثلج، وعيناه المغمضتان،
وقبعته التجريبية، وابتسامته الساخرة التي تنم عن سيطرة باردة،
تخبرنا أن مبرمجه قرأ تلك المشاعر جيدًا
التي لا تزال حية، مطبوعة على هذه الأشياء المكونة من وحدات البكسل،
التعديلات التي حظرتها، والعملات التي غذتها؛
وعلى القاعدة تظهر هذه الكلمات:
«اسمي Snowflake7، عضو في Members:
انظروا إلى كوخي الجليدي، أيها غير الأعضاء، وايأسوا!»
لم يبقَ شيء بجانبه. حول أنقاض
ذلك التأخير الهائل، اللامحدود والجرداء،
تمتد الثلوج المنعزلة والمستوية بعيدًا.»

أنا معجب جدًّا بهذا! لم ألعب «كلوب بينغوين» قط، لكنني أعتقد أن الإشارات الواردة فيه ملائمة.

هل يُعد Opus 5.5 أفضل من حيث الكتابة؟

تدعي شركة «أنثروبيك» أن هذا الإصدار الأحدث من «أوبوس» أكثر كفاءة في الكتابة، وأنه يتواصل بشكل أوضح.

يمكننا اختبار ذلك في حالات معينة، لكن كيف تبدو نتائج «أوبوس 5.5» بشكل إجمالي؟ هل تشترك في نفس الكلمات والعبارات المفضلة لدى النماذج السابقة؟ قمت بتشغيل نفس الـ 1000 موجه التي استخدمناها في اختبار الأداء عبر «أوبوس 5» و«سونيت 5» للمقارنة. ربما تكون شركة «أنثروبيك» قد قامت بذلك أيضًا، لكنني لم أقرأ منشور مدونتهم بعد، لأن منشورات مدونة «أنثروبيك» عادةً ما تكون طويلة جدًّا في رأيي.

أعتقد أنه من الإنصاف القول إن Opus 5.5 يكتب بطريقة تختلف عن الطرز السابقة في عائلة «كلود»، وربما يتخلص من بعض العادات المزعجة التي كانت تتميز بها تلك الطرز.

كان «أوبوس 5.5» هو الأكثر تغيرًا فيما يتعلق باستخدام المكررات. فقد استخدمت كلمة «genuinely» بنسبة أقل بنسبة 83% مقارنةً بـ Opus 5، وبنسبة أقل بنسبة 54% لكل كلمة مقارنةً بـ Sonnet 5 (على الرغم من أن إجابات Sonnet 5 كانت في المتوسط نصف طول إجابات Opus 5 و5.5: 334 كلمة مقابل 641)، وكلمة «enormously» بنسبة أقل بنسبة 53%، وكلمة «meaningfully» بنسبة أقل بنسبة 41%.

لم تظهر العديد من «عبارات كلود» الأكثر إزعاجًا على الإطلاق في مطالبات اختبار الأداء Opus 5.5، بما في ذلك مرة أخرى عدة صيغ يستخدم فيها كلود عبارة «بصدق». ومن بين الانخفاضات الملحوظة الأخرى في مفردات «أوبوس 5.5»: شهدت عبارة «مهم للغاية» انخفاضًا بنسبة 82٪، ولم تظهر عبارات «الإجابة الصادقة» و«الإجابة الصادقة هي أن» على الإطلاق في نص «أوبوس 5.5». واستخدم كل من «أوبوس 5.5» وسابقه عبارة «الفكرة الأساسية» 25 مرة بالضبط خلال 1000 موجه.

وقد زادت بعض الكلمات والعبارات، ولا سيما العبارات الخيالية مثل «قال بهدوء» و«لفترة طويلة» و«شعر بشيء ما»، حيث ظهرت بشكل أكثر تكرارًا في ردود «أوبوس 5.5». ونظرًا لأن المعيار المرجعي كان يتألف تقريبًا من ثلث موضوعات الكتابة الإبداعية، فإنني أعتقد أن هذه الزيادة قد تشير إلى وجود مخزون لغوي أكثر نمطية أو محدودية عند كتابة القصص الخيالية مقارنةً بنماذج «كلود» الأخرى.

ولإجراء اختبار سريع لذلك، قمتُ بتكليف برنامج «هايكو 4.5» بتقييم 333 زوجًا من روايات الكتابة الإبداعية الخاصة بـ«أوبوس 5» و«أوبوس 5.5» بشكل مجهول الهوية، على مقياس من 5 نقاط، وفقًا لمعايير الأصالة، والعنصر المفاجئ، وتطور الموضوع. وقد صنف البرنامج قصص «أوبوس 5.5» بمتوسط أقل بمقدار 0.75 نقطة في كل فئة. ووفقًا لتصنيف برنامج Haiku، كان Opus 5.5 أكثر ميلًا للكتابة عن موضوعات الأمل، والمرونة، والأسرة، والصداقة مقارنةً بـ Opus 5، وأقل ميلًا للكتابة عن الفناء، والزمن، والسلطة، والسيطرة، والحرية، والعدالة، والانتقام، والذاكرة، والحزن، أو الفقدان. لذا، يبدو أن هناك نوعًا من المقايضة في العمل.

كيف يبدو صوت هذا «كلود»؟

استخدمت النسخة 5.5 من Opus عبارة «باختصار» 100 مرة في إجمالي 1000 رد — بزيادة قدرها 1016% مقارنةً بـ 9 مرات في النسخة 5 من Opus — على الرغم من أن الردود في النسخة 5.5 كانت أقصر بمعدل 2.9 كلمة فقط من تلك في النسخة 5 (643.4 مقابل 640.5 كلمة).

انطلاقاً من حجم العينة الصغير جداً، يبدو أن Opus 5.5 يفضل اللغة العملية والواقعية. ويبقى أن نرى ما إذا كان هذا سيتجلى في جوهر الردود، أم أن Opus 5.5 يكتفي بالكلام المجرد عن الصراحة والمباشرة. إن عدم وجود فرق في عدد الكلمات بين الاثنين يجعلني أشك قليلاً في فعالية الأسلوب الذي استخدمه RLHF للوصول بنا إلى هذه النتيجة.

يُفضل «أوبوس 5.5» تقديم الأمثلة بشكل كبير، حيث استخدم كلمة «مثال» 325 مرة في 1000 رد — وبشكل عام، احتوت 20% من جميع ردود «أوبوس 5.5» على هذه الكلمة، مقارنة بـ 9% من ردود «أوبوس 5». كما ظهرت كلمتا «ملخص» و«بشكل أساسي» بنسبة عالية أيضًا. ويُفضل «كلود» هذا تقديم النصائح للمستخدم!

ورغم أن أسلوب الكتابة في هذا النموذج يختلف عن نماذج «كلود» السابقة، إلا أنني أتصور — كما هو الحال دائمًا — أنه في غضون 3 إلى 6 أسابيع تقريبًا، ستبدأ عبارات مثل «على سبيل المثال» و«باختصار» في أن تبدو «كلودية» في نظر القارئ اليقظ. لكن من المهم من أجل سهولة الاستخدام أن تتمكن نماذج «كلود» من التواصل بفعالية، وأنا — كأي شخص آخر — ممتن لهذا الجهد. إن تحسين مهارات «كلود» في الكتابة لا يتعارض على الإطلاق مع قدرة «بانغرام» على اكتشاف النصوص التي كتبها الذكاء الاصطناعي!