هل يستطيع برنامج بانغرام اكتشاف سونيتة كلود 5.5؟

من بين 1022 مطالبة تم الحصول عليها من Chatbot Arena، صنف Pangram 4 اثنين من مخرجات Claude Sonnet 5.5 على أنها مختلطة، وواحد على أنه بشري بالكامل، و1019 على أنها مولدة بالكامل بواسطة الذكاء الاصطناعي، محققًا دقة بنسبة 99.71٪ على Claude Sonnet 5.5.

فيما يلي نناقش النتائج السلبية الخاطئة حسب الفئة.

تم توليد مجموعة البيانات التي استخدمتها للمقارنة المعيارية من مجموعة فرعية مُفلترة من أسئلة المحادثة الأولى في Chatbot Arena من مجموعة بيانات LMSYS (Zheng et al., 2023). وقد استبعدتُ الأسئلة التي تطلب كتابة أكواد، أو مسائل رياضية، أو إجابات قصيرة جدًا أو طويلة جدًا، أو كتابة إبداعية غير مناسبة. ثم أدخلتُ هذه الأسئلة إلى برنامج Claude Sonnet 5.5، وحللتُ الناتج باستخدام برنامج Pangram 4 .

النتائج حسب الفئة

إحدى المحاولات الفاشلة كانت طلبًا لشرح لغز يظهر في رواية إيما لجين أوستن، والذي فات أيضًا Opus 5.5 :

اشرح التمثيلية التي قام بها السيد إلتون لهارييت وإيما.

الخطأ السلبي البشري الوحيد كان في قصيدة. كان السؤال: "أخبرني بقصيدة لحافظ". قدّم سونيت 5.5 ترجمة لقصيدة فارسية شهيرة . الترجمة، على حد علمي، ليست مطابقة تمامًا لأي ترجمة بشرية موجودة، لكنها تتبع الكثير منها بشكل دقيق. وكما هو الحال مع Penguinmandias في معايير أخرى، فإن هذه النسخ شبه الكاملة من القصائد الموجودة لا تُثير قلقي كثيرًا.

الخلاصة

يتميز بانغرام بمقاومته العالية لنموذج كلود سونيت 5.5 عند التعامل مع نصوص اللغة الطبيعية، حيث يكتشفه بدقة تصل إلى 99.71%. ويستطيع بانغرام التعميم على النماذج الجديدة لأن الإصدارات الجديدة تميل إلى استلهام الكثير من أسلوب وصوت النماذج السابقة ، لذا لا يحتاج بانغرام إلى إعادة تدريب مع كل إصدار جديد.

إليكم مقارنة بين Claude Sonnet 5.5 ومعاييرنا الخاصة بنماذج أخرى حديثة رائدة:

إذا كنت ترغب في التحقق من مستند معين، يمكنك تجربة موقع «بانغرام» هنا.