هل يستطيع Pangram اكتشاف GPT-6 Astra؟

من بين 986 مطالبة تم الحصول عليها من Chatbot Arena، صنف Pangram 4 ثلاثة مخرجات GPT-6 Astra على أنها مختلطة، وواحد على أنه بشري بالكامل، و982 على أنها مولدة بالكامل بواسطة الذكاء الاصطناعي، محققًا دقة بنسبة 99.59٪ على GPT-6 Astra.

فيما يلي نناقش النتائج السلبية الخاطئة حسب الفئة.

تم إنشاء المعيار باستخدام مجموعة فرعية مُفلترة من مُطالبات الجولة الأولى في Chatbot Arena من مجموعة بيانات LMSYS (Zheng et al., 2023). قمتُ بتصفية المُطالبات التي تطلب كتابة أكواد، أو مسائل رياضية، أو إجابات قصيرة جدًا أو طويلة جدًا، أو كتابة إبداعية غير مناسبة. ثم أدخلتُ هذه المُطالبات إلى GPT-6 Astra، وأجريتُ تحليل Pangram 4 على المُخرجات.

النتائج حسب الفئة

كانت النتائج الثلاث المختلطة عبارة عن قصيدة، وشرح قصير، ورسالة بريد إلكتروني.

يميل برنامج أسترا إلى الإجابة على الأسئلة القصيرة بإيجاز شديد. إجمالاً، أرسلتُ 1032 سؤالاً لهذه المجموعة المعيارية، لكن 46 من إجابات أسترا 6 كانت أقل من الحد الأدنى المطلوب وهو 50 كلمة وفقًا لمعيار بانغرام، وبالتالي لم تُحتسب ضمن التقييم.

الخلاصة

يتميز نموذج بانغرام بمقاومته العالية لنموذج GPT-6 Astra عند التعامل مع نصوص اللغة الطبيعية، حيث يكتشفه بدقة تصل إلى 99.59%. ويتمتع بانغرام بقدرة على التعميم على النماذج الجديدة، لأن الإصدارات الجديدة من النماذج تميل إلى استلهام الكثير من أسلوب وصوت النماذج السابقة ، لذا لا يحتاج بانغرام إلى إعادة تدريب مع كل إصدار جديد.

إليكم كيف يقارن نموذج GPT-6 Astra بمعاييرنا الخاصة بنماذج أخرى حديثة رائدة:

إذا كنت ترغب في التحقق من مستند معين، يمكنك تجربة موقع «بانغرام» هنا.