دعوة لإجراء تقييمات جديدة لـ«بانغرام»

نعتقد أنه من الضروري أن يقوم باحثون من أطراف ثالثة بمراجعة أدوات الكشف عن الذكاء الاصطناعي مثل «بانغرام». وفي الوقت الحالي، كان التقييم الذي أجرته جامعة شيكاغو هو الأكبر من حيث حجم العينة من بين التقييمات التي أجرتها أطراف ثالثة، وقد أُجري قبل أكثر من عام باستخدام الإصدار «بانغرام 3». ويتم إطلاق نماذج لغوية كبيرة (LLMs) جديدة باستمرار، ولا يعكس التقييم الثنائي الذي يقارن بين المستندات التي تم إنشاؤها بالكامل بواسطة الذكاء الاصطناعي وتلك التي كُتبت بالكامل بواسطة البشر النطاق الكامل للأداء في العالم الواقعي.

نحن بحاجة إلى المزيد من اختبارات الأداء عالية الجودة والمستقلة تمامًا لـ «بانغرام». فاختبار الأداء الجيد سيساعدنا على فهم «بانغرام» وتحسينه، كما سيساهم في تشكيل الطريقة التي يتفاعل بها العالم مع الذكاء الاصطناعي خلال السنوات المقبلة.

نحن ندعو إلى تقديم تقييمات جديدة من جهات خارجية. ومن الأمثلة على التقييمات التي نود الاطلاع عليها تلك التي تسعى للإجابة عن أحد الأسئلة التالية:

• ما مدى كفاءة أجهزة الكشف الحالية في التقاط النصوص الصادرة عن أحدث نماذج الذكاء الاصطناعي المتطورة؟
• كيف يكون أداء أدوات الكشف عن الذكاء الاصطناعي في السياقات الغنية بالمعلومات، مثل الأبحاث المتعمقة، أو في إطار عمل الوكيل، أو عبر عدة دورات من التحرير باستخدام الذكاء الاصطناعي؟
• ما مدى فعالية أدوات الكشف في التعامل مع النصوص التي كتبها مؤلفون متعددون؟ يمكن أن تستكشف الأبحاث في هذا المجال النطاق الكامل للمساعدة التي يقدمها الذكاء الاصطناعي، بدءًا من التعديلات النحوية البسيطة وصولاً إلى التأليف المشترك الكامل.
• كيف يكون أداء أدوات الكشف عن النصوص التي تعتمد على الذكاء الاصطناعي عند تحليل مخرجات برامج تحويل الكلام إلى نص التي تعمل بالذكاء الاصطناعي؟ إلى أي مدى تغير هذه البرامج النص؟
• كيف يكون أداء أدوات الكشف عن الذكاء الاصطناعي عند تحليل النصوص المكتوبة بالذكاء الاصطناعي والنصوص البشرية المكتوبة بلغات مختلفة؟
• كيف يكون أداء أدوات الكشف عن الذكاء الاصطناعي عند تحليل النصوص التي كتبها مؤلفون من خلفيات مختلفة، ومن مجموعات عرقية أو ثقافية متنوعة، وفي أنواع أو أنماط أدبية متنوعة؟ حتى النتائج السلبية التي لا تُظهر أي تحيز تظل مثيرة لاهتمامنا.
• ما مدى كفاءة أدوات الكشف عن الذكاء الاصطناعي في التعامل مع أنواع جديدة من النصوص، مثل الوثائق التاريخية التي تم مسحها ضوئيًا مؤخرًا؟
• كيف يكون أداء أدوات الكشف عن الذكاء الاصطناعي عند تحليل النصوص الفنية أو المعادلات الرياضية أو الأكواد البرمجية — سواء تلك التي كتبها الذكاء الاصطناعي أو البشر؟

ما نقدره في أي اختبار أداء هو البيانات النقية للغاية، وبيانات نماذج اللغة الكبيرة (LLM) الرائدة، ومستوى صعوبة مرتفع بما يكفي بحيث لا يتم التغلب على الاختبار من قبل معظم أدوات الكشف.

يسعدنا تقديم منح مالية لإجراء هذا النوع من التقييمات. وبمجرد الموافقة على موضوع المنحة، لا نفرض أي شروط تتعلق بالنشر على هذه المنح — فالباحثون أحرار في نشر أي نتائج يتوصلون إليها، سواء كانت في صالح «بانغرام» أم لا.

إذا كنت باحثًا وترغب في إجراء مقارنة أداء معنا، فيُرجى تقديم طلبك هنا.