أداء «بانغرام» في تقييم مقالات طلاب المرحلة الجامعية وطلاب الدراسات العليا

لقد قمنا سابقًا بتقييم برنامج «بانغرام» على مجموعة «بيرسويد» (PERSUADE)، وهي مجموعة تضم ما يقرب من 26,000 مقالًا كتبها طلاب من مختلف المراحل الدراسية في المدارس الإعدادية والثانوية. وفي هذا التقييم، نوسع نطاق هذا التحليل، حيث نقوم بمقارنة أداء برنامج «بانغرام 4.1» مع مجموعة من كتابات طلاب المرحلة الجامعية وطلاب الدراسات العليا، ولا سيما كتابات طلاب الدراسات العليا الذين ليست اللغة الإنجليزية لغتهم الأم.

في هذا الاختبار القياسي، نستخدم برنامج «Pangram 4.1» لمسح 9 مجموعات نصية تضم 15,420 وثيقة كتبها طلاب جامعيون وطلاب دراسات عليا يتحدثون الإنجليزية كلغة إضافية. وقد كُتبت هذه الوثائق وجُمعت في جامعات موزعة على 16 دولة في 3 قارات، وتشمل نصوصًا من 51 مجموعة لغوية أصلية، بما في ذلك الماندرين والعربية واليابانية والإسبانية والروسية.

الأداء

إجمالاً، تضمن هذا التقييم 9.5 مليون كلمة، حيث احتوى أطول مستند على 10,916 كلمة، بينما احتوى أقصرها على 52 كلمة.

حقق برنامج «بانغرام 4.1» صفرًا من النتائج الإيجابية الخاطئة في جميع مجموعات البيانات التسع.

تضمنت جميع مجموعات البيانات معلومات تتعلق باللغة الأم للمؤلف، كما تضمنت العديد منها معلومات حول نوع المهمة الدراسية أو الفصل الدراسي أو السنة الدراسية أو برنامج الشهادة — وقد تم تلخيص هذه التفاصيل حسب كل مجموعة أدوات أدبية أدناه.

تفاصيل مجموعة البيانات

في هذا التحليل، نقوم بتقييم برنامج «Pangram 4.1» على مجموعة مختارة من المقالات الجامعية المكتوبة من قبل طلاب المرحلة الجامعية الأولى، والمستمدة من عدة قواعد بيانات خارجية كُتبت بواسطة البشر قبل عام 2022. ويُشار أحيانًا إلى اللغة الأم بالرمز L1.

• ArCC: مجموعة تضم 779 مقالًا جدليًّا وتأمليًّا كُتبت باللغة الإنجليزية من قِبل طلاب البكالوريوس والماجستير في اللغة العربية (اللغة الأم). وتراوحت عدد كلمات النصوص بين 53 و889 كلمة.
• يُعد «مجموعة ناغويا اللغوية المشتركة للغة الإنجليزية المُعدَّلة» (NICER)، التي أعدها باحثون من جامعة ناغويا، مجموعة تضم 381 مقالًا مدته ساعة واحدة كُتبت باللغة الإنجليزية من قبل طلاب جامعيين ناطقين باللغة اليابانية، تحت إشراف مراقب.
• يُعد «مجموعة نصوص لغة الصينيين ومتعلمي اللغة الإنجليزية (CELL)» مجموعة تضم 2,850 مقالًا كتبها طلاب المرحلة الجامعية الأولى في الجامعة المفتوحة بهونغ كونغ. وتشمل اللغات الأم الكانتونية والبتونغهوا، من بين لغات أخرى. وقد كُتبت هذه المقالات في إطار واجبات أكاديمية منزلية، ويتراوح عدد كلماتها بين 91 و5,929 كلمة، بمتوسط يبلغ 1,307 كلمة.
• تُعد «مجموعة كتابات الطلاب الأتراك الجامعيين باللغة الإنجليزية» (TUWE) مجموعة تضم 341 مقالًا إقناعيًّا يتراوح عدد كلمات كل منها بين 356 و1,312 كلمة، ويبلغ متوسط طولها 778 كلمة. وقد كُتبت هذه المقالات باللغة الإنجليزية على يد طلاب من جامعة إرجييس، واللغة التركية هي لغتهم الأم.
• يُعد «مجموعة نصوص البكالوريوس الثنائية اللغة العربية-الإنجليزية بجامعة زايد» (ZAEBUC) مجموعة من المقالات القصيرة التي كتبها طلاب جامعة زايد في الإمارات العربية المتحدة. وقد جمع الباحثون هذه المجموعة من البيانات في الفترة من أغسطس إلى سبتمبر 2019. فيما يلي، نعرض نتائج المجموعة الفرعية باللغة الإنجليزية المكونة من 383 مقالًا يبلغ متوسط عدد كلمات كل منها 228 كلمة، وتتراوح مستويات الإطار الأوروبي المرجعي العام للغات (CEFR) فيها بين A1 وC1. كما قمنا بتشغيل برنامج Pangram على المجموعة الفرعية العربية المكونة من 215 مقالًا، ليصبح المجموع 603 مقالات كتبها 397 طالبًا. ولم يسجل برنامج Pangram 4.1 أي نتائج إيجابية خاطئة في أي من المجموعتين الفرعيتين.
• يُعد «مجموعة النصوص الأكاديمية للمتعلمين متعددي اللغات في جنوب أفريقيا» (SAMuLCAT) مجموعة من النصوص المكتوبة من قبل طلاب المرحلة الجامعية الأولى في جنوب أفريقيا، والتي تم إنجازها كواجبات منزلية باستخدام أدوات التدقيق الإملائي والقاموس. وتشمل الأنواع الأدبية المقالات الجدلية أو الإقناعية، والمناقشات، والكتابة السردية. وتتراوح عدد كلمات المقالات بين 52 و5,233 كلمة، بمتوسط يبلغ 687 كلمة. وتشمل اللغات الأم (L1) للمؤلفين في هذه المجموعة الفرعية لغات السيسوتو، والإيزولو، والسيتسوانا، والإيزيكوسا، وغيرها. وفيما سبق، عرضنا نتائجنا بشأن المجموعة الفرعية باللغة الإنجليزية التي تضم 4,839 مثالاً؛ كما قمنا بمسح 579 مقالاً باللغة الإنجليزية كلغة أم، ليصبح المجموع 5,660 مقالاً. ولم نجد أي نتائج إيجابية خاطئة في أي من المجموعتين الفرعيتين.
• يُعد «مجموعة ميشيغان لأوراق الطلاب من المستويات العليا» (MICUSP) مجموعة تضم 829 ورقة بحثية عالية الأداء — حصلت إما على تقدير «A» أو «A-» — كتبها طلاب السنة النهائية في المرحلة الجامعية وطلاب الدراسات العليا بجامعة ميشيغان، ويبلغ متوسط عدد كلمات كل ورقة 3,157 كلمة. ومن بين هذه الأوراق، كتب الطلاب غير الناطقين باللغة الإنجليزية 148 ورقة: 38 ورقة من طلاب المرحلة الجامعية و110 أوراق من طلاب الدراسات العليا. وتشمل اللغات الأم (L1) لهذه المجموعة الفرعية اللغة الصينية (الماندرين)، والكورية، والإسبانية، والروسية، والهندية، وغيرها، وتغطي الأوراق 16 تخصصًا، بما في ذلك علم النفس، وعلم الاجتماع، والهندسة، وعلم الأحياء، ومقررات العلوم الإنسانية. ونحن نقدم تقريرًا عن المجموعة الفرعية للطلاب غير الناطقين باللغة الإنجليزية المذكورة أعلاه؛ ومع ذلك، قمنا أيضًا بتشغيل برنامج Pangram 4.1 على 681 ورقة للطلاب الناطقين باللغة الإنجليزية كلغة أم، ولم نجد أي نتائج إيجابية خاطئة في أي من المجموعتين الفرعيتين.
• تُعد مجموعة بيانات USask مجموعة تضم 141 مراجعةً أدبيةً أعدها طلاب دراسات عليا، كتبها 51 طالبًا يتعلمون اللغة الإنجليزية كلغة ثانية (L2) مسجلين في جامعات كندية متعددة، وتتراوح مستويات كفاءتهم في اللغة الإنجليزية بين 6.5 و8.5 وفقًا لنظام اختبار اللغة الإنجليزية الدولي (IELTS). وكان الطلاب مسجلين في برامج تشمل اللغويات، والتربية، والعلوم السياسية. وتراوحت عدد كلمات المراجعات بين 264 و4,391 كلمة، بمتوسط 1,028 كلمة.

كما وردت مجموعة بيانات واحدة في التقرير الفني لـ «بانغرام 4»، ونوردها هنا من أجل «بانغرام 4.1».

• أصدرت «الشبكة الدولية لمجموعات النصوص الخاصة بمتعلمي اللغة الإنجليزية الآسيويين» (ICNALE) وحدة «المقالات المكتوبة» (WE) ضمن قاعدة بياناتها، والتي تتألف من 5,593 مقالًا مكتوبًا باللغة الإنجليزية في إطار اختبارات محددة المدة. ولا تسجل وحدة ICNALE WE بيانات اللغة الأم، لكنها تتضمن نصوصًا مكتوبة باللغة الإنجليزية لطلاب جامعيين من 10 دول آسيوية، منها الصين وهونغ كونغ وإندونيسيا واليابان وكوريا.

نظرًا للتنوع الكبير في أنواع المقالات، يشمل هذا المعيار مجموعة متنوعة من أنواع المهام، بدءًا من المقالات التي تُسلم في المنزل وصولاً إلى المقالات المحددة بوقت؛ ومستويات المساعدة، بدءًا من المساعدة غير المقيدة وصولاً إلى الامتحانات الخاضعة للإشراف؛ ومستويات إتقان اللغة الإنجليزية؛ وبرامج الشهادات الجامعية.

المنهجية

لقد بحثت عن مجموعات بيانات بحثية تستوفي المعايير التالية:

• مجموعات من كتابات طلاب المرحلة الجامعية أو طلاب الدراسات العليا؛ باستثناء مجموعات البيانات التي كتبها الطلاب المتقدمون للدراسة أو الطلاب غير المسجلين في برامج للحصول على درجة علمية أو طلاب المدارس الثانوية، وكذلك مقالات التقديم للجامعات
• تتضمن بيانات وصفية تتعلق باللغة الأم (L1) أو بوضع متعلمي اللغة الإنجليزية، أو ما يُحدد خلاف ذلك (على سبيل المثال، إذا كانت مجموعة البيانات بأكملها من مجموعة واحدة من متعلمي اللغة الأم)
• تتألف في المقام الأول من مقالات، وتقارير، وإجابات مطولة، ومراجعات أدبية، وأطروحات، وكتابات إبداعية، وما إلى ذلك؛ باستثناء مجموعات البيانات التي تتألف حصريًّا من إجابات قصيرة
• تحتوي على ما لا يقل عن 100 وثيقة يبلغ متوسط عدد الكلمات فيها أكثر من 175 كلمة

قمت بإزالة التكرارات من الوثائق وحذفت أي عناصر تقل كلماتها عن 50 كلمة. وبخلاف ذلك، لم أقم سوى بأدنى حد من المعالجة المسبقة لهذه العناصر. واخترت فحص كل نص مرتين باستخدام Pangram 4.1: مرة بعد حذف المقدمة والمراجع، ومرة أخرى مع تضمينهما، ووجدت أن النتيجة لم تتغير. كما قمت بفحص نفس النصوص البالغ عددها 15,420 نصًا باستخدام نموذجنا السابق، Pangram 4، والذي حقق أيضًا صفرًا من النتائج الإيجابية الخاطئة.

وكما هو الحال دائمًا، نستخدم تعريفًا صارمًا لمصطلح «النتائج الإيجابية الخاطئة»: فنعتبر المستند نتيجة إيجابية خاطئة إذا تم تصنيف أي مقطع منه على أنه «مُنتج بالذكاء الاصطناعي» أو «مدعوم بالذكاء الاصطناعي».

لم يتم تدريب برنامج «بانغرام 4.1» أو معايرته على هذه الوثائق، ولذلك يُعد هذا اختبارًا عادلًا لقياس أداء البرنامج مع النصوص غير المألوفة التي يكتبها طلاب الجامعات.

وفي سياق هذا التقييم، قمنا أيضًا بفحص 1,743 نصًا لم ترد في النتائج الرئيسية لأنها لم تستوفِ بعض المعايير (وعادةً ما يتم استبعادها لكونها مكتوبة بواسطة مؤلف يتحدث الإنجليزية كلغة أم)، ولم نجد أي نتائج إيجابية خاطئة فيها.