أظهرت أداة «بانغرام» عدم وجود أي نتائج إيجابية خاطئة في مجموعة متنوعة من مقالات الطلاب
لم يسجل برنامج «بانغرام 4» أي نتائج إيجابية خاطئة على الإطلاق في جميع المقالات البالغ عددها 25,996 مقالًا التي كتبها البشر في مجموعة النصوص «PERSUADE 2.0»، بما في ذلك كل فئة فرعية حسب حالة الإعاقة، والجنس، والمستوى الدراسي، والأصل العرقي، ووضع متعلمي اللغة الإنجليزية (ELL)، والحرمان الاقتصادي.
إليك ملخص موجز
قمنا بتقييم Pangram 4 على مجموعة بيانات PERSUADE 2.0 التي تضم مقالات متنوعة كتبها طلاب، ولم نجد أي نتائج إيجابية خاطئة في جميع المقالات البالغ عددها 25,996 مقالًا. ولم يسجل Pangram أي نتائج إيجابية خاطئة في أي مجموعة فرعية من المجموعات التي تم الإبلاغ عنها.
من المهم فهم كيفية أداء «بانغرام» مع أنواع متنوعة من الكُتّاب. فمجموعات البيانات الخاصة بالمقالات المكتوبة بيد الإنسان والتي تتضمن معلومات ديموغرافية عن الكُتّاب ليست سهلة المنال، لكن تقييم أداء «بانغرام» على النصوص التي ينتجها أنواع مختلفة من الكُتّاب — بما في ذلك الطلاب ذوو الإعاقة، والأشخاص من ذوي البشرة الملونة، والمتحدثون باللغة الإنجليزية كلغة ثانية، والفئات المحرومة اقتصاديًا — أمر ضروري لفهم ما إذا كان النموذج يعامل كل كاتب بإنصاف.
تساعد مجموعة بيانات PERSUADE في معالجة هذه المشكلة. وقد تم تطوير PERSUADE ("مقالات إقناعية لتقييم واختيار وفهم عناصر الحجة والخطاب") بهدف تعزيز إنشاء خوارزميات غير متحيزة لتقييم كتابات الطلاب، وهي عبارة عن مجموعة مصنفة تضم ما يقرب من 26 ألف مقال كتبها طلاب المدارس الإعدادية والثانوية الأمريكية بين عامي 2010 و2020. تغطي مجموعة البيانات طلابًا من خلفيات متنوعة ومستويات قدرات مختلفة، ويتم تصنيف كل مقال بمعلومات ديموغرافية عن كاتبه، مثل الصف الدراسي والجنس والأصل العرقي والخلفية الاجتماعية والاقتصادية.
توفر مجموعة بيانات PERSUADE فرصة ممتازة لتقييم Pangram لسببين. أولاً، لم يتم تدريب Pangram على مجموعة بيانات PERSUADE، لذا يمكننا استخدامها لاختبار مدى قدرة Pangram على التعميم على كتابات الطلاب التي لم يسبق رؤيتها من قبل. ثانياً، تتيح لنا البيانات الديموغرافية لمجموعة PERSUADE — بما في ذلك عينات الكتابة من الفئات السكانية المستضعفة — فحص ما إذا كان أداء Pangram عادلاً عبر المجموعات الديموغرافية المختلفة.
النقطة الأساسية: قمنا بتقييم أداة Pangram 4 على مجموعة بيانات PERSUADE 2.0 التي تضم مقالات متنوعة كتبها الطلاب، ولم نجد أي نتائج إيجابية خاطئة في جميع المقالات البالغ عددها 25,996 مقالًا. كما قمنا بفحص النتائج حسب حالة الإعاقة، والجنس، والصف الدراسي، والعرق والأصل الإثني، ووضع متعلمي اللغة الإنجليزية، والحرمان الاقتصادي. ولم تسجل أداة Pangram أي نتائج إيجابية خاطئة في أي من المجموعات الفرعية التي تم الإبلاغ عنها.
يوضح التفصيل أدناه الكيفية التي عرّف بها الباحثون كل سمة ديموغرافية في مجموعة بيانات PERSUADE، ويُظهر عدد المقالات الممثلة في كل مجموعة.
الإعاقة
يشير مصطلح «حالة الإعاقة» في قاعدة بيانات PERSUADE 2.0 إلى الطلاب الذين لديهم خطة تعليم فردية (IEP) أو خطة 504، وقد يشمل الطلاب الذين يعانون من مجموعة واسعة من صعوبات التعلم أو الحالات الصحية.
| المجموعة | n | FPR |
|---|---|---|
| تم تحديده على أنه شخص ذو إعاقة | 2,688 | 0% |
| لم يتم تحديده على أنه من ذوي الإعاقة | 18,135 | 0% |
| مفقود/لم يتم الإبلاغ عنه | 5,173 | 0% |
النوع الاجتماعي
يتم تحديد الجنس في مجموعة بيانات PERSUADE بناءً على التعريف الذاتي، حيث يتوزع تقريبًا بنسبة 50/50 بين الذكور والإناث. ولم تسجل Pangram أي حالات إيجابية كاذبة في أي من المجموعتين الجنسيتين.
| المجموعة | n | FPR |
|---|---|---|
| أنثى (F) | 13,142 | 0% |
| ذكر (M) | 12,854 | 0% |
الصف الدراسي
لم يسجل برنامج «بانغرام 4» أي نتائج إيجابية خاطئة في جميع المستويات الدراسية التي شملتها الدراسة، مما يدل على متانة برنامج «بانغرام» في التعامل مع العديد من المستويات المختلفة من الكفاءة في الكتابة.
| المجموعة | n | FPR |
|---|---|---|
| الصف السادس | 1,372 | 0% |
| الصف الثامن | 9,629 | 0% |
| الصف التاسع | 2,066 | 0% |
| الصف العاشر | 8,274 | 0% |
| الصف الحادي عشر | 3,083 | 0% |
| الصف الثاني عشر | 404 | 0% |
| مفقود/لم يتم الإبلاغ عنه | 1,168 | 0% |
الانتماء العرقي
تم تصنيف غالبية الكُتّاب المسجلين في قاعدة بيانات PERSUADE على أنهم من العرق الأبيض (45٪)، يليهم من أصل إسباني (25٪)، ثم من العرق الأسود (19٪)، وهو ما يعكس بشكل عام التوزيع الديموغرافي للطلاب في الولايات المتحدة.
| المجموعة | n | FPR |
|---|---|---|
| أبيض | 11,571 | 0% |
| من أصل إسباني/لاتيني | 6,560 | 0% |
| السود/الأمريكيون من أصل أفريقي | 4,959 | 0% |
| من أصل آسيوي أو من جزر المحيط الهادئ | 1,743 | 0% |
| سباقان أو أكثر/أخرى | 1,022 | 0% |
| الهنود الأمريكيون/سكان ألاسكا الأصليون | 141 | 0% |
وضع متعلم اللغة الإنجليزية (ELL)
في حين أشارت بعض الأبحاث المبكرة إلى أن برامج الكشف القائمة على الذكاء الاصطناعي القديمة ربما أظهرت تحيزًا ضد اللغة الإنجليزية كلغة ثانية ومتعلمي اللغة الإنجليزية، فقد أثبتت «بانغرام» عدم وجود أي تحيز يذكر ضد هؤلاء المؤلفين، كما سجلت معدل خطأ إيجابي كاذب (FPR) بنسبة 0% فيما يتعلق بطلاب متعلمي اللغة الإنجليزية في مجموعة بيانات «بيرسويد».
| المجموعة | n | FPR |
|---|---|---|
| ELL | 2,244 | 0% |
| ليس متعلمًا للغة الإنجليزية | 22,451 | 0% |
| مفقود/لم يتم الإبلاغ عنه | 1,301 | 0% |
الحرمان الاقتصادي
يُعرَّف الحرمان الاقتصادي في مجموعة نصوص «PERSUADE» بأنه أهلية الطالب للحصول على بعض أشكال المساعدة الفيدرالية، مثل وجبات الغداء المدرسية المجانية أو بأسعار مخفضة، وبرامج المساعدة الغذائية التكميلية.
| المجموعة | n | FPR |
|---|---|---|
| المحرومون اقتصاديًّا | 9,643 | 0% |
| من المرجح ألا يكونوا من الفئات المحرومة اقتصاديًا | 11,116 | 0% |
| مفقود/لم يتم الإبلاغ عنه | 5,237 | 0% |
الخلاصة
في جميع المقالات البالغ عددها 25,996 مقالًا التي كتبها بشر في مجموعة النصوص «PERSUADE 2.0»، لم يسجل «Pangram 4» أي نتائج إيجابية خاطئة في أي مجموعة فرعية، بما في ذلك حالة الإعاقة، والجنس، والمستوى الدراسي، والأصل العرقي، ووضع متعلمي اللغة الإنجليزية، والحرمان الاقتصادي. وتشير هذه النتيجة إلى أن «Pangram» قادر على التعميم بشكل جيد على مجموعات متنوعة من المؤلفين دون أن يصنف أعمال هؤلاء الكتاب بشكل غير متناسب على أنها من إنتاج الذكاء الاصطناعي.
نهدف إلى تقليل حالات الإيجابية الكاذبة إلى أدنى حد ممكن في جميع مجموعات المؤلفين، ويُعد التقييم المستمر أمرًا مهمًا. ومع ذلك، في نطاق مشروع PERSUADE 2.0، يُظهر Pangram 4 عدم وجود أي حالات إيجابية كاذبة في جميع المجموعات الفرعية الديموغرافية.
المراجع
كاثرين تاي هي عالمة أبحاث الذكاء الاصطناعي المؤسِّسة في «بانغرام لابس»، وهي شركة ناشئة متخصصة في مجال الكشف باستخدام الذكاء الاصطناعي. وقد حصلت على درجة الدكتوراه في علوم الحاسوب تحت إشراف موهيت إير في جامعة ماساتشوستس أمهرست في ديسمبر 2025، حيث ركزت أبحاثها على تقييم النماذج اللغوية الكبيرة (LLMs) في المهام المتعلقة بالتحليل الأدبي.
مقالات ذات صلة
تتزايد نسبة الأوراق البحثية في مؤتمرات الذكاء الاصطناعي التي تُكتب بواسطة الذكاء الاصطناعي: بزيادة قدرها 370% منذ عام 2023
يتم نشر 60 ألف مقال إخباري تم إنشاؤها بواسطة الذكاء الاصطناعي يوميًا
الذكاء الاصطناعي يكتب روايات حائزة على جوائز
كيف يقارن موقع Pangram بموقع GPTZero؟
كيف يستخدم Gradpilot برنامج Pangram لمساعدة الطلاب على إيجاد أسلوبهم الخاص
تقييمات البانغرام من قبل أطراف ثالثة
