الانتقال إلى المحتوى الرئيسي
التعليم في مجال الذكاء الاصطناعي

ما مدى دقة ميزة "Pangram AI Detection" في ESL؟

يحافظ كاشف الذكاء الاصطناعي من Pangram على معدل منخفض للنتائج الإيجابية الخاطئة في نصوص الكتابة باللغة الإنجليزية كلغة ثانية — كيف نقيس التحيز ضد المتحدثين غير الناطقين باللغة الإنجليزية ونعمل على التخفيف منه.

13 مايو 2026

تم التحديث في مايو 2026 مع إصدار Pangram 3.3

من الانتقادات الشائعة الموجهة إلى أدوات الكشف عن الكتابة الآلية أنها تنطوي على تحيز ضد المتحدثين باللغة الإنجليزية غير الناطقين بها. ويُشار إلى النصوص التي يكتبها المتحدثون باللغة الإنجليزية غير الناطقين بها بمصطلح ESL (اللغة الإنجليزية كلغة ثانية)، أو بشكل أدق، ELL (متعلمو اللغة الإنجليزية). وقد أوضحنا في مقالات سابقة الأسباب التي تجعل أدوات الكشف الأخرى التي تعتمد على مؤشري «الارتباك» و«التقلب» عرضة لهذا الخلل.

غالبًا ما يكتب غير الناطقين باللغة الإنجليزية بلغة إنجليزية أكثر ثباتًا وانتظامًا مقارنةً بالناطقين الأصليين، وتخطئ أدوات الكشف القائمة على «التقطّع» في تفسير هذا الانتظام على أنه ناتج عن الذكاء الاصطناعي. ولذلك، فقد فشلت المحاولات السابقة للكشف عن الذكاء الاصطناعي؛ حيث غالبًا ما أخطأت في تصنيف النصوص المكتوبة من قبل متعلمي اللغة الإنجليزية كلغة ثانية (ESL) على أنها نصوص مولدة بواسطة الذكاء الاصطناعي، مما أدى إلى ارتفاع معدل النتائج الإيجابية الخاطئة في حالة نصوص متعلمي اللغة الإنجليزية كلغة ثانية.

الدراسات السابقة حول الكشف عن الذكاء الاصطناعي و ESL

نُشرت دراسة بارزة من جامعة ستانفورد في يوليو 2023 من إعداد ويشين ليانغ وجيمس زو وآخرين، زعمت أن أدوات الكشف عن GPT تنطوي على تحيز ضد الكُتّاب غير الناطقين باللغة الإنجليزية. ورغم أن الدراسة أُجريت على عينة صغيرة الحجم (91 مقالًا فقط من امتحان TOEFL)، ووجود بعض العيوب المنهجية (قرر المؤلفون تصنيف النصوص البشرية المعدلة بواسطة GPT-4 على أنها «بشرية» عند اختبار أدوات الكشف)، إلا أن النتائج أظهرت بشكل عام أظهرت النتائج أن أجهزة الكشف السبعة التي تعمل بالذكاء الاصطناعي والتي تم اختبارها (لم يتم اختبار Pangram في هذه الدراسة) أظهرت تحيزًا قويًّا ضد الكتابة باللغة الإنجليزية كلغة ثانية (ESL)، حيث تم تصنيف أكثر من 60% من عينات الكتابة البشرية باللغة الإنجليزية كلغة ثانية على أنها من إنتاج الذكاء الاصطناعي.

أجرت دراسة أحدث صدرت في أغسطس 2024 عن مؤسسة ETS — وهي مركز خدمات الاختبارات الذي يدير اختبار GRE، وهو اختبار موحد للقبول في الدراسات العليا — دراسة على نطاق أوسع شملت حوالي 2000 عينة كتابية من متحدثين غير ناطقين باللغة الإنجليزية في اختبار GRE، وذلك باستخدام أدوات كشف بسيطة تعتمد على التعلم الآلي تم تدريبها على سمات تم تحديدها يدويًّا، بما في ذلك مؤشر «الارتباك» (perplexity). ولم يجد الباحثون أي تحيز في أجهزة الكشف الخاصة بهم ضد المتحدثين باللغة الإنجليزية غير الناطقين بها، على الرغم من أن الإطار التجريبي كان مبسطًا للغاية ومصطنعًا، وهناك اختلافات مهمة بين هذه الدراسة والواقع الفعلي. علاوة على ذلك، لم يدرسوا أجهزة الكشف التجارية التي تُستخدم فعليًّا في الممارسة العملية. ومع ذلك، تسلط الدراسة الضوء على نقطة مثيرة للاهتمام: عندما تكون البيانات الواردة من المتحدثين باللغة الإنجليزية غير الناطقين بها ممثلة بشكل كافٍ في مجموعة التدريب، يتم التخفيف من التحيز الناتج بشكل كافٍ.

أداء بانغرام في برنامج ESL

من أجل قياس معدل النتائج الإيجابية الخاطئة لـ «بانغرام» على بيانات اللغة الإنجليزية كلغة ثانية (ESL)، قمنا بتشغيل كاشف الذكاء الاصطناعي الخاص بـ «بانغرام» على أربع مجموعات بيانات عامة خاصة باللغة الإنجليزية كلغة ثانية (وقد استبعدنا هذه المجموعات من عملية التدريب، حتى لا يحدث أي تسرب بين بيانات التدريب والاختبار).

تشمل مجموعات البيانات التي ندرسها ما يلي:

فيما يلي النتائج.

مجموعة البياناتمعدل الإيجابية الكاذبةحجم العينة
إليبس0%3,907
ICNALE0%5,600
PELIC0.019%15,423
ليانغ تووفل0%91
بشكل عام0.012%25,021

يبلغ معدل الإيجابية الكاذبة الإجمالي لـ «بانغرام» 0.012٪، وهو معدل لا يزيد بشكل ملحوظ عن معدل الإيجابية الكاذبة العام لدينا البالغ 0.01٪.

بانغرام مقابل تورنتيتين

نقوم بمقارنة برنامج «بانغرام» مباشرةً ببرنامج «تورنيتين» باستخدام نفس مجموعات البيانات التي استخدمها «تورنيتين» في تقييم علني لمؤشر الكتابة القائم على الذكاء الاصطناعي الخاص به.

نقوم بتقييم كل من اللغة الإنجليزية "L1" (غير الإنجليزية كلغة ثانية) و"L2" (الإنجليزية كلغة ثانية) باستخدام نفس مجموعات البيانات التي يستخدمها برنامج Turnitin. ونظرًا لأن برنامج Turnitin لا يقوم بتقييم المستندات التي يقل عدد كلماتها عن 300 كلمة، فإننا نطبق نفس معايير التصفية على مجموعة البيانات قبل إجراء التقييم.

مجموعة البياناتبانجرام FPRTurnitin FPR
اللغة الإنجليزية L2 300+ كلمة0.02%1.4%
L1 الإنجليزية 300+ كلمة0.00%1.3%

لقد وجدنا أن معدل النتائج الإيجابية الخاطئة لـ «بانغرام» في النصوص المكتوبة باللغة الإنجليزية كلغة ثانية (ESL) أقل بنحو 70 ضعفًا من معدل «تورنيتين»، كما أن «بانغرام» لم يكتشف أي نتائج إيجابية خاطئة في النصوص المكتوبة باللغة الإنجليزية كلغة أم في هذه الدراسة.

بانغرام مقابل GPTZero

تشير GPTZero إلى أن معدل النتائج الإيجابية الخاطئة في الدراسة الأصلية التي أجراها ليانغ حول اختبار TOEFL يبلغ 1.1٪، على الرغم من أن 6.6٪ من مجموعة بيانات ليانغ الخاصة باختبار TOEFL قد صُنفت خطأً على أنها «محتوى محتمل للذكاء الاصطناعي».

وبالمقارنة، لم تسجل Pangram أي نتيجة إيجابية خاطئة في مجموعة بيانات Liang الخاصة باختبار TOEFL، ونحن واثقون تمامًا من صحة كل مثال.

كيف تعمل Pangram على الحد من النتائج الإيجابية الخاطئة في اختبارات الكتابة للناطقين بغير اللغة الإنجليزية؟

في Pangram، نولي اهتمامًا بالغًا بأدائنا في التعامل مع النصوص غير المكتوبة باللغة الإنجليزية الأصلية، ولهذا السبب استخدمنا عدة استراتيجيات للحد من حالات الإبلاغ الخاطئة في نموذجنا للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي.

البيانات

لا تحقق نماذج التعلم الآلي أداءً جيدًا خارج نطاق التوزيع الذي تم تدريبها عليه، ولذلك نحرص على تضمين نصوص غير مكتوبة باللغة الإنجليزية في قاعدة البيانات الخاصة بنا.

ومع ذلك، فإننا لا نكتفي بذلك. ففي حين تركز أدوات الكشف عن الكتابة الآلية الأخرى بشكل خاص على كتابات الطلاب والمقالات الأكاديمية فقط، فإننا نقوم بتدريب نموذجنا على نطاق واسع من النصوص. غالبًا ما تعاني أدوات الكشف عن الكتابة التي تعتمد على الذكاء الاصطناعي، والتي تم تدريبها على المقالات فقط، من نقص تمثيل اللغة الإنجليزية الأكثر عفوية وتحدثية في مجموعة التدريب. على النقيض من ذلك، نستخدم نصوصًا من وسائل التواصل الاجتماعي، والمراجعات، والنصوص العامة على الإنترنت التي غالبًا ما تكون غير رسمية وأكثر تمثيلاً للكتابة غير المثالية التي تشبه اللغة الإنجليزية التي يستخدمها المتحدثون غير الناطقين بها أو متعلمو اللغة الإنجليزية.

كما نحرص على تضمين المصادر التي قد تحتوي على نصوص مكتوبة باللغة الإنجليزية من قبل غير الناطقين بها، حتى لو لم تكن تلك المصادر عبارة عن مجموعات بيانات خاصة بتعليم اللغة الإنجليزية كلغة ثانية (ESL) على وجه التحديد. على سبيل المثال، تُعد النصوص الإنجليزية الموجودة على مواقع الويب ذات النطاقات الأجنبية مصدرًا رائعًا للنصوص المكتوبة باللغة الإنجليزية من قبل غير الناطقين بها.

القدرات متعددة اللغات

وعلى عكس أدوات الكشف عن الذكاء الاصطناعي الأخرى، فإننا لا نقتصر في عملنا على اللغة الإنجليزية فقط. بل إننا لا نضع أي قيود على لغة النموذج الذي نستخدمه: فسوف نستخدم جميع اللغات الموجودة على الإنترنت لتدريب نموذجنا، بحيث يحقق أداءً جيدًا مع جميع اللغات الشائعة.

لقد كتبنا سابقًا عن أدائنا الممتاز في مجال اللغات المتعددة، ونعتقد أن التقنيات التي استخدمناها لإنجاح عمل Pangram في لغات أخرى يمكن تطبيقها بنجاح كبير أيضًا على تعلم اللغة الإنجليزية كلغة ثانية (ESL).

ورغم أننا لا نستطيع التأكد تمامًا من الآليات المسؤولة عن هذا التعميم والنقل الجيدين، فإننا نعتقد أن لغة الإنجليزية كلغة ثانية (ESL) يمكن اعتبارها تقريبًا لغة مجاورة للغة الإنجليزية. ومن خلال تحسين النموذج ليحقق أداءً جيدًا في جميع اللغات، لا يمكن للنموذج أن يفرط في التكيف مع أي أنماط لغوية محددة، أو تركيبات نحوية، أو اختيارات لفظية خاصة بالطرق الشائعة لتعبير الأفكار في أي لغة معينة. من خلال النظر إلى النصوص البشرية بجميع اللغات، نعلّم النموذج كيف يكتب جميع البشر، وليس فقط المتحدثين الأصليين باللغة الإنجليزية. وهذا يجعل النموذج أقل عرضة للتركيز بشكل خاطئ على الأنماط الاصطلاحية التي يعبر عنها المتحدثون الأصليون.

التعلم التفاعلي

إن نهجنا القائم على التعلم النشط هو السبب في أن Pangram أكثر دقة بكثير، كما أنه يقلل بشكل ملحوظ من عدد النصوص البشرية التي يُصنفها خطأً على أنها نصوص مولدة بالذكاء الاصطناعي، مقارنةً بالمنافسين.

من خلال التناوب بشكل متكرر بين التدريب و«التعدين السلبي المكثف»، نتمكن من العثور على الأمثلة البشرية الأكثر تشابهاً مع النصوص التي يولدها الذكاء الاصطناعي لاستخدامها في التدريب. ولا يقتصر دور هذه الطريقة على الكشف عن الأمثلة البشرية الأكثر تشابهاً مع النصوص التي يولدها الذكاء الاصطناعي — مما يساعد النموذج على فهم الفروق الدقيقة بين النصوص المكتوبة بلغة ثانية (ESL) والنصوص التي يولدها الذكاء الاصطناعي — بل إنها تساعدنا أيضاً في العثور على أمثلة مشابهة للنصوص المكتوبة بلغة ثانية (ESL) يمكن نقلها بشكل جيد، مما يساعد النموذج على تعلم أنماط أفضل بشكل عام.

استراتيجيات الحث

عند إنشاء أمثلة للذكاء الاصطناعي ليتعلم منها النموذج، نحاول استخدام مجموعة شاملة ومتنوعة من المطالبات حتى يتمكن النموذج من التعميم على أنماط الكتابة المختلفة. على سبيل المثال، غالبًا ما نضيف عبارات توضيحية في نهاية مطالباتنا مثل "اكتب هذا المقال بأسلوب طالب في المرحلة الثانوية" أو "اكتب هذا المقال بأسلوب شخص غير ناطق باللغة الإنجليزية كلغة أم".

من خلال إنتاج هذا العدد الكبير من الأساليب الكتابية المختلفة، لا يقتصر تعلم النموذج على الطريقة الافتراضية التي تكتب بها نماذج اللغة المدعومة بالذكاء الاصطناعي فحسب، بل إنه يتعلم الأنماط الأساسية الكامنة وراء النصوص التي تنتجها الذكاء الاصطناعي.

من الناحية الإحصائية، نقوم بتصميم مسار إنتاج النصوص المقلدة لدينا بطريقة تجعل نموذجنا في النهاية غير متأثر بالسمات غير ذات الصلة، مثل الموضوع أو مستوى الكتابة أو النبرة. ومن خلال توجيه النموذج بطرق تتوافق مع سمات النص البشري، فإننا نضمن عدم التأثر هذه من خلال توفير عدد متساوٍ من الأمثلة البشرية وأمثلة الذكاء الاصطناعي التي تظهر كل سمة.

التقييم الدقيق وضمان الجودة

وأخيرًا، نطبق عملية تقييم وضمان الجودة شاملة ودقيقة للغاية قبل الموافقة على كل تحديث جديد للطراز.

في عملية التقييم، نركز على كل من الجودة والكمية. على سبيل المثال، لا تحتوي مجموعة بيانات Liang TOEFL سوى على 91 مثالاً، لذا لن نتمكن من الحصول سوى على تقدير تقريبي للغاية لمعدل الإيجابيات الخاطئة في ESL إذا اعتمدنا على مجموعة بيانات Liang TOEFL وحدها. وإذا أخطأنا في مثال واحد فقط، فسوف نبلغ عن معدل إيجابي كاذب يبلغ 1.1٪، وبالتالي لن نتمكن من التمييز بين النماذج التي لديها بالفعل معدل إيجابي كاذب حقيقي أقل من 1٪.

نظرًا لأننا نسعى جاهدين إلى تحقيق معدل إيجابيات خاطئة أقل بكثير من 1% (حيث يتراوح معدل الإيجابيات الخاطئة المستهدف لدينا بين 1 من كل 10,000 و1 من كل 100,000)، فإننا بحاجة إلى تحليل ملايين الأمثلة حتى نتمكن من تأكيد الدقة عند هذا المستوى.

كما أن إجراء تقييم واسع النطاق يساعدنا على اكتساب فهم أعمق لأنماط الفشل التي يظهرها نموذجنا، وتصحيحها بمرور الوقت من خلال الحصول على بيانات أفضل وابتكار استراتيجيات خوارزمية أكثر فعالية تستهدف حالات الفشل هذه على وجه التحديد.

هل يمكن الوثوق بأجهزة الكشف عن الذكاء الاصطناعي في ESL؟

من خلال قياساتنا ونتائج التقييم التفصيلية واستراتيجيات التخفيف القابلة للتفسير، نعتقد أن Pangram يتمتع بدقة كافية في التعامل مع المتحدثين غير الناطقين باللغة الإنجليزية، مما يجعله قابلاً للتطبيق في البيئة التعليمية.

ومع ذلك، فإن وجود أداة كشف عن طريق الذكاء الاصطناعي خالية تمامًا من التحيز لا يكفي لمنع جميع أشكال التحيز في عملية النزاهة الأكاديمية. يجب على المعلمين أن يدركوا أن التحيز قد يظهر بطرق غير واعية. على سبيل المثال، إذا كان المعلم يميل إلى استخدام أداة الكشف عن طريق الذكاء الاصطناعي على الأعمال المقدمة من الطلاب غير الناطقين باللغة الإنجليزية بشكل أساسي، بسبب شك لا شعوري في أن طلاب اللغة الإنجليزية كلغة ثانية أقل صدقًا، فإن ذلك يعد شكلاً من أشكال التحيز.

بالإضافة إلى ذلك، يجب أن يدرك المعلمون أن الطلاب غير الناطقين باللغة الإنجليزية يعانون من عوائق متأصلة في المجال الأكاديمي مقارنة بنظرائهم الناطقين باللغة الإنجليزية. فطلاب اللغة الإنجليزية كلغة ثانية (ESL) أكثر عرضة لاستخدام أدوات خارجية مثل ChatGPT لتحسين كتاباتهم، وهو ما يؤدي — عند استخدامه بكميات كافية — إلى تنبيه برامج الكشف عن الذكاء الاصطناعي. ولهذا السبب نوصي باستخدام «مقياس بيركنز لتقييم الذكاء الاصطناعي» لتسهيل التواصل الواضح مع الطلاب حول أنواع المساعدة التي يُسمح بها من الذكاء الاصطناعي وتلك التي لا يُسمح بها.

وأخيرًا، نحن نعلم أن الطلاب يلجأون إلى الغش عندما يتعرضون للتوتر والضغط، أو عندما يشعرون أن استخدام أداة الذكاء الاصطناعي هو السبيل الوحيد الذي يمكنهم من خلاله تحقيق النجاح. ونحن نشجع المعلمين على معالجة هذه العوامل بشكل استباقي من خلال تقديم الدعم لهؤلاء الطلاب، والتوضيح بوضوح لنوع المساعدة المتاحة والمسموح بها، وربما إعادة النظر في استراتيجيات التقييم التي لا تتوقع إتقان اللغة الإنجليزية بشكل مثالي من الطلاب الذين يلتحقون بالفصل وهم يعانون بالفعل من أوضاع غير مواتية.

ينبغي استخدام "بانغرام" كأداة للمساعدة في تعزيز النزاهة الأكاديمية، حتى يتمكن المعلمون من فهم أفضل السبل التي يمكنهم اتباعها لدعم تعلم طلابهم.

لمعرفة المزيد عن أبحاثنا والطرق التي نتبعها للحد من التحيز في برامجنا للكشف عن الذكاء الاصطناعي، يرجى الاتصال بنا على العنوان info@pangram.com.


برادلي إيمي
برادلي إيميالرئيس التنفيذي للتكنولوجيا، الشريك المؤسس

برادلي باحث في مجال الذكاء الاصطناعي وخبير في تطوير منتجات التعلم العميق في القطاع الصناعي. وقد تولى مؤخرًا قيادة مجموعة أبحاث التعلم العميق في شركة «أبسكي» (Absci)، وهي شركة متخصصة في اكتشاف الأدوية باستخدام الذكاء الاصطناعي التوليدي، وكان قبل ذلك عضوًا في الفريق الأساسي للرؤية الحاسوبية في نظام «تيسلا أوتوبيلوت» (Tesla Autopilot).

المزيد من برادلي إيمي

مقالات ذات صلة

تحدي التقييم
التعليم في مجال الذكاء الاصطناعي

تحدي التقييم

2 ديسمبر 2025
هل موقع «بانغرام» دقيق؟
التعليم في مجال الذكاء الاصطناعي

هل موقع «بانغرام» دقيق؟

16 أكتوبر 2026
هل تظل صورتك حقيقية بعد تعديلها بواسطة الذكاء الاصطناعي؟
التعليم في مجال الذكاء الاصطناعي

هل تظل صورتك حقيقية بعد تعديلها بواسطة الذكاء الاصطناعي؟

28 سبتمبر 2026
نهج متعدد الأبعاد للنزاهة الأكاديمية في عصر الذكاء الاصطناعي (بالتعاون مع كريس أوسترو)
التعليم في مجال الذكاء الاصطناعي

نهج متعدد الأبعاد للنزاهة الأكاديمية في عصر الذكاء الاصطناعي (بالتعاون مع كريس أوسترو)

8 ديسمبر 2025
ماذا تفعل عندما يتم الإبلاغ عن عمل أحد الطلاب باعتباره من إنتاج الذكاء الاصطناعي
التعليم في مجال الذكاء الاصطناعي

ماذا تفعل عندما يتم الإبلاغ عن عمل أحد الطلاب باعتباره من إنتاج الذكاء الاصطناعي

21 مايو 2026
لماذا تفشل مفاهيم «الحيرة» و«التقلب» في الكشف عن الذكاء الاصطناعي
التعليم في مجال الذكاء الاصطناعي

لماذا تفشل مفاهيم «الحيرة» و«التقلب» في الكشف عن الذكاء الاصطناعي

4 مارس 2025