ما مدى دقة ميزة "Pangram AI Detection" في ESL؟

تم التحديث في مايو 2026 مع [إصدار Pangram 3.3]

من الانتقادات الشائعة الموجهة إلى أدوات الكشف عن الكتابة الآلية أنها تنطوي على تحيز ضد المتحدثين باللغة الإنجليزية غير الناطقين بها. ويُشار إلى النصوص التي يكتبها المتحدثون باللغة الإنجليزية غير الناطقين بها بمصطلح ESL (اللغة الإنجليزية كلغة ثانية)، أو بشكل أدق، ELL (متعلمو اللغة الإنجليزية). وقد أوضحنا في مقالات سابقة الأسباب التي تجعل أدوات الكشف الأخرى التي تعتمد على مؤشري «الارتباك» و«التقلب» عرضة لهذا الخلل.

لا يمتلك المتحدثون باللغة الإنجليزية غير الناطقين بها الثراء اللغوي الكافي أو الإلمام الكافي بأنماط بناء الجمل الإنجليزية المعقدة لكتابة نصوص تتسم بدرجة عالية من التقطع. ولذلك، فقد باءت المحاولات السابقة للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي بالفشل: حيث غالبًا ما أخطأت في تصنيف النصوص المكتوبة من قبل متعلمي اللغة الإنجليزية كلغة ثانية (ESL) على أنها نصوص مولدة بواسطة الذكاء الاصطناعي، مما أدى إلى ارتفاع معدل النتائج الإيجابية الخاطئة في حالة نصوص ESL.

الدراسات السابقة حول الكشف عن الذكاء الاصطناعي و ESL

نُشرت دراسة بارزة من جامعة ستانفورد في يوليو 2023 من إعداد ويكسين ليانغ وجيمس زو وآخرين، زعمت أن أجهزة الكشف عن GPT تنطوي على تحيز ضد الكُتّاب غير الناطقين باللغة الإنجليزية. على الرغم من أن الدراسة أجريت على عينة صغيرة الحجم (91 مقالًا فقط من امتحان TOEFL)، وكانت هناك بعض العيوب المنهجية (قرر المؤلفون تصنيف النص البشري المعدل بواسطة GPT-4 على أنه "بشري" عند اختبار أجهزة الكشف)، إلا أن النتائج أظهرت بشكل عام أظهرت النتائج أن أجهزة الكشف السبعة التي تعمل بالذكاء الاصطناعي (لم يتم اختبار Pangram في هذه الدراسة) أظهرت تحيزًا قويًا ضد الكتابة باللغة الإنجليزية كلغة ثانية، حيث تم تصنيف أكثر من 60٪ من عينات الكتابة البشرية باللغة الإنجليزية كلغة ثانية على أنها من صنع الذكاء الاصطناعي.

أجرت دراسة حديثة صدرت في أغسطس 2024 عن مؤسسة ETS، وهي مركز خدمات الاختبارات الذي يدير اختبار GRE، وهو اختبار موحد للقبول في الدراسات العليا، دراسةً على نطاق أوسع شملت حوالي 2000 عينة كتابة من متحدثين غير ناطقين باللغة الإنجليزية في اختبار GRE، وذلك باستخدام أدوات كشف بسيطة تعتمد على التعلم الآلي تم تدريبها على سمات تم تحديدها يدويًّا، بما في ذلك مؤشر الارتباك (perplexity). لم يجدوا أي تحيز في أجهزة الكشف الخاصة بهم ضد اللغة الإنجليزية غير الأم، على الرغم من أن الإعداد التجريبي كان مبسطًا للغاية ومصطنعًا، وهناك اختلافات مهمة بين هذه الدراسة والعالم الحقيقي. علاوة على ذلك، لم يدرسوا أجهزة الكشف التجارية التي تُستخدم فعليًا في الممارسة العملية. ومع ذلك، تسلط الدراسة الضوء على نقطة مثيرة للاهتمام: عندما تكون البيانات من المتحدثين باللغة الإنجليزية غير الأم ممثلة بشكل كافٍ في مجموعة التدريب، يتم التخفيف من التحيز الناتج بشكل كافٍ.

أداء بانغرام في برنامج ESL

من أجل قياس معدل النتائج الإيجابية الخاطئة لـ Pangram على بيانات اللغة الإنجليزية كلغة ثانية (ESL)، قمنا بتشغيل كاشف الذكاء الاصطناعي الخاص بـ Pangram على أربع مجموعات بيانات عامة للغة الإنجليزية كلغة ثانية (وقد استبعدنا هذه المجموعات من عملية التدريب، حتى لا يحدث أي تسرب بين بيانات التدريب والاختبار).

تشمل مجموعات البيانات التي ندرسها ما يلي:

• مجموعة بيانات ELLIPSE لتعلم اللغة الإنجليزية

• المجموعة الدولية لمتعلمي اللغة الإنجليزية من آسيا

• مجموعة نصوص تعليم اللغة الإنجليزية في بيتسبرغ

• مجموعة بيانات اختبار TOEFL المستمدة من دراسة ليانغ وآخرين التي أُجريت في جامعة ستانفورد

فيما يلي النتائج.

يبلغ معدل الإيجابيات الخاطئة الإجمالي في Pangram 0.078٪، وهو معدل لا يزيد بشكل ملحوظ عن معدل الإيجابيات الخاطئة العام لدينا البالغ 0.01٪.

بانغرام مقابل تيرنت إيت إن

نقوم بمقارنة Pangram مباشرةً مع TurnItIn باستخدام نفس مجموعات البيانات التي استخدمتها TurnItIn في تقييم عام لمؤشر الكتابة القائم على الذكاء الاصطناعي الخاص بها.

نقوم بتقييم كل من اللغة الإنجليزية "L1" (غير المتعلمة كلغة ثانية) و"L2" (المتعلمة كلغة ثانية) على نفس مجموعات البيانات التي يستخدمها TurnItIn. ونظرًا لأن TurnItIn لا يقوم بتقييم المستندات التي يزيد طولها عن 300 كلمة، فإننا نطبق نفس عملية التصفية على مجموعة البيانات قبل إجراء التقييم.

وقد وجدنا أن "بانغرام" أكثر دقة بمقدار مرتبتين مقارنة بـ"تيرنيت إن" عند تحليل النصوص المكتوبة باللغة الإنجليزية كلغة ثانية، كما لم يكتشف "بانغرام" أي نتائج إيجابية خاطئة في النصوص المكتوبة باللغة الإنجليزية كلغة أم في هذه الدراسة.

بانغرام مقابل GPTZero

تشير GPTZero إلى أن معدل النتائج الإيجابية الخاطئة في الدراسة الأصلية التي أجراها ليانغ حول اختبار TOEFL يبلغ 1.1٪، على الرغم من أن 6.6٪ من مجموعة بيانات ليانغ الخاصة باختبار TOEFL قد صُنفت خطأً على أنها «محتوى محتمل للذكاء الاصطناعي».

وبالمقارنة، لم تسجل Pangram أي نتيجة إيجابية خاطئة في مجموعة بيانات Liang الخاصة باختبار TOEFL، ونحن واثقون تمامًا من صحة كل مثال.

كيف تعمل Pangram على الحد من النتائج الإيجابية الخاطئة في اختبارات الكتابة للناطقين بغير اللغة الإنجليزية؟

في Pangram، نولي اهتمامًا بالغًا بأدائنا في التعامل مع النصوص غير المكتوبة باللغة الإنجليزية الأصلية، ولهذا السبب استخدمنا عدة استراتيجيات للحد من حالات الإبلاغ الخاطئة في نموذجنا للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي.

البيانات

لا تحقق نماذج التعلم الآلي أداءً جيدًا خارج نطاق التوزيع الذي تم تدريبها عليه، ولذلك نحرص على تضمين نصوص غير مكتوبة باللغة الإنجليزية في قاعدة البيانات الخاصة بنا.

ومع ذلك، فإننا لا نكتفي بذلك. ففي حين تركز أدوات الكشف عن الكتابة الآلية الأخرى بشكل خاص على كتابات الطلاب والمقالات الأكاديمية فقط، فإننا نقوم بتدريب نموذجنا على نطاق واسع من النصوص. غالبًا ما تعاني أدوات الكشف عن الكتابة التي تعتمد على الذكاء الاصطناعي، والتي تم تدريبها على المقالات فقط، من نقص تمثيل اللغة الإنجليزية الأكثر عفوية وتحدثية في مجموعة التدريب. على النقيض من ذلك، نستخدم نصوصًا من وسائل التواصل الاجتماعي، والمراجعات، والنصوص العامة على الإنترنت التي غالبًا ما تكون غير رسمية وأكثر تمثيلاً للكتابة غير المثالية التي تشبه اللغة الإنجليزية التي يستخدمها المتحدثون غير الناطقين بها أو متعلمو اللغة الإنجليزية.

كما نحرص على تضمين المصادر التي قد تحتوي على نصوص مكتوبة باللغة الإنجليزية من قبل غير الناطقين بها، حتى لو لم تكن هذه المصادر عبارة عن مجموعات بيانات مخصصة لتعليم اللغة الإنجليزية كلغة ثانية (ESL). فعلى سبيل المثال، تُعد النصوص الإنجليزية الموجودة على مواقع الويب ذات النطاقات الأجنبية مصدراً رائعاً للنصوص المكتوبة باللغة الإنجليزية من قبل غير الناطقين بها.

القدرات متعددة اللغات

وعلى عكس أدوات الكشف عن الذكاء الاصطناعي الأخرى، فإننا لا نقتصر في عملنا على اللغة الإنجليزية فقط. بل إننا لا نضع أي قيود على لغة النموذج الذي نستخدمه: فسوف نستخدم جميع اللغات الموجودة على الإنترنت لتدريب نموذجنا، بحيث يحقق أداءً جيدًا مع جميع اللغات الشائعة.

لقد كتبنا سابقًا عن أدائنا الممتاز في مجال اللغات المتعددة، ونعتقد أن التقنيات التي استخدمناها لإنجاح عمل Pangram في لغات أخرى يمكن تطبيقها بنجاح كبير أيضًا على تعلم اللغة الإنجليزية كلغة ثانية (ESL).

ورغم أننا لا نستطيع التأكد تمامًا من الآليات المسؤولة عن هذا التعميم والنقل الجيدين، فإننا نعتقد أن لغة الإنجليزية كلغة ثانية (ESL) يمكن اعتبارها تقريبًا لغة مجاورة للغة الإنجليزية. ومن خلال تحسين النموذج ليحقق أداءً جيدًا في جميع اللغات، لا يمكن للنموذج أن يفرط في التكيف مع أي أنماط لغوية محددة، أو تركيبات نحوية، أو اختيارات لفظية خاصة بالطرق الشائعة لتعبير الأفكار في أي لغة معينة. من خلال النظر إلى النصوص البشرية بجميع اللغات، نعلّم النموذج كيف يكتب جميع البشر، وليس فقط المتحدثين الأصليين باللغة الإنجليزية. وهذا يجعل النموذج أقل عرضة للتركيز بشكل خاطئ على الأنماط الاصطلاحية التي يعبر عنها المتحدثون الأصليون.

التعلم التفاعلي

إن نهجنا القائم على التعلم النشط هو السبب في أن Pangram أكثر دقة بكثير، كما أنه يقلل بشكل ملحوظ من عدد النصوص البشرية التي يُصنفها خطأً على أنها نصوص مولدة بالذكاء الاصطناعي، مقارنةً بالمنافسين.

من خلال التناوب بشكل متكرر بين التدريب و«التعدين السلبي المكثف»، نتمكن من العثور على الأمثلة البشرية الأكثر تشابهاً مع النصوص التي يولدها الذكاء الاصطناعي لاستخدامها في التدريب. ولا يقتصر دور هذه الطريقة على الكشف عن الأمثلة البشرية الأكثر تشابهاً مع النصوص التي يولدها الذكاء الاصطناعي — مما يساعد النموذج على فهم الفروق الدقيقة بين النصوص المكتوبة بلغة ثانية (ESL) والنصوص التي يولدها الذكاء الاصطناعي — بل إنها تساعدنا أيضاً في العثور على أمثلة مشابهة للنصوص المكتوبة بلغة ثانية (ESL) يمكن نقلها بشكل جيد، مما يساعد النموذج على تعلم أنماط أفضل بشكل عام.

استراتيجيات الحث

عند إنشاء أمثلة للذكاء الاصطناعي ليتعلم منها النموذج، نحاول استخدام مجموعة شاملة ومتنوعة من المطالبات حتى يتمكن النموذج من التعميم على أنماط الكتابة المختلفة. على سبيل المثال، غالبًا ما نضيف عبارات توضيحية في نهاية مطالباتنا مثل "اكتب هذا المقال بأسلوب طالب في المرحلة الثانوية" أو "اكتب هذا المقال بأسلوب شخص غير ناطق باللغة الإنجليزية كلغة أم".

من خلال إنتاج هذا العدد الكبير من الأساليب الكتابية المختلفة، لا يقتصر تعلم النموذج على الطريقة الافتراضية التي تكتب بها نماذج اللغة المدعومة بالذكاء الاصطناعي فحسب، بل إنه يتعلم الأنماط الأساسية الكامنة وراء النصوص التي تنتجها الذكاء الاصطناعي.

من الناحية الإحصائية، نقوم بتصميم مسار إنتاج النصوص المقلدة لدينا بطريقة تجعل نموذجنا في النهاية غير متأثر بالسمات غير ذات الصلة، مثل الموضوع أو مستوى الكتابة أو النبرة. ومن خلال توجيه النموذج بطرق تتوافق مع سمات النص البشري، فإننا نضمن عدم التأثر هذه من خلال توفير عدد متساوٍ من الأمثلة البشرية وأمثلة الذكاء الاصطناعي التي تظهر كل سمة.

التقييم الدقيق وضمان الجودة

وأخيرًا، نطبق عملية تقييم وضمان الجودة شاملة ودقيقة للغاية قبل الموافقة على كل تحديث جديد للطراز.

في عملية التقييم، نركز على كل من الجودة والكمية. على سبيل المثال، لا تحتوي مجموعة بيانات Liang TOEFL سوى على 91 مثالاً، لذا لن نتمكن من الحصول سوى على تقدير تقريبي للغاية لمعدل الإيجابيات الخاطئة في ESL إذا اعتمدنا على مجموعة بيانات Liang TOEFL وحدها. وإذا أخطأنا في مثال واحد فقط، فسوف نبلغ عن معدل إيجابي كاذب يبلغ 1.1٪، وبالتالي لن نتمكن من التمييز بين النماذج التي لديها بالفعل معدل إيجابي كاذب حقيقي أقل من 1٪.

ونظرًا لأننا نسعى جاهدين إلى تحقيق معدل إيجابية كاذبة أقل بكثير من 1٪ (حيث يتراوح هدفنا لمعدل الإيجابية الكاذبة بين 1 من كل 10,000 و1 من كل 100,000)، فإننا بحاجة إلى تحليل ملايين الحالات حتى نتمكن من تأكيد الدقة عند هذا المستوى.

كما أن إجراء تقييم واسع النطاق يساعدنا على اكتساب فهم أعمق لأنماط الفشل التي يظهرها نموذجنا، وتصحيحها بمرور الوقت من خلال الحصول على بيانات أفضل وابتكار استراتيجيات خوارزمية أكثر فعالية تستهدف حالات الفشل هذه على وجه التحديد.

هل يمكن الوثوق بأجهزة الكشف عن الذكاء الاصطناعي في ESL؟

من خلال قياساتنا ونتائج التقييم التفصيلية واستراتيجيات التخفيف القابلة للتفسير، نعتقد أن Pangram يتمتع بدقة كافية في التعامل مع المتحدثين غير الناطقين باللغة الإنجليزية، مما يجعله قابلاً للتطبيق في البيئة التعليمية.

ومع ذلك، فإن وجود أداة كشف عن طريق الذكاء الاصطناعي خالية تمامًا من التحيز لا يكفي لمنع جميع أشكال التحيز في عملية النزاهة الأكاديمية. يجب على المعلمين أن يدركوا أن التحيز قد يظهر بطرق غير واعية. على سبيل المثال، إذا كان المعلم يميل إلى استخدام أداة الكشف عن طريق الذكاء الاصطناعي على الأعمال المقدمة من الطلاب غير الناطقين باللغة الإنجليزية بشكل أساسي، بسبب شك لا شعوري في أن طلاب اللغة الإنجليزية كلغة ثانية أقل صدقًا، فإن ذلك يعد شكلاً من أشكال التحيز.

بالإضافة إلى ذلك، يجب على المعلمين أن يدركوا أن الطلاب غير الناطقين باللغة الإنجليزية يعانون من عوائق متأصلة في المجال الأكاديمي مقارنة بنظرائهم الناطقين بها. فمن المرجح أن يلجأ طلاب اللغة الإنجليزية كلغة ثانية (ESL) إلى استخدام أدوات خارجية مثل ChatGPT لتحسين مهاراتهم في الكتابة، وهو ما قد يثير انتباه برامج الكشف عن الذكاء الاصطناعي عند استخدامه بكميات كبيرة. ولهذا السبب، نوصي باستخدام «مقياس بيركنز لتقييم الذكاء الاصطناعي» لتسهيل التواصل الواضح مع الطلاب حول أنواع المساعدة التي يُسمح بها من الذكاء الاصطناعي وتلك التي لا يُسمح بها.

وأخيرًا، نحن نعلم أن الطلاب يلجأون إلى الغش عندما يتعرضون للتوتر والضغط، أو يشعرون بانعدام الثقة في قدراتهم الذاتية، لا سيما عند مقارنتهم بأقرانهم، أو عندما يشعرون أن استخدام أدوات الغش هو السبيل الوحيد لتحقيق النجاح. ونحن نشجع المعلمين على معالجة هذه المخاوف بشكل استباقي، من خلال تقديم الدعم لهؤلاء الطلاب، والتوضيح بوضوح لنوع المساعدة المتاحة والمسموح بها، وربما إعادة النظر في استراتيجيات التقييم التي لا تتوقع إتقان اللغة الإنجليزية بشكل كامل من الطلاب الذين يلتحقون بالفصل وهم يعانون بالفعل من أوضاع غير مواتية.

ينبغي استخدام "بانغرام" كأداة للمساعدة في تعزيز النزاهة الأكاديمية، حتى يتمكن المعلمون من فهم أفضل السبل التي يمكنهم اتباعها لدعم تعلم طلابهم.

لمعرفة المزيد عن أبحاثنا والطرق التي نتبعها للحد من التحيز في برامجنا للكشف عن الذكاء الاصطناعي، يرجى الاتصال بنا على العنوان info@pangram.com.