ماذا يحدث عندما يخطئ جهاز الكشف عن المحتوى المزيف الذي يعمل بالذكاء الاصطناعي؟

مع تزايد انتشار الذكاء الاصطناعي، يرغب المعلمون في أن يتمكنوا من معرفة ما إذا كان الطلاب يستخدمون الذكاء الاصطناعي لكتابة واجباتهم بدلاً منهم. ويبدو أن أداة الكشف عن الذكاء الاصطناعي المخصصة للمعلمين هي الحل الطبيعي، لكن الكثيرين يترددون في استخدامها. فماذا يحدث إذا أخطأ البرنامج؟

هذا القلق له ما يبرره. فحتى الآن، كانت أدوات الكشف عن الذكاء الاصطناعي غير موثوقة إلى حد كبير. وقد أظهرت دراسات عديدة أن هذه الأدوات غالبًا ما تفشل في التعرف على النصوص التي أنتجها الذكاء الاصطناعي، وأن الغشاش المصمم يمكنه خداعها عن طريق إدخال بعض التعديلات الطفيفة في الصياغة أو الأخطاء الإملائية. وتشكل هذه النتائج السلبية الخاطئة مشكلة كبيرة، لأنها تسمح لبعض النصوص التي تم إنشاؤها بواسطة الكمبيوتر بالمرور دون أن يتم اكتشافها.

لكن الأمر الأكثر إثارة للقلق هو ارتفاع معدل النتائج الإيجابية الخاطئة في برامج الكشف المبكر. وتحدث هذه الحالات عندما يتم تصنيف نص كتب فعليًّا بواسطة إنسان على أنه من إنتاج الذكاء الاصطناعي، مما يؤدي إلى إجهاد الطلاب الذين لم يرتكبوا أي خطأ وتوقيع عقوبات غير مبررة عليهم، فضلاً عن تدخلات غير ضرورية من قبل المعلمين، وانهيار الثقة داخل المدرسة.

وتتجلى هذه المشكلة بشكل خاص بين الطلاب الذين لا يعتبرون اللغة الإنجليزية لغتهم الأم. فهناك العديد من أدوات الكشف عن الذكاء الاصطناعي التي تُظهر تحيزًا ضد المتحدثين غير الناطقين باللغة الإنجليزية. وقد توصلت دراسة صدرت عام 2023 عن جامعة ستانفورد إلى أن العديد من أدوات الكشف هذه قد صنفت بالإجماع (وبشكل خاطئ) 1 من كل 5 مقالات كتبها متحدث غير ناطق باللغة الإنجليزية على أنها من إنتاج الذكاء الاصطناعي. وقد تم الإبلاغ عن جميع هذه المقالات تقريبًا عن طريق الخطأ من قبل أداة كشف واحدة على الأقل.

ما مدى تكرار أخطاء أجهزة الكشف عن المحتوى المزيف التي تعمل بالذكاء الاصطناعي؟

تعترف معظم برامج الكشف عن الذكاء الاصطناعي الشائعة بأنها ترتكب هذا النوع من الأخطاء بشكل متكرر إلى حد ما. فمثلاً، تعلن TurnItIn عن معدل إيجابي كاذب يبلغ حوالي 1 من كل 200، مما يعني أنه مقابل كل 200 ورقة بحثية يقوم المعلم بفحصها، سيتم تصنيف العمل الأصلي لطالب واحد خطأً على أنه من إنتاج الذكاء الاصطناعي. وتعلن أدوات أخرى عن معدلات إيجابية كاذبة تتراوح بين 1 من كل 500 و1 من كل 100، في حين توصلت دراسات مستقلة إلى أن الأرقام قد ترتفع إلى مستويات أعلى من ذلك.

من ناحية أخرى، يبلغ معدل النتائج الإيجابية الخاطئة في نموذج «بانجرام» 1 من كل 10,000 حالة فقط، وذلك وفقًا لنتائج الاختبارات التي أُجريت على عشرات الملايين من الوثائق. ويتميز نموذجنا بموثوقية عالية بشكل خاص عند تحليل النصوص التي تتجاوز بضع مئات من الكلمات والمكتوبة بجمل كاملة — وهو بالضبط نوع النصوص التي يقدمها الطلاب عادةً في الواجبات الكبيرة.

كيف يمكن للمعلمين معرفة ما إذا كان برنامج الكشف عن الذكاء الاصطناعي قد أشار خطأً إلى نص كتبها أحد الطلاب؟

عندما يشير كاشف الذكاء الاصطناعي إلى أن نصًا ما تم إنشاؤه بواسطة الذكاء الاصطناعي، يتوفر أمام المعلم عدة خيارات للمساعدة في تأكيد النتيجة. أولاً، ينبغي عليه ببساطة أن يسأل الطالب عن استخدام الذكاء الاصطناعي، مع التعامل مع المحادثة بتواضع. وإذا كانت النتيجة خطأً بالفعل، فقد يتمكن الطالب من تقديم أدلة على عملية الكتابة التي اتبعها، مثل سجل مراجعات مفصل في Google Docs أو نسخ من المسودات الأولية. في هذه الحالة، يمكن للمعلمين الاعتراف بأنهم ربما عثروا على حالة إيجابية خاطئة نادرة للغاية. يجب أن يكون الطالب قادرًا أيضًا على مناقشة عملية الكتابة بالتفصيل. قد تسلط هذه المحادثة الضوء على فهم عميق للواجب المقدم، مما يشير إلى أن الطالب قد كتبها بنفسه بالفعل. من ناحية أخرى، قد تكشف أن الطالب استخدم الذكاء الاصطناعي بطريقة لم يدرك أنها خاطئة، مما يؤكد نتائج أداة الكشف.

وإذا استمر الطالب في الإصرار على أنه لم يستخدم الذكاء الاصطناعي، لكنه لا يستطيع تقديم دليل أو التحدث عن عمله بطريقة منطقية، فلا بأس من منحه حق الشك. ففي النهاية، سيكون الأمر ضارًا للغاية إذا عوقب على شيء لم يرتكبه. في هذه الحالة، يمكن للمدرسين توجيه الطلاب إلى الاحتفاظ بسجلات لعملية الكتابة في المستقبل، مما سيساعد في توضيح أي سوء فهم في المستقبل. إذا كان الطالب يكذب عن علم بشأن استخدام الذكاء الاصطناعي، فمن المرجح أن يفكر مرتين قبل القيام بذلك في المستقبل. ولكن إذا استمر عمله في الظهور على أنه مشبوه بواسطة كاشف دقيق للذكاء الاصطناعي مثل Pangram، فربما حان الوقت لتصعيد الموقف. احتمالات حدوث خطأ واحد ضئيلة بالفعل؛ واحتمالات حدوث أخطاء متعددة ضئيلة للغاية.