ألقى برادلي إيمي، المدير التقني لشركة Pangram Labs، محاضرة حول "حالة تقنيات الكشف عن الذكاء الاصطناعي" في مؤتمر ICAI.
يستخدم الطلاب ChatGPT ويسيئون استخدامه في الوقت نفسه. يستخدم معظم الطلاب أدوات الذكاء الاصطناعي بانتظام، ويعتقدون أن أداءهم سيتحسن بفضل هذه الأدوات. وحتى في ظل وجود سياسات واضحة تحظر استخدام الذكاء الاصطناعي، من المرجح أن يواصل الطلاب استخدامه.
خلافًا للاعتقاد السائد: يمكن الكشف عن الذكاء الاصطناعي. فكل من البشر والبرامج الآلية (بعد تدريب كافٍ) قادرون على تمييز اللغة والأسلوب والخيارات الدلالية.
نماذج اللغة الكبيرة (LLMs) هي توزيعات احتمالية تتعلم من خلال كميات ضخمة من البيانات. وهي لا تمثل متوسط كل ما كتبه البشر. ويرجع ذلك إلى الطريقة التي يتم بها تدريب هذه النماذج.
يتم تدريب النماذج على ثلاث مراحل: التدريب المسبق، وضبط التعليمات، والمواءمة.
في مرحلة التدريب المسبق، يحلل النموذج الأنماط الإحصائية المستمدة من مجموعة بيانات ضخمة. وتحتوي مجموعة بيانات التدريب على تحيزات تظهر في تلك الأنماط الإحصائية. فعلى سبيل المثال، يتم تمثيل البيانات التي تظهر بشكل متكرر على الإنترنت بشكل مفرط. في مقال نشرته صحيفة الغارديان، يشرح أليكس هيرن كيف تم استغلال العمال في كينيا ونيجيريا لتوفير بيانات التدريب لشركة OpenAI. الكلمات التي استخدمها هؤلاء العمال بشكل متكرر مثل "delve" و"tapestry" هي نفس الكلمات التي تظهر بشكل متكرر في النصوص التي تولدها الذكاء الاصطناعي.
في عملية «ضبط التعليمات»، يتم تدريب النموذج على الاستجابة للمطالبات. ويتعلم النموذج أن اتباع التعليمات أفضل من تقديم معلومات دقيقة وصحيحة. وحتى عند تطبيق مرشحات الأمان، لا تزال المعلومات المضللة تعاني منها الكتابة التي تعتمد على الذكاء الاصطناعي، في محاولتها لإرضاء المستخدم.
أثناء عملية المواءمة، يتعلم النموذج الفرق بين الاستجابات الجيدة والسيئة للمحفزات. وقد تكون بيانات التفضيلات متحيزة للغاية، لأنها تستند إلى وجهات نظر المدرب، وليس بالضرورة إلى الحقائق.
لقد قدمنا عينة من الكلمات والعبارات الأكثر شيوعًا المستخدمة في الكتابة المعتمدة على الذكاء الاصطناعي. وتعود هذه الكلمات والعبارات إلى التحيزات التي تم إدخالها في مرحلة التدريب المسبق.
تشتهر الذكاء الاصطناعي بلغة وتنسيق شديدين التنظيم. وتنتشر عبارات الانتقال والقوائم النقطية والأسلوب المنظم في النصوص التي يكتبها الذكاء الاصطناعي، وذلك بسبب مرحلة "المواءمة".
غالبًا ما يكون أسلوب الكتابة الذي تنتجه الذكاء الاصطناعي رسميًا، وذلك لأن النصوص الرسمية منتشرة بكثرة على الإنترنت، وبالتالي فهي ممثلة بشكل زائد في قواعد بيانات تدريب الذكاء الاصطناعي. ويتم تعزيز الإيجابية والفائدة خلال مرحلة المواءمة.
ملاحظة: لا يتنبأ موقع Pangram باستخدام الذكاء الاصطناعي لمجرد احتواء النص على مصطلحات وتنسيقات شائعة في مجال الذكاء الاصطناعي.
لقد درسنا 19 أداة مختلفة لتحويل النصوص إلى أسلوب بشري، وقمنا بتطوير أداة خاصة بنا. ووجدنا أن أدوات تحويل النصوص إلى أسلوب بشري التي تعتمد على الذكاء الاصطناعي تحافظ على المعنى الأصلي بدرجات متفاوتة (تتراوح بين تعديلات طفيفة ونصوص غير مفهومة). وتقوم بعض هذه الأدوات بعمل جيد في إعادة صياغة النص، لكنها لا تتمكن من تجنب الكشف. فكلما كان النص المحول إلى أسلوب بشري أكثر طلاقة، قلّت احتمالية تجنبه للكشف. تستطيع أدوات التحويل إلى النص البشري إزالة علامة SynthID المائية الخاصة بـ Google (التي تُستخدم لتمييز النص الذي تم إنشاؤه بواسطة Gemini).
لقد أثرت الجيل الأول من أدوات الكشف عن الذكاء الاصطناعي وعيوبها على نظرة الجمهور العام إلى هذه الأدوات. فقد اعتمدت هذه الأدوات على الارتباطات مع استخدام الذكاء الاصطناعي بدلاً من الإشارات السببية. وادعت هذه الأدوات دقة بنسبة 99٪، وهو ما لا يصلح للاستخدام الأكاديمي.
يتميز هذا الجيل الجديد من أدوات الكشف بدقة تزيد عن 99.9% ومعدلات إيجابية كاذبة (FPR) منخفضة للغاية! كما أنها قادرة على التعامل بفعالية مع برامج إعادة الصياغة وبرامج إضفاء الطابع البشري.
ومع ذلك، فإن أدوات الكشف عن الذكاء الاصطناعي ليست كلها متشابهة! فهناك تباين في درجات الدقة بسبب الاختلاف في طرق تدريب هذه الأدوات.
تستخدم كل من Pangram وTurnItIn وGhostbusters تقنية الكشف القائمة على التعلم. وفي هذه التقنية، يتم تدريب النموذج من خلال تعلم ما هو من إنتاج الذكاء الاصطناعي وما ليس كذلك، وذلك من خلال عينة كبيرة. في حين أن
يمكن للخبراء البشريين الذين يتمتعون بخبرة في استخدام النماذج اللغوية الكبيرة (LLMs) في مهام الكتابة اكتشاف النصوص التي كُتبت بواسطة الذكاء الاصطناعي بدقة تبلغ 92%. ولم يتمكن اللغويون من تحقيق نفس المستوى من الدقة دون خبرة في استخدام أدوات مثل ChatGPT. ويستطيع المكتشفون البشريون توضيح الأسباب التي دفعتهم لاختيار تنبؤ معين فيما يتعلق بالنص. ورغم أن Pangram يتمتع بدقة أعلى ومعدلات إيجابية خاطئة أقل، إلا أنه غير قادر على وضع النص في سياقه.
عند وضع السياسات أو المعايير المتعلقة باستخدام الذكاء الاصطناعي، يجب أن يكون التواصل واضحًا. يمكن استخدام الذكاء الاصطناعي في كتابة المخططات الأولية، وتوليد الأفكار، وتصحيح الأخطاء النحوية، والبحث، وصياغة المسودات، أو مهام الكتابة الجوهرية. ويجب تطبيق إرشادات تحدد درجات استخدام الذكاء الاصطناعي المسموح بها أو غير المسموح بها. وللحصول على الإلهام، يمكنك تصفح سياسات الجامعات الفعلية المتعلقة بالذكاء الاصطناعي في دليل Gradpilot الذي يضم أكثر من 170 مؤسسة تعليمية.
يجب على الطلاب والمعلمين أن يدركوا الطرق التي تتطور بها الأدوات الشائعة بفضل الذكاء الاصطناعي. فوظيفة «ساعدني في الكتابة» في «Google Docs» تستمد نتائجها من «Gemini». كما تتضمن «Grammarly» حاليًا ميزات إنشاء النصوص وإعادة صياغتها باستخدام الذكاء الاصطناعي. وقد تستخدم أدوات الترجمة نماذج اللغة الكبيرة (LLMs) لتؤدي وظائفها. كما أن اقتباس مقاطع من أبحاث أو عصف ذهني تم إنشاؤها بواسطة الذكاء الاصطناعي يؤدي أيضًا إلى اكتشاف ذلك.
نوصي بالاعتماد على كل من التقييم البشري والكشف الآلي. فمن غير العدل على الإطلاق أن يُعتمد حصريًّا على الكشف الآلي لتقييم عمل الطالب، وذلك بسبب معدل الخطأ الإيجابي (FPR) البالغ 0.01٪. وبعد الحصول على نتيجة إيجابية، تتمثل الخطوات التالية في تقييم أسلوب الطالب في الكتابة ومقارنة النص الذي تم الكشف عن تسلله بأعماله السابقة. احرص على اختبار أداة الكشف باستخدام عدد قليل من النصوص، ووضع النتائج التي قد تحصل عليها عند استخدام نموذج اللغة الكبيرة (LLM) في تقييم المهمة في الاعتبار.
إذا أصبح من الواضح بشكل متزايد أن أحد الطلاب قد سلم واجباً كتبته الذكاء الاصطناعي، فقد تكون هذه فرصة تعليمية. من المهم معاملة الطلاب باحترام وتجنب اللجوء إلى العقوبات المفرطة. قد يستفيد الطلاب من إعادة أداء الواجب وإجراء حوار حول الأسباب التي دفعتهم إلى استخدام الذكاء الاصطناعي.
لمزيد من المعلومات حول هذه المقالة، يرجى مشاهدة الندوة عبر الإنترنت بالكامل: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.

ديستيني هي محللة أبحاث متدربة في شركة بانغرام. وهي أيضًا طالبة في كلية نيويورك للتكنولوجيا، حيث تدرس الرياضيات التطبيقية والكيمياء. وقد ساهم عمل ديستيني في بانغرام بشكل كبير في التحقيق في الأخطاء التي ترتكبها أنظمة الذكاء الاصطناعي على الإنترنت. وخارج نطاق العمل والدراسة، تهوى ديستيني الكتابة الإبداعية وأدب الرعب الخيالي.






