لماذا تفشل مفاهيم «الحيرة» و«التقلب» في الكشف عن الذكاء الاصطناعي

عندما تبحث على الإنترنت عن كيفية عمل أدوات الكشف عن الذكاء الاصطناعي، ستجد عادةً العديد من المصادر التي تشير إلى مصطلحي «الارتباك» و«التقطع». ماذا تعني هذان المصطلحان، ولماذا لا تنجحان في نهاية المطاف في الكشف عن المحتوى الذي أنشأه الذكاء الاصطناعي؟ أود اليوم أن أشرح ماهية «الارتباك» و«التقطع»، وأوضح لماذا لا يناسبان الكشف عن النصوص التي أنشأها الذكاء الاصطناعي. سنتطرق أيضًا إلى فهم سبب عدم فعاليتهما، ولماذا تصف أجهزة الكشف القائمة على الحيرة والتفجر إعلان الاستقلال خطأً بأنه من إنتاج الذكاء الاصطناعي، ولماذا تنحاز هذه الأجهزة أيضًا ضد المتحدثين غير الناطقين باللغة الإنجليزية. هيا بنا!

ما المقصود بـ"الحيرة" و"التقلب"؟

سنبدأ بتعريف غير دقيق وغير تقني لمصطلح «الارتباك»، وذلك لمجرد تكوين فكرة عامة عن ماهية هذا المصطلح ووظيفته. وللحصول على مزيد من المعلومات الأساسية حول «الارتباك»، وجدت أن هذا المقال التوضيحي الذي يستغرق قراءته دقيقتين مفيدًا للغاية.

يُقصد بالـ«الارتباك» مدى عدم توقع أو مفاجأة كل كلمة في نص ما، عند النظر إليها من منظور نموذج لغوي معين أو نموذج لغوي كبير (LLM).

على سبيل المثال، إليك جملتان. لنركز على الكلمة الأخيرة في كل جملة، لغرض التوضيح. في المثال الأول، تتميز الكلمة الأخيرة بانخفاض درجة الارتباك، بينما تتميز الكلمة الأخيرة في المثال الثاني بارتفاع درجة الارتباك.

انخفاض درجة الحيرة:

تناولت اليوم على الغداء وعاءً من *الحساء*.

ارتفاع درجة الحيرة:

تناولت اليوم على الغداء وعاءً من *العناكب*.

السبب في أن الجملة الثانية تنطوي على درجة عالية من الحيرة هو أنه من النادر جدًّا أن يصادف نموذج لغوي أمثلة لأشخاص يتناولون أطباقًا من العناكب في مجموعة البيانات التدريبية الخاصة به، ولذلك فإن انتهاء الجملة بكلمة "عناكب" يمثل مفاجأة كبيرة للنموذج اللغوي، مقارنةً بكلمات مثل "حساء" أو "شطيرة" أو "سلطة".

تنبع كلمة «perplexity» من نفس جذر كلمة «perplexed»، التي تعني «مشوش» أو «محتار». ومن المفيد أن نتصور «perplexity» على أنها حالة من الارتباك التي تصيب نموذج اللغة: فعندما يرى النموذج شيئًا غير مألوف أو غير متوقع، مقارنة بما قرأه واستوعبه خلال عملية تدريبه، يمكننا أن نتصور أن نموذج اللغة يصاب بالارتباك أو الحيرة إزاء ما يُطلب منه استكماله.

حسناً، رائع، وماذا عن "التقطّع"؟ التقطّع هو التغير في مؤشر الحيرة على طول النص. إذا كانت هناك كلمات وعبارات مفاجئة متناثرة في أرجاء النص، فإننا نقول إن النص يتميز بدرجة عالية من التقطّع.

كيف تعمل أجهزة الكشف القائمة على مقياس الحيرة والتقلب؟

لسوء الحظ، لا تتسم معظم أجهزة الكشف التجارية (باستثناء Pangram) بالشفافية فيما يتعلق بمنهجياتها، ولكن استنادًا إلى ما يمكن استنتاجه من أوصافها، يُعتبر النص البشري أكثر تعقيدًا وأكثر تقلبًا من النص الذي تولده الذكاء الاصطناعي، في حين أن النص الذي تولده الذكاء الاصطناعي يتميز باحتمالية أقل وتقلب أقل.

يمكننا رؤية تصور بياني لذلك أدناه! قمت بتنزيل نموذج GPT-2 من موقع Huggingface، وحسبت مؤشر الارتباك لجميع النصوص الموجودة في مستندين: مجموعة من تقييمات المطاعم التي كتبها البشر، ومجموعة من التقييمات التي أنشأتها الذكاء الاصطناعي. ثم قمت بتمييز النصوص ذات مؤشر الارتباك المنخفض باللون الأزرق، والنصوص ذات مؤشر الارتباك المرتفع باللون الأحمر.

تصور الحيرة الذي يقارن بين النصوص التي تنتجها الذكاء الاصطناعي وتلك التي يكتبها البشر

كما ترون، يظهر النص الذي أنشأته الذكاء الاصطناعي باللون الأزرق الداكن في جميع أجزائه، مما يشير إلى قيم انخفاض التباين موحدة. أما النص الذي كتبه الإنسان، فهو أزرق في معظمه، لكنه يحتوي على بقع حمراء. وهذا ما نسميه «ارتفاع التقطّع».

هذه الفكرة هي التي ألهمت تطوير كاشفات الحيرة والتقلب. فليس فقط أن بعض أقدم كاشفات الذكاء الاصطناعي التجارية تستند إلى هذه الفكرة، بل إنها ألهمت أيضًا بعض الأبحاث الأكاديمية مثل DetectGPT وBinoculars.

ولكي نكون منصفين تمامًا، فإن أجهزة الكشف عن الحيرة والتقلب هذه تعمل بالفعل في بعض الأحيان! لكننا لا نعتقد أنها يمكن أن تعمل بشكل موثوق في المواقف الحاسمة التي يتعين فيها تجنب الأخطاء، مثل الفصول الدراسية، حيث قد يؤدي الكشف الخاطئ عن طريق الذكاء الاصطناعي إلى تقويض الثقة بين المعلم والطالب، أو الأسوأ من ذلك، إلى تقديم أدلة غير دقيقة في قضية قانونية.

العيب رقم 1: تصنيف النصوص الموجودة في مجموعة التدريب خطأً على أنها من إنتاج الذكاء الاصطناعي

بالنسبة لمن لا يعرفون كيفية إنشاء نماذج اللغة الكبيرة (LLMs)، فإنه قبل أن تصبح هذه النماذج جاهزة للنشر والاستخدام كروبوتات دردشة، يجب أن تخضع أولاً لعملية تُسمى «التدريب». وأثناء التدريب، يتعرف نموذج اللغة على مليارات النصوص ويتعلم الأنماط اللغوية الكامنة وراء ما يُسمى «مجموعة التدريب» الخاصة به.

تقع التفاصيل الميكانيكية الدقيقة لعملية التدريب خارج نطاق هذه المدونة، لكن التفصيل الأساسي هو أنه في عملية التحسين، يتم تحفيز النموذج اللغوي الكبير (LLM) بشكل مباشر على تقليل «الارتباك» (perplexity) في مستندات مجموعة التدريب الخاصة به إلى أدنى حد ممكن! بعبارة أخرى، يتعلم النموذج بمرور الوقت أن أجزاء النص التي يراها مرارًا وتكرارًا خلال عملية التدريب يجب أن تكون ذات «ارتباك» أقل ما يمكن.

لماذا يُعد ذلك مشكلة؟

ونظرًا لأن النموذج يُطلب منه خفض مؤشر الارتباك في مستندات مجموعة التدريب، فإن أجهزة الكشف عن الارتباك والتقلب تصنف مستندات مجموعة التدريب العادية على أنها من إنتاج الذكاء الاصطناعي، حتى وإن كانت هذه المستندات في الواقع مكتوبة بواسطة البشر!

ولهذا السبب تصنف أدوات الكشف عن المحتوى المولد بالذكاء الاصطناعي، التي تعتمد على مقياس الارتباك، «إعلان الاستقلال» على أنه مولد بالذكاء الاصطناعي: نظرًا لأن «إعلان الاستقلال» هو وثيقة تاريخية شهيرة تم إعادة نشرها في عدد لا يحصى من الكتب المدرسية والمقالات على شبكة الإنترنت، فإنه يظهر في مجموعات تدريب الذكاء الاصطناعي... كثيرًا. ونظرًا لأن النص هو نفسه تمامًا في كل مرة يظهر فيها أثناء التدريب، يمكن للنموذج حفظ ما هو إعلان الاستقلال عندما يراه، ثم تعيين درجة حيرة منخفضة جدًا تلقائيًا لجميع الرموز، مما يجعل أيضًا معدل التقطع منخفضًا جدًا.

قمت بتشغيل نفس التمثيل البياني المذكور أعلاه على «إعلان الاستقلال» — ونلاحظ نفس البصمة المميزة للذكاء الاصطناعي: لون أزرق غامق ومتسق في جميع أجزاء النص، مما يشير إلى أن كل كلمة تتمتع بمستوى منخفض من «التعقيد». ومن منظور كاشف يعتمد على «التعقيد» و«التقلب»، لا يمكن تمييز «إعلان الاستقلال» مطلقًا عن المحتوى الذي أنشأه الذكاء الاصطناعي.

ومن المثير للاهتمام أننا نلاحظ أن الجملة الأولى من «إعلان الاستقلال» تظهر بلون أزرق أغمق وبدرجة تعقيد أقل مقارنة ببقية النص. ويرجع ذلك إلى أن الجملة الأولى هي الجزء الأكثر تكرارًا في النص، كما أنها تظهر بأكبر تكرار في مجموعة بيانات تدريب GPT-2.

تصور "الحيرة" في إعلان الاستقلال

وبالمثل، نجد أن المصادر الشائعة الأخرى لبيانات تدريب النماذج اللغوية الكبيرة (LLM) تشهد هي الأخرى ارتفاعًا في معدلات الإيجابيات الخاطئة عند استخدام أدوات الكشف عن «التشوش» و«التقلب». وتُعد ويكيبيديا مجموعة بيانات تدريب شائعة جدًّا نظرًا لجودتها العالية وترخيصها غير المقيد؛ ولذلك، غالبًا ما يُخطئ في تصنيفها على أنها من إنتاج الذكاء الاصطناعي، لأن النماذج اللغوية يتم تحسينها بشكل مباشر بهدف تقليل «التشوش» في مقالات ويكيبيديا.

تتفاقم هذه المشكلة مع استمرار تطور الذكاء الاصطناعي وزيادة تطوره، لأن أحدث نماذج اللغة تتطلب كميات هائلة من البيانات: فبرامج الزحف التابعة لـ OpenAI وGoogle وAnthropic تعمل جميعها على استخراج البيانات من الإنترنت بوتيرة محمومة في الوقت الذي تقرأ فيه هذا المقال، وتواصل استيعاب البيانات لتدريب نماذج اللغة. هل يجب على الناشرين ومالكي مواقع الويب القلق من أن السماح لهذه البرامج بالزحف إلى مواقعهم لتدريب نماذج اللغة الكبيرة (LLM) قد يعني أن محتواهم قد يُصنف خطأً على أنه من إنتاج الذكاء الاصطناعي في المستقبل؟ هل يجب على الشركات التي تفكر في ترخيص بياناتها لـ OpenAI أن تزن مخاطر أن تعود تلك البيانات لتُصنف خطأً على أنها من إنتاج الذكاء الاصطناعي بمجرد أن تستوعبها نماذج اللغة الكبيرة (LLM)؟ نرى أن هذه حالة فشل غير مقبولة على الإطلاق، وهي تتفاقم بمرور الوقت.

العيب رقم 2: يختلف كل من «الحيرة» و«التقلب» باختلاف نماذج اللغة

ومن المشاكل الأخرى المتعلقة باستخدام «الارتباك» و«التقلب» كمقاييس للكشف أنهما مرتبطان بنموذج لغوي معين. فما قد يُتوقع من نموذج GPT، على سبيل المثال، قد لا يُتوقع من نموذج Claude. وعندما تظهر نماذج جديدة، تختلف قيم «الارتباك» الخاصة بها أيضًا.

تحتاج أجهزة الكشف القائمة على "التشوش" (perplexity) —المعروفة باسم "الصندوق الأسود"— إلى اختيار نموذج لغوي لقياس مستوى التشوش الفعلي. ولكن عندما يختلف مستوى التشوش في ذلك النموذج اللغوي عن مستوى التشوش في المولد، فإنك تحصل على نتائج غير دقيقة إلى حد كبير، وتزداد هذه المشكلة تعقيدًا مع إصدار النماذج الجديدة.

العيب رقم 3: النماذج التجارية لا تكشف دائمًا عن درجة التعقيد

لا يقدم مزودو النماذج مغلقة المصدر دائمًا احتمالات كل رمز، لذا لا يمكنك حتى حساب مؤشر الارتباك (perplexity) للنماذج التجارية مغلقة المصدر، مثل ChatGPT وGemini وClaude. وفي أفضل الأحوال، يمكنك استخدام نموذج مفتوح المصدر لقياس مؤشر الارتباك، لكن ذلك يواجه نفس المشاكل المذكورة في العيب رقم 2.

العيب رقم 4: النصوص غير الأصلية باللغة الإنجليزية (ESL) تُصنف خطأً على أنها من إنتاج الذكاء الاصطناعي

ظهرت رواية تفيد بأن أنظمة الكشف التي تعتمد على الذكاء الاصطناعي تنطوي على تحيز ضد المتحدثين باللغة الإنجليزية غير الناطقين بها، وهو ما تدعمه دراسة أجرتها جامعة ستانفورد عام 2023 على 91 مقالاً من مقالات اختبار توفل. ورغم أن Pangram تقوم بمقارنة النصوص الإنجليزية غير الأصلية على نطاق واسع ودمجها في مجموعة التدريب الخاصة بنا حتى يتمكن النموذج من التعرف عليها وكشفها، فإن أنظمة الكشف القائمة على مؤشر الحيرة (perplexity) تسجل بالفعل معدل إيجابيات خاطئة مرتفعاً عند التعامل مع النصوص الإنجليزية غير الأصلية.

ويعود السبب في ذلك إلى أن النصوص التي يكتبها متعلمو اللغة الإنجليزية تتميز عمومًا بمستوى أقل من التعقيد اللغوي وتواتر أقل. ونعتقد أن هذا ليس من قبيل الصدفة: فهذا ينشأ لأن مفردات الطالب تكون محدودة بشكل ملحوظ خلال عملية تعلم اللغة، كما أن الطالب غير قادر على تكوين تراكيب جملية معقدة قد تكون غير معتادة، أو ذات درجة عالية من المفاجأة، بالنسبة لنموذج لغوي. ونحن نرى أن تعلم الكتابة بأسلوب عالي التعقيد والتقطع مع الحفاظ على الصحة اللغوية هو مهارة لغوية متقدمة تنبع من الخبرة في استخدام اللغة.

إن المتحدثين باللغة الإنجليزية غير الناطقين بها، ونعتقد أن ذلك ينطبق أيضًا على الطلاب ذوي التنوع العصبي أو الطلاب ذوي الإعاقة، هم أكثر عرضة للوقوع في شرك أجهزة الكشف التي تعتمد على مبدأ الحيرة.

العيب رقم 5: لا يمكن للكاشفات القائمة على الحيرة أن تُحسّن نفسها بشكل تكراري

إن ما نعتقد أنه أكبر عيب في أجهزة الكشف القائمة على مقياس الارتباك، والسبب الذي دفعنا في Pangram إلى اختيار نهج قائم على التعلم العميق بدلاً من ذلك، هو أن أجهزة الكشف هذه لا تستطيع تحسين أدائها ذاتيًا مع زيادة حجم البيانات وقدرات الحوسبة.

ماذا يعني هذا؟ كلما اكتسبت Pangram مزيدًا من الخبرة في التعامل مع النصوص البشرية من خلال خوارزمية التعلم النشط الخاصة بنا، كلما تحسنت أدائها تدريجيًا. وهكذا تمكنا من خفض معدل الإيجابيات الخاطئة من 2% إلى 1% ثم إلى 0.1%، وصولًا إلى 0.01% حاليًا. أما أجهزة الكشف التي تعتمد على مؤشر الارتباك، فهي غير قادرة على تحسين أدائها من خلال التعرض لمزيد من البيانات.

الموارد والمزيد من القراءات

• "DetectGPT: الكشف عن النصوص المولدة آليًّا بدون تدريب مسبق باستخدام انحناء الاحتمالات " هي ورقة بحثية تركز على "مشهد الحيرة" المحلي للتمييز بين الكتابة البشرية والكتابة التي تنتجها الذكاء الاصطناعي، بدلاً من الاعتماد على قيم الحيرة المطلقة.

• الكشف عن نماذج اللغة الكبيرة (LLMs) باستخدام "منظار": يستخدم "الكشف بدون تدريب مسبق عن النصوص التي تولدها الآلة " مقياسًا جديدًا يُسمى "التشابك المتبادل" لتحسين الكشف عن التشابك الأساسي.

• تتناول الورقة التقنية الصادرة عن Pangram بالتفصيل حلنا البديل للكشف عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، والذي يعتمد على التعلم النشط العميق.

الخلاصة

هناك فرق كبير بين حساب إحصائية ترتبط بالكتابة الناتجة عن الذكاء الاصطناعي، وبين بناء نظام على مستوى الإنتاج قادر على الكشف عن هذه الكتابة بشكل موثوق. ورغم أن أدوات الكشف القائمة على مؤشر «الارتباك» (perplexity) تلتقط جانبًا مهمًا مما يجعل الكتابة البشرية «بشرية» وما يجعل كتابة الذكاء الاصطناعي «اصطناعية»، فإنه لا يمكن، للأسباب الموضحة في هذا المقال، استخدام أداة الكشف هذه للكشف عن الكتابة الناتجة عن الذكاء الاصطناعي بشكل موثوق مع الحفاظ على معدل الإيجابيات الخاطئة منخفضًا بما يكفي لتطبيقات الإنتاج.

في مجالات مثل التعليم، حيث يُعد تجنب النتائج الإيجابية الخاطئة أمرًا بالغ الأهمية، نأمل أن تتجه المزيد من الأبحاث نحو الأساليب القائمة على التعلم العميق، بعيدًا عن مؤشرات «الارتباك» و«التقلب» أو الأساليب القائمة على المقاييس.

نأمل أن يسلط هذا بعض الضوء على الأسباب التي دفعت Pangram إلى عدم استخدام مؤشري «الارتباك» و«التقلب» للكشف عن النصوص التي تولدها الذكاء الاصطناعي، والتركيز بدلاً من ذلك على الأساليب الموثوقة القابلة للتطوير.

يستخدم Pangram التعلم العميق بدلاً من الأساليب الإحصائية الاستدلالية. جرب أداة الكشف عن المحتوى المدعومة بالذكاء الاصطناعي التي نقدمها للحصول على دقة على مستوى الإنتاج.