بانغرام 3.0: قياس مدى استخدام الذكاء الاصطناعي في تحرير النصوص

*ملاحظة: يعتمد نموذجنا الجديد، Pangram 3.0، على بحثنا المنشور: EditLens: قياس مدى استخدام الذكاء الاصطناعي في تحرير النصوص.

أدى الانتشار السريع لنماذج اللغة الضخمة (LLMs) مثل ChatGPT وClaude وGemini إلى تغيير جذري في الطريقة التي نكتب بها ونراجع النصوص ونتفاعل معها. وقد كشفت دراسة حديثة أجرتها OpenAI أن ثلثي جميع الاستفسارات المتعلقة بالكتابة الموجهة إلى ChatGPT تطلب من النموذج تعديل النص الذي يقدمه المستخدم بدلاً من إنشاء نص من الصفر. ويتزايد طلب المستخدمين من النماذج تحسين القواعد النحوية أو إعادة صياغة الحجج أو تغيير النبرة، انطلاقاً من مسودة كتبها الإنسان.

ماذا يعني ظهور النصوص التي يكتبها البشر ولكن يتم تحريرها بواسطة الذكاء الاصطناعي بالنسبة لأدوات الكشف عن الذكاء الاصطناعي؟ صُممت العديد من الأدوات الحالية لتصنيف النصوص إلى ثلاث فئات على الأكثر: نصوص من صياغة بشرية بالكامل، أو نصوص من صياغة الذكاء الاصطناعي بالكامل، أو نصوص مختلطة. ولا يميز هذا الإطار بين فقرة تم تصحيح قواعدها النحوية بواسطة نموذج لغوي كبير (LLM) وبين فقرة تم توسيعها بواسطة نموذج لإضافة تفاصيل.

من أجل تقييم النطاق الكامل لتدخلات الذكاء الاصطناعي في النصوص، نقدم «بانجرام 3.0»، وهو نموذج مصمم لقياس مدى تدخل الذكاء الاصطناعي في إنشاء النص. وبدلاً من تصنيف النصوص على أنها من صنع الإنسان بالكامل، أو من صنع الذكاء الاصطناعي بالكامل، أو مختلطة، يُخرج «بانجرام» درجة تعكس «قوة» تدخل الذكاء الاصطناعي.

التأليف الجماعي المتجانس مقابل غير المتجانس

يتناول برنامج Pangram 3.0 ما نسميه «النصوص ذات التأليف المختلط المتجانس ». دعونا نوضح الفرق بين التأليف المختلط المتجانس وغير المتجانس.

في الحالة غير المتجانسة ، يمكن أن يُنسب تأليف كل جزء من النص مباشرةً إلى إنسان أو إلى الذكاء الاصطناعي. في المثال أدناه، يبدأ إنسان بكتابة مراجعة ثم يطلب من ChatGPT أن يكملها. في حالات كهذه، توجد حدود واحدة أو أكثر تفصل بين الأجزاء التي كتبها الإنسان وتلك التي كتبها الذكاء الاصطناعي. يمكنك تصنيف كل جملة أو حتى كل كلمة وفقًا لمن أنتجها: الإنسان أم الذكاء الاصطناعي. تمت دراسة الكشف عن النصوص المختلطة غير المتجانسة (المعروف أيضًا باسم الكشف الدقيق عن النصوص بالذكاء الاصطناعي) سابقًا من قبل Kushnareva et al. (2024)، وWang et al. (2023)، وLei et al. (2025).

في الحالة المتجانسة، تتشابك مسألة التأليف مع عملية التحرير. وبالاستمرار في مثالنا المتعلق بمراجعة المطعم، فإن النص المختلط المتجانس ينشأ عندما يكتب الإنسان مراجعة موجزة، ثم يطلب من ChatGPT إضافة تفاصيل إليها. في هذه الحالة، من المستحيل فصل الكلمات التي كتبها الإنسان عن الكلمات التي كتبها الذكاء الاصطناعي: فقد أعاد الذكاء الاصطناعي صياغة النص البشري بكلمات جديدة، لكن المعنى والأفكار الكامنة وراء النص تأتي مباشرة من المسودة البشرية (تخيل حالة يقوم فيها مؤلف بشري بإعادة صياغة نص مؤلف آخر دون الإشارة إلى المصدر — هذه حالة كلاسيكية من حالات الانتحال!).

الشكل 2: مثال على نص ذي تأليف مختلط غير متجانس بين البشر والذكاء الاصطناعي (على اليسار) ونص ذي تأليف مختلط متجانس (على اليمين)

كل نص من النصوص الثلاثة التي تم تحريرها في الشكل 1 يمثل مثالاً على حالة التأليف المختلط المتجانس. ومن خلال هذه الأمثلة الثلاثة، يمكننا ملاحظة وجود فرق واضح بين النص الناتج عن المطالبة «أصلح أي أخطاء» والنص الناتج عن المطالبة «اجعله أكثر وصفية». يكون هذا الاختلاف واضحًا بشكل خاص عندما نقارن النصوص الناتجة بالنص الأصلي الذي كتبه الإنسان، ولكن مع Pangram 3.0، نخطو خطوة نحو قياس هذا الاختلاف عندما لا يتوفر لدينا سوى النص المحرر، حتى يتمكن المستخدمون من فهم مدى انتشار الذكاء الاصطناعي في نص معين بشكل أفضل.

إنشاء مجموعة بيانات تم تحريرها بواسطة الذكاء الاصطناعي

من أجل تدريب نموذج على تحديد مدى وجود تعديلات الذكاء الاصطناعي في النص، كان علينا إنشاء مجموعة بيانات تدريبية تتألف من نصوص تم تعديلها بواسطة الذكاء الاصطناعي، مع توضيح مقدار التعديل الذي أجراه الذكاء الاصطناعي في كل نص. وقمنا بأخذ عينات من نصوص أصلية كُتبت بالكامل بواسطة البشر من مجموعات بيانات مفتوحة المصدر في مجالات مختلفة: الأخبار، والمراجعات، والمقالات التعليمية على الويب، وموضوعات الكتابة على موقع Reddit. ثم قمنا بتطبيق 303 موجه تحرير مختلفة، مثل "اجعل هذا أكثر وصفية" أو "هل يمكنك مساعدتي في الحصول على درجة أفضل في مقالتي؟" باستخدام 3 نماذج لغة كبيرة (LLM) تجارية مختلفة: GPT-4.1 و Claude Sonnet 4 و Gemini 2.5 Flash. وأخيرًا، قمنا بإنشاء نسخة تم إنشاؤها بالكامل بواسطة الذكاء الاصطناعي (تُسمى أيضًا "المرآة الاصطناعية"، انظر التقرير الفني لـ Pangram) لكل نص مكتوب بواسطة البشر. تحتوي مجموعة البيانات النهائية لدينا على 60 ألف مثال للتدريب، و6 آلاف مثال للاختبار، و2.4 ألف مثال للتحقق من الصحة.

كيف يمكننا تحديد مدى تأثير الذكاء الاصطناعي على تحرير النص؟

نظرًا لأننا نتمتع بإمكانية الوصول إلى النص المصدر غير المحرر أثناء إنشاء مجموعة البيانات، فقد تمكنا من قياس حجم التعديلات التي أجراها الذكاء الاصطناعي على النص من خلال مقارنة النص المصدر بنسخته التي تم تحريرها بواسطة الذكاء الاصطناعي. واستخدمنا مقياسًا لتشابه النصوص يُعرف باسم «مسافة جيب التمام» لتقدير مدى تغيير الذكاء الاصطناعي للنص المصدر الذي كتبه الإنسان على مقياس يتراوح من 0 إلى 1، حيث تُعطى النصوص المكتوبة بالكامل بواسطة الإنسان درجة 0، بينما تُعطى النصوص التي تم إنشاؤها بالكامل بواسطة الذكاء الاصطناعي درجة 1. للتحقق من أن هذه الدرجة تتوافق مع كيفية إدراك البشر لتحرير الذكاء الاصطناعي، أجرينا دراسة حيث قمنا بتعيين 3 خبراء لديهم خبرة واسعة في النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي وطلبنا منهم اختيار أي من النصين اللذين تم تحريرهما بواسطة الذكاء الاصطناعي كان أكثر عرضة للتحرير بواسطة الذكاء الاصطناعي. كشفت دراستنا أن المعلقين اتفقوا بشكل عام مع اختيارنا لمقياس تشابه النصوص.

تدريب نموذج للتنبؤ بتعديلات الذكاء الاصطناعي

وبمجرد حصولنا على مجموعة البيانات المصنفة، حان الوقت لتدريب النموذج. يتم تدريب نموذجنا على النصوص التي تم تحريرها بواسطة الذكاء الاصطناعي فقط، مما يعكس كيفية استخدام المستخدم لـ Pangram 3.0: فالمعلم المهتم بمعرفة مقدار استخدام طلابه للذكاء الاصطناعي لن يكون لديه سوى العمل النهائي الذي قدمه الطالب، وليس أي مسودات سابقة. وبناءً على النص المقدم، يتم تدريب نموذجنا على توقع درجة التحرير التي قمنا بتعيينها في القسم السابق. يوضح الشكل 3 مدخلات ومخرجات نموذجنا في كل من مرحلة التدريب ومرحلة الاختبار.

الكشف عن المساعدة التي تقدمها الذكاء الاصطناعي في الممارسة العملية

فيما يلي فقرة كتبها إنسان عن الكاتب كازو إيشيغورو:

إن قراءة أعمال الكاتب البريطاني كازو إيشيغورو تعني الشعور بالإحباط على مستويات عديدة ومتنوعة. وتكمن عبقرية أسلوب إيشيغورو المثير للإحباط في أنه بغض النظر عن مدى انخراط القارئ عاطفياً مع الشخصيات والحبكة، فإن الإحباط لا يزال سائداً. وعلى مستوى اللغة نفسها، يجد القارئ تكراراً، وإسهاباً، واستخداماً مفرطاً للصفات التقييدية. لقد جعلني إيشيغورو أشعر برد فعل جسدي سلبي في كل مرة يقول فيها أحد شخصياته شيئًا على غرار "سأختصر". جميع الراوين موظفون، لكن لا أحد منهم قاص محترف. يتم نشر المعلومات ببطء، وبشكل غير دقيق، وبعيدًا عن الترتيب الزمني. وهذا يحرم القارئ من الحقائق الملموسة التي تسهل فهم الحبكة.

فيما يلي كيفية وصف Pangram 3.0 للنسخ التي حررتها الذكاء الاصطناعي من هذه الفقرة من ChatGPT بعد تطبيقنا لمجموعة من المطالبات المختلفة:

دراسة حالة حول Grammarly

Grammarly هو مساعد كتابة يعمل بالذكاء الاصطناعي ويستند إلى نظام اشتراك، ويتيح للمستخدمين تحرير النصوص مباشرةً باستخدام نماذج اللغة الكبيرة (LLMs) داخل معالج النصوص الأصلي الخاص بهم. قمنا بجمع مجموعة بيانات استخدمنا فيها Grammarly لتطبيق 9 من تلميحات التحرير الافتراضية على 197 نصًا كتبها البشر. وشملت هذه التلميحات عبارات مثل «بسّط النص» و«اجعله يبدو سلسًا» و«اجعله أكثر وصفية». ثم قمنا بتقييم جميع النصوص المحررة باستخدام Pangram 3.0. في الشكل 4، نعرض توزيعات درجات المساعدة التي قدمها الذكاء الاصطناعي مجمعة حسب تلميح التحرير. يمكننا أن نرى أنه، ربما بشكل غير بديهي، يعتبر Pangram 3.0 أن "إصلاح أي أخطاء" هو أقل التعديلات أهمية، في حين أن "لخصه" و"اجعله أكثر تفصيلاً" يعتبران تعديلات أكثر تدخلاً بكثير.

الشكل 4: توزيع درجات Pangram 3.0 (EditLens) على مجموعة بيانات تم جمعها من Grammarly. تم تجميع الدرجات حسب التعديل الذي أُجري عليها. جميع التعديلات هي خيارات افتراضية متوفرة في معالج النصوص الخاص بـ Grammarly.

ترتفع درجة المساعدة التي يقدمها الذكاء الاصطناعي كلما قمت بتطبيق المزيد من تعديلات الذكاء الاصطناعي

أجرينا تجربة قمنا فيها بتطبيق 5 تعديلات باستخدام نماذج اللغة الكبيرة (LLM) على النص نفسه، ثم أعدنا تقييم النص باستخدام Pangram 3.0 بعد كل تعديل. في الشكل 5، يمكننا ملاحظة أن درجة المساعدة التي يقدمها الذكاء الاصطناعي (EditLens) ترتفع بشكل عام مع تطبيق كل تعديل تالٍ.

الشكل 5: نتائج Pangram 3.0 بعد كل تعديل من التعديلات الخمسة المتتالية التي أجراها الذكاء الاصطناعي على نفس المستند.

دراسة حالة حول المؤتمر الدولي لتمثيلات التعلم (ICLR)

في نوفمبر، أعرب باحثون في مجال الذكاء الاصطناعي عن قلقهم إزاء النسبة الكبيرة من الأوراق البحثية والمراجعات العلمية التي يُشتبه في أنها من إنتاج الذكاء الاصطناعي، وذلك في المؤتمر الدولي لتمثيلات التعلم (ICLR)، وهو أحد أبرز المؤتمرات في مجال الذكاء الاصطناعي والتعلم الآلي. وقد عرض الأستاذ في جامعة كارنيجي ميلون، غراهام نيوبيغ، مكافأة مالية لأي شخص يقوم بإجراء اختبار للكشف عن الذكاء الاصطناعي على الأوراق البحثية والمراجعات المقدمة إلى مؤتمر ICLR لهذا العام، وقد استجبنا نحن في Pangram لهذا العرض بكل سرور.

في إطار هذا التحليل، قمنا بتشغيل Pangram 3.0 على جميع المراجعات النظيرة التي تم تقديمها إلى ICLR خلال دورة المراجعة الحالية، بالإضافة إلى المراجعات التي تم تقديمها في عام 2022، وذلك للتحقق من معدل الإيجابيات الخاطئة (FPR) لدينا. في مراجعات عام 2022، سجل Pangram 3.0 معدل إيجابية كاذبة يبلغ حوالي 1 من كل 1000 في حالة "معدلة قليلاً" مقابل "بصورة بشرية بالكامل"، ومعدل إيجابية كاذبة يبلغ 1 من كل 5000 في حالة "معدلة بشكل معتدل" مقابل "بصورة بشرية بالكامل"، ومعدل إيجابية كاذبة يبلغ 1 من كل 10000 في حالة "معدلة بشكل كبير" مقابل "بصورة بشرية بالكامل". لم نجد أي تداخل بين النصوص التي تم إنشاؤها بالكامل بواسطة الذكاء الاصطناعي وتلك التي كتبها البشر بالكامل. في مراجعات هذا العام، وجد Pangram 3.0 أن أكثر من نصف المراجعات تحتوي على شكل من أشكال المساعدة من الذكاء الاصطناعي. يوضح الشكل 6 توزيع درجات Pangram 3.0 عبر جميع مراجعات ICLR لعام 2026.

الشكل 6: توزيع توقعات Pangram 3.0 في مراجعات مؤتمر ICLR لعام 2026

للاطلاع على مزيد من التفاصيل حول منهجيتنا والنتائج التي توصلنا إليها، يرجى قراءة المنشور الذي نشرناه على المدونة حول تحليلنا.

كيف يتعامل برنامج Pangram 3.0 مع النصوص التي تمت كتابتها بمساعدة الذكاء الاصطناعي من قِبل متحدثين غير ناطقين باللغة الإنجليزية؟

لقد نشرنا نتائج تحليلنا ونتائج تقييم "بانجرام 3.0" لجميع المراجعات، مما أتاح للمراجعين التحقق من الطريقة التي قيم بها "بانجرام 3.0" المراجعات التي كتبوها. وبالتالي، تمكنا من الحصول على تعليقات تجريبية حول أداء "بانجرام 3.0" مع النصوص الواقعية.

كان السؤال المتكرر في الردود التي وردت على منصة X على تحليلنا هو: كيف تُقيّم «AI Assistance» النصوص التي يكتبها متحدثون غير ناطقين باللغة الإنجليزية، والذين يستخدمون بعد ذلك نماذج اللغة الكبيرة (LLMs) لترجمة أو صقل نصوصهم المكتوبة يدويًّا. وفيما يلي، نشارك بعض الردود من المراجعين، الذين اتفقوا بشكل عام مع تقييم موقع «Pangram» لتعليقاتهم:

راجعت تقييماتي التي تمت صقلها باللغة الإنجليزية بواسطة نماذج اللغة الكبيرة (LLMs)، وقمت بوضع علامة "لم يتم الكشف عن استخدام الذكاء الاصطناعي" / "مكتوبة بالكامل بواسطة الإنسان" عليها جميعًا

— آنا ماراسوفيتش (@anmarasovic) 15 نوفمبر 2025

أقوم بمراجعة تقييماتي. وكانت النتيجة: تقييمان خضعا لتحرير معتدل بواسطة الذكاء الاصطناعي، وتقييمان خضعا لتحرير مكثف، وتقييم واحد خضع لتحرير خفيف. وذلك لأنني كتبت التقييم باللغة الصينية، وساعدني GPT في ترجمته إلى الإنجليزية. هذه النتيجة ليست مفاجئة. لكنني أعتقد أنني مراجع مسؤول :) https://t.co/1QoRvF6q2y

— رايزينغ زانغ (张瑞星) (@xing_rui12683) 16 نوفمبر 2025

الآن أصبحنا نثق في الذكاء الاصطناعي لاكتشاف المحتوى الذي أنشأه الذكاء الاصطناعي أكثر مما نثق في المحتوى الذي أنشأه الذكاء الاصطناعي نفسه، هاها.
وللتوضيح، فإنني أكنّ احتراماً تاماً للأشخاص الذين بذلوا جهدهم لجعل هذا التحليل ممكناً.

ومن تجربتي الشخصية: لديّ مشاركة واحدة حيث كانت جميع التعليقات الأربعة... https://t.co/qzjxeG48u2

— شوايشن تشانغ (@ShuaichenChang) 17 نوفمبر 2025

يسعدنا أن نطلعكم على آخر المستجدات المتعلقة بهذا المنتج. لمزيد من التفاصيل الفنية حول ميزة الكشف عن المساعدة الذكية في Pangram 3.0 (EditLens)، يمكنكم الاطلاع على ورقة البحث الخاصة بنا هنا: https://arxiv.org/abs/2510.03154