Pangram 3.0: قياس مدى استخدام الذكاء الاصطناعي في تحرير النصوص

*ملاحظة: نموذجنا الجديد، Pangram 3.0، يستند إلى بحثنا المنشور: EditLens: Quantifying the Extent of AI Editing in Text(EditLens: قياس مدى استخدام الذكاء الاصطناعي في تحرير النصوص).

أدى الاعتماد السريع لنماذج اللغة الكبيرة (LLMs) مثل ChatGPT و Claude و Gemini إلى تغيير طريقة كتابة النصوص ومراجعتها والتفاعل معها. وجدت دراسة حديثة أجرتها OpenAI أن ثلثي جميع الاستفسارات المتعلقة بالكتابة الموجهة إلى ChatGPT تطلب من النموذج تعديل النص المقدم من المستخدم بدلاً من إنشاء نص من الصفر. يطلب المستخدمون بشكل متزايد من النماذج تحسين القواعد النحوية أو إعادة هيكلة الحجج أو تغيير النبرة، بدءًا من مسودة مكتوبة بواسطة الإنسان.

ماذا يعني ظهور النصوص المكتوبة بواسطة البشر والمعدلة بواسطة الذكاء الاصطناعي بالنسبة لأدوات الكشف عن الذكاء الاصطناعي؟ تم تصميم العديد من الأدوات الحالية لتصنيف النصوص إلى ثلاث فئات على الأكثر: كتبها البشر بالكامل، كتبها الذكاء الاصطناعي بالكامل، أو مختلطة. لا يميز هذا الإطار بين فقرة تم تصحيح قواعدها النحوية بواسطة LLM وفقرة تم توسيعها بواسطة نموذج لإضافة تفاصيل.

للتعرف بشكل كامل على نطاق تعديلات الذكاء الاصطناعي في النصوص، نقدم Pangram 3.0، وهو نموذج مصمم لقياس حجم مشاركة الذكاء الاصطناعي في إنشاء النص. بدلاً من إرجاع تصنيف "بشري بالكامل" أو "ذكاء اصطناعي بالكامل" أو "مختلط"، يقدم Pangram درجة تتوافق مع "قوة" تدخل الذكاء الاصطناعي.

التأليف المتجانس مقابل التأليف المختلط غير المتجانس

يتناول Pangram 3.0 حالة ما نسميه النصوص ذات التأليف المختلط المتجانس. دعونا نحلل الفرق بين التأليف المختلط المتجانس والتأليف المختلط غير المتجانس.

في الحالة غير المتجانسة ، يمكن أن يُنسب تأليف كل جزء من النص مباشرة إلى إنسان أو إلى الذكاء الاصطناعي. في المثال أدناه، يبدأ إنسان في كتابة مراجعة ثم يطلب من ChatGPT أن يضيف إليها. في حالات مثل هذه، توجد حدود واحدة أو أكثر بين الأجزاء التي كتبها الإنسان والأجزاء التي كتبها الذكاء الاصطناعي. يمكنك تسمية كل جملة أو حتى كل كلمة وفقًا لمن أنتجها: الإنسان أو الذكاء الاصطناعي. تمت دراسة الكشف عن النصوص المختلطة غير المتجانسة (وتسمى أيضًا الكشف الدقيق عن النصوص بالذكاء الاصطناعي) سابقًا من قبل Kushnareva et al. (2024) و Wang et al. (2023) و Lei et al. (2025).

في الحالة المتجانسة، تتشابك عملية التأليف مع عملية التحرير. استمرارًا لمثال مراجعة المطعم، سيتم إنتاج نص مختلط متجانس إذا كتب شخص ما مراجعة موجزة، ولكنه طلب من ChatGPT إضافة تفاصيل إليها. في هذه الحالة، من المستحيل فصل الكلمات التي كتبها الإنسان عن الكلمات التي كتبتها الذكاء الاصطناعي: فقد أعاد الذكاء الاصطناعي صياغة النص البشري بكلمات جديدة، ولكن المعنى والأفكار الكامنة وراء النص تأتي مباشرة من المسودة البشرية (تخيل حالة يقوم فيها مؤلف بشري بإعادة صياغة نص مؤلف آخر دون الإشارة إلى المصدر — هذه حالة كلاسيكية من حالات الانتحال!).

الشكل 2: مثال على نص مختلط غير متجانس من تأليف بشري وذكاء اصطناعي (يسار) ونص مختلط متجانس من تأليف مشترك (يمين)

كل نص من النصوص الثلاثة المعدلة في الشكل 1 هو مثال على حالة التأليف المختلط المتجانس. من هذه الأمثلة الثلاثة، يمكننا أن نرى أن هناك فرقًا واضحًا بين النص الناتج عن الموجه "إصلاح أي أخطاء" والنص الناتج عن الموجه "اجعله أكثر وصفية". يكون هذا الاختلاف واضحًا بشكل خاص عندما نقارن النصوص الناتجة بالنص الأصلي المكتوب بواسطة الإنسان، ولكن مع Pangram 3.0، نخطو خطوة نحو قياس هذا الاختلاف عندما يكون لدينا النص المعدل فقط، حتى يتمكن المستخدمون من فهم مدى انتشار الذكاء الاصطناعي في نص معين بشكل أفضل.

إنشاء مجموعة بيانات معدلة بواسطة الذكاء الاصطناعي

من أجل تدريب نموذج لتحديد مقدار التحرير بالذكاء الاصطناعي في النص، كان علينا إنشاء مجموعة بيانات تدريب تتكون من نصوص محررة بالذكاء الاصطناعي وموسومة بمقدار التحرير بالذكاء الاصطناعي الموجود في كل نص. قمنا بأخذ عينات من نصوص مصدرية مكتوبة بالكامل بواسطة البشر من مجموعات بيانات مفتوحة المصدر عبر مجالات مختلفة: الأخبار، والمراجعات، والمقالات التعليمية على الويب، ومطالبات الكتابة على Reddit. ثم قمنا بتطبيق 303 مطالبات تحرير مختلفة، مثل "اجعل هذا أكثر وصفية" أو "هل يمكنك مساعدتي في الحصول على درجة أفضل في مقالتي؟" باستخدام 3 نماذج لغوية كبيرة تجارية مختلفة: GPT-4.1 و Claude Sonnet 4 و Gemini 2.5 Flash. أخيرًا، أنشأنا نسخة مولدة بالكامل بالذكاء الاصطناعي (تسمى أيضًا "مرآة اصطناعية"، انظر التقرير الفني Pangram) لكل نص مكتوب بواسطة البشر. تحتوي مجموعة البيانات النهائية لدينا على 60 ألف تدريب و 6 آلاف اختبار و 2.4 ألف مثال تقييمي.

كيف نحدد مدى تحرير النص بواسطة الذكاء الاصطناعي؟

نظرًا لأننا نتمتع بإمكانية الوصول إلى النص المصدر غير المحرر أثناء إنشاء مجموعة البيانات، فقد تمكنا من قياس مقدار التحرير الذي أجراه الذكاء الاصطناعي في النص من خلال مقارنة النص المصدر ونسخته المحررة بواسطة الذكاء الاصطناعي. استخدمنا مقياسًا للتشابه النصي يسمى مسافة جيب التمام لتقدير مدى تغيير الذكاء الاصطناعي للنص المصدر المكتوب بواسطة الإنسان على مقياس من 0 إلى 1، حيث تم تعيين درجة 0 للنصوص المكتوبة بالكامل بواسطة الإنسان ودرجة 1 للنصوص التي تم إنشاؤها بالكامل بواسطة الذكاء الاصطناعي. للتحقق من أن هذه النتيجة تتوافق مع كيفية إدراك البشر لتحرير الذكاء الاصطناعي، أجرينا دراسة استعنا فيها بثلاثة خبراء لديهم خبرة واسعة في النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي وطلبنا منهم اختيار أي من النصين اللذين تم تحريرهما بواسطة الذكاء الاصطناعي كان أكثر تحريرًا بواسطة الذكاء الاصطناعي. كشفت دراستنا أن المعلقين اتفقوا بشكل عام مع اختيارنا لمقياس التشابه النصي.

تدريب نموذج للتنبؤ بتعديلات الذكاء الاصطناعي

بمجرد حصولنا على مجموعة البيانات المصنفة، حان الوقت لتدريب النموذج. يتم تدريب نموذجنا على النصوص التي تم تحريرها بواسطة الذكاء الاصطناعي فقط، مما يعكس كيفية استخدام المستخدم لـ Pangram 3.0: لن يحصل المعلم المهتم بمدى استخدام طلابه للذكاء الاصطناعي سوى على ما قدمه الطالب، وليس أي مسودات سابقة. بالنظر إلى نص ما، يتم تدريب نموذجنا على توقع درجة تحرير الذكاء الاصطناعي التي خصصناها له في القسم السابق. يوضح الشكل 3 مدخلات ومخرجات نموذجنا في كل من وقت التدريب والاختبار.

الكشف عن المساعدة بالذكاء الاصطناعي في الممارسة العملية

فيما يلي فقرة كتبها إنسان عن المؤلف كازو إيشيغورو:

قراءة أعمال الكاتب البريطاني كازو إيشيغورو هي تجربة محبطة على عدة مستويات. تكمن عبقرية إيشيغورو في كتاباته المحبطة في أنه بغض النظر عن مدى انخراط القارئ عاطفياً في الشخصيات والحبكة، فإن الإحباط يغمره. على مستوى اللغة نفسها، يجد القارئ تكراراً وطولاً في السرد ووفرة في استخدام الصفات المقيدة. لقد جعلني إيشيغورو أشعر برد فعل جسدي سلبي كلما قالت إحدى شخصياته شيئًا على غرار "سأكون موجزًا". جميع الراوين موظفون، لكن لا أحد منهم راوي قصص محترف. يتم نشر المعلومات ببطء، وبشكل غير دقيق، وبترتيب غير زمني. وهذا يحرم القارئ من الحقائق الملموسة التي تسهل فهم الحبكة.

فيما يلي كيفية وصف Pangram 3.0 للنسخ المعدلة بالذكاء الاصطناعي لهذه الفقرة من ChatGPT بعد تطبيقنا لمطالبات مختلفة:

موجه	مساعدة الذكاء الاصطناعي (EditLens) النتيجة	نتيجة Pangram 3.0
نظف هذا، أنا أحاول إرسال مقالتي إلى مجلة أدبية.	0.52	عرض النص والنتيجة المعدلة بشكل طفيف
اجعل اللغة أكثر حيوية	0.79	عرض النص والنتيجة المعدلة بشكل معتدل
أعد كتابة هذا بأسلوب إيشيغورو	0.89	عرض النص ونتائج الذكاء الاصطناعي الكاملة

دراسة حالة Grammarly

Grammarly هو مساعد كتابة قائم على الذكاء الاصطناعي يعمل بنظام الاشتراك ويتيح للمستخدمين تحرير النصوص مباشرةً باستخدام نماذج اللغة الكبيرة (LLM) داخل معالج النصوص الأصلي الخاص بهم. قمنا بجمع مجموعة بيانات استخدمنا فيها Grammarly لتطبيق 9 من مطالبات التحرير الافتراضية على 197 نصًا كتبها بشر. وشملت هذه المطالبات عبارات مثل "بسّطها" و"اجعلها سلسة" و"اجعلها أكثر وصفية". ثم قمنا بتقييم جميع النصوص المعدلة باستخدام Pangram 3.0. في الشكل 4، نقدم توزيعات درجات المساعدة بالذكاء الاصطناعي مجمعة حسب موجهات التحرير. يمكننا أن نرى أن Pangram 3.0 يعتبر "إصلاح أي أخطاء" أقل تعديلات، في حين أن "تلخيصه" و"اجعله أكثر تفصيلاً" يعتبران تعديلات أكثر تدخلاً، وهو ما قد يكون غير بديهي.

الشكل 4: توزيع درجات Pangram 3.0 (EditLens) على مجموعة بيانات تم جمعها من Grammarly. تم تجميع الدرجات حسب التعديلات التي تم إجراؤها عليها. جميع التعديلات هي خيارات افتراضية متوفرة في معالج النصوص Grammarly.

ترتفع درجة المساعدة من الذكاء الاصطناعي كلما قمت بتطبيق المزيد من التعديلات باستخدام الذكاء الاصطناعي

أجرينا تجربة قمنا فيها بتطبيق 5 تعديلات LLM على نفس النص وأعدنا تقييم النص باستخدام Pangram 3.0 بعد كل تعديل. في الشكل 5، يمكننا أن نرى أن درجة المساعدة التي يقدمها الذكاء الاصطناعي (EditLens) تزداد بشكل عام مع تطبيق كل تعديل تدريجي.

الشكل 5: نتائج Pangram 3.0 بعد كل تعديل من التعديلات الخمسة المتتالية التي أجراها الذكاء الاصطناعي على نفس المستند.

المؤتمر الدولي حول تمثيلات التعلم (ICLR) دراسة حالة

في نوفمبر، أعرب باحثو الذكاء الاصطناعي عن قلقهم بشأن النسبة الكبيرة من المشاركات والمراجعات التي يُشتبه في أنها تم إنشاؤها بواسطة الذكاء الاصطناعي في المؤتمر الدولي لتعلم التمثيلات (ICLR)، وهو أحد أهم المؤتمرات في مجال الذكاء الاصطناعي والتعلم الآلي. عرض البروفيسور جراهام نيوبيغ من جامعة كارنيجي ميلون مكافأة مالية لأي شخص يقوم بفحص مشاركات ومراجعات ICLR لهذا العام للكشف عن الذكاء الاصطناعي، وقد سعدنا في Pangram بالاستجابة لهذا العرض.

كجزء من هذا التحليل، قمنا بتشغيل Pangram 3.0 على جميع المراجعات النظيرة التي تم تقديمها إلى ICLR في دورة المراجعة هذه، بالإضافة إلى المراجعات التي تم تقديمها في عام 2022 للتحقق من معدل الإيجابيات الخاطئة (FPR). في المراجعات لعام 2022، كان معدل الإيجابيات الخاطئة لبرنامج Pangram 3.0 حوالي 1 في 1000 في المراجعات التي تم تحريرها بشكل طفيف مقابل المراجعات التي تم تحريرها بالكامل بواسطة البشر، و1 في 5000 في المراجعات التي تم تحريرها بشكل معتدل مقابل المراجعات التي تم تحريرها بالكامل بواسطة البشر، و1 في 10000 في المراجعات التي تم تحريرها بشكل مكثف مقابل المراجعات التي تم تحريرها بالكامل بواسطة البشر. لم نجد أي التباس بين النصوص التي تم إنشاؤها بالكامل بواسطة الذكاء الاصطناعي والنصوص التي تمت صياغتها بالكامل بواسطة البشر. في مراجعات هذا العام، وجد Pangram 3.0 أن أكثر من نصف المراجعات تحتوي على شكل من أشكال المساعدة من الذكاء الاصطناعي. يوضح الشكل 6 توزيع درجات Pangram 3.0 عبر جميع مراجعات ICLR لعام 2026.

الشكل 6: توزيع تنبؤات Pangram 3.0 على 2026 مراجعة ICLR

للاطلاع على منهجيتنا ونتائجنا بشكل أكثر تفصيلاً، يرجى الاطلاع على المنشور الذي كتبناه على مدونتنا حول تحليلنا.

كيف يتعامل Pangram 3.0 مع النصوص المكتوبة بمساعدة الذكاء الاصطناعي من قبل متحدثين غير ناطقين باللغة الإنجليزية؟

نشرنا نتائج تحليلنا ونتائج Pangram 3.0 لجميع المراجعات، مما سمح للمراجعين بالتحقق من كيفية تقييم Pangram 3.0 للمراجعات التي كتبوها. وبالتالي، تمكنا من الحصول على تعليقات غير رسمية حول أداء Pangram 3.0 على النصوص الواقعية.

كان الموضوع المشترك بين الردود على X على تحليلنا هو السؤال حول كيفية قيام AI Assistance بتقييم النصوص المكتوبة من قبل متحدثين غير ناطقين باللغة الإنجليزية الذين يستخدمون بعد ذلك LLMs لترجمة أو صقل نصوصهم المكتوبة بواسطة البشر. فيما يلي، نشارك بعض الردود من المراجعين، الذين اتفقوا بشكل عام مع توصيف Pangram لمراجعاتهم:

راجعت تقييماتي التي تم تنقيحها باللغة الإنجليزية بواسطة نماذج اللغة الكبيرة (LLMs) ووضعت علامة على جميعها على أنها غير مكتوبة بواسطة الذكاء الاصطناعي / مكتوبة بالكامل بواسطة البشر.

— آنا ماراسوفيتش (@anmarasovic) 15 نوفمبر 2025

أنا أتحقق من تقييماتي. النتيجة: 2 تقييمات تم تعديلها بشكل معتدل بواسطة الذكاء الاصطناعي، و2 تقييمات تم تعديلها بشكل كبير، و1 تقييم تم تعديله بشكل طفيف. لأنني كتبت التقييم باللغة الصينية وساعدني gpt في ترجمته إلى اللغة الإنجليزية. هذه النتيجة ليست مفاجئة. لكنني أعتقد أنني مراجع مسؤول :) https://t.co/1QoRvF6q2y

— رايزينغ زانغ (张瑞星) (@xing_rui12683) 16 نوفمبر 2025

الآن نحن نثق في الذكاء الاصطناعي للكشف عن المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي أكثر من ثقتنا في المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي نفسه هاها.
لأكون واضحًا، أنا أحترم تمامًا الأشخاص الذين بذلوا جهدًا لجعل هذا التحليل ممكنًا.

من تجربتي الخاصة: لديّ مشاركة واحدة حصلت فيها على أربع مراجعات... https://t.co/qzjxeG48u2

— شوايشن تشانغ (@ShuaichenChang) 17 نوفمبر 2025

يسعدنا أن نشارككم هذا التحديث الخاص بالمنتج. لمزيد من التفاصيل الفنية حول خاصية الكشف عن المساعدة الذكية في Pangram 3.0 (EditLens)، يرجى الاطلاع على ورقة البحث الخاصة بنا هنا: https://arxiv.org/abs/2510.03154