التقرير الفني الخاص بـ «بانغرام 4»

يُعد «بانغرام 4» أحدث نماذجنا المتطورة للكشف عن النصوص المُنتجة بواسطة الذكاء الاصطناعي. وبالمقارنة مع النسخة السابقة، يُظهر «بانغرام 4» تحسناً ملحوظاً في التمييز بين النصوص المُنتجة بالكامل بواسطة الذكاء الاصطناعي، والنصوص ذات المؤلفين المتعددين، والنصوص التي تم إنشاؤها بمساعدة الذكاء الاصطناعي، مع توفير دقة تفصيلية فائقة، مما يتيح التمييز بشكل أدق بين المقاطع التي كتبها الإنسان وتلك التي أنتجها الذكاء الاصطناعي داخل المستند الواحد. كما يتميز النموذج بمقاومته القوية لأدوات «إضفاء الطابع البشري» والتوجيهات العدائية، ويُظهر دقة أعلى بكثير عند استخدامه مع أحدث النماذج الرائدة في هذا المجال.

على حد علمنا، يُعد «بانغرام 4» أول نموذج للكشف عن الكتابة المدعومة بالذكاء الاصطناعي قادر على التمييز في آن واحد، وفي عملية واحدة، بين الكتابة المدعومة بالذكاء الاصطناعي والكتابة المختلطة بين الذكاء الاصطناعي والإنسان.

النتائج الرئيسية:

• في اختباراتنا المعيارية، تمكنت «بانغرام 4» من تحديد 99.66% من الوثائق التي أنشأتها الذكاء الاصطناعي بشكل صحيح، في حين لم تصنف الكتابة البشرية على أنها من إنتاج الذكاء الاصطناعي إلا في 0.0041% من الحالات، أو ما يعادل تقريبًا حالة إيجابية خاطئة واحدة لكل 24,000 وثيقة.
• يُعدّ «بانغرام 4» نسخة محسّنة من «بانغرام 3» في كلا الاتجاهين، حيث يقل عدد الحالات السلبية الكاذبة فيه بنحو 6 أضعاف، ويقل عدد الحالات الإيجابية الكاذبة بنحو 14 ضعفًا.
• لا يخلط «بانغرام 4» بين الصقل البسيط بالذكاء الاصطناعي والتوليد بالذكاء الاصطناعي: فهو لا يصنف النصوص البشرية التي خضعت لصقل بسيط بالذكاء الاصطناعي على أنها مولدة بالكامل بالذكاء الاصطناعي إلا في 0.009% من الحالات، وهو ما يمثل انخفاضًا بمقدار 20 ضعفًا مقارنةً بـ«بانغرام 3».
• عند مقارنته بـ 13 برنامجًا تجاريًّا شائعًا لتحويل النصوص إلى أسلوب بشري، ينجح «بانغرام 4» في الكشف عن تدخل الذكاء الاصطناعي في النصوص التي تم تحويلها إلى أسلوب بشري بنسبة 98.83٪ من الحالات.

التأليف المشترك والمساعدة من الذكاء الاصطناعي

لم تعد العديد من الوثائق المكتوبة التي يتم إنتاجها اليوم تندرج بشكل واضح ضمن فئة «المُنتجة بالكامل بواسطة الذكاء الاصطناعي» أو «المكتوبة بالكامل بواسطة البشر»؛ بل إننا نعيش في عصر يمكن فيه أن يكون لأسلوب النص وحجته مصدران مختلفان بشكل معقول.

نعتقد أنه من المهم التمييز بين هذه الفئة من الوثائق والنصوص التي تم إنشاؤها بالكامل بواسطة الذكاء الاصطناعي وتلك التي كتبها البشر بالكامل. وهذا الأمر مهم بالنسبة لنا، أولاً لأننا نؤمن بالشفافية في تحديد المؤلف، وثانياً لأن نماذج اللغة — باعتبارها تقنية شائعة وناشئة — تشكل العالم بطرق لا نفهمها تماماً بعد، وإن كانت لدينا بعض المؤشرات في هذا الصدد. تشير بعض الأبحاث إلى أن استخدام نماذج اللغة لتحرير النص يغير أسلوبه بطرق قابلة للقياس؛ على سبيل المثال، تميل الأوراق الأكاديمية التي أعيدت صياغتها بواسطة نموذج لغة كبير (LLM) إلى تراكم كلمات التحوط («قد»، «عادةً»، «يشير إلى») وكلمات التأكيد («قوي»، «متين»، «متسق»). وتشير دراسات ذات صلة إلى أن تعديلات نماذج اللغة الكبيرة (LLM) تغير معنى النص حتى عندما يُطلب من النموذج تصحيح القواعد النحوية فقط، وأن المراجعات النظيرة التي تكتبها نماذج اللغة الكبيرة (LLM) تقيّم الوضوح والأهمية بشكل مختلف عن المراجعين البشريين. وفي سياقات أخرى، هناك مؤشرات على صعوبة إزالة بصمات المسودة التي أنشأتها الذكاء الاصطناعي حتى مع إجراء تعديلات مكثفة: فالكتاب الذين يعدلون مخرجات نماذج اللغة الكبيرة (LLM) لتتناسب مع أسلوبهم الشخصي لا يزالون ينتجون نصوصًا تبدو أقرب إلى أسلوب كتابة نماذج اللغة الكبيرة (LLM) منها إلى أسلوبهم الخاص.

ولمعالجة هذه المشكلة، نأخذ في الاعتبار طريقتين رئيسيتين يمكن من خلالهما الجمع بين التأليف البشري والتأليف بواسطة الذكاء الاصطناعي. بالنسبة للوثائق غير المتجانسة، حيث يمكن نسب المقاطع بشكل واضح إما إلى مؤلف بشري أو إلى الذكاء الاصطناعي، يستخدم «بانغرام» التنبؤ على أساس كل رمز. من ناحية أخرى، بالنسبة للمقاطع التي خضعت لتعديلات متكررة ولا يمكن فيها نسب أي رمز بشكل قاطع إلى مؤلف بشري واحد أو إلى الذكاء الاصطناعي وحده، يقوم «بانغرام» بوضع علامة على المقطع على أنه «مدعوم بالذكاء الاصطناعي».

الفرق بين النص المختلط غير المتجانس والنص المختلط المتجانس.

تتميز «بانغرام» بمقاومتها القوية لعمليات «التأنيس» و«التوجيه العدائي»

مع تحسن تقنيات الكشف عن الذكاء الاصطناعي، يزداد الطلب على البرامج التي تعيد صياغة النصوص التي يُنتجها الذكاء الاصطناعي بهدف التهرب من الكشف التلقائي. وغالبًا ما تهدف هذه الأدوات إلى التحايل على أنظمة الكشف في المجالات التي يُعد فيها تحديد المؤلف أمرًا بالغ الأهمية، مثل الأوساط الأكاديمية أو مجال البحوث أو النشر. ولمكافحة ذلك، يتمتع Pangram 4 بقدرة مخصصة للكشف عن النصوص المُعدلة لتبدو وكأنها من تأليف بشري. وعند تقييمه مقارنةً بـ 13 أداة تجارية شائعة لتعديل النصوص لتبدو وكأنها من تأليف بشري، تمكن Pangram من تحديد تدخل الذكاء الاصطناعي في النتائج المُعدلة بنسبة 98.83% من الحالات.

هناك استراتيجية عدائية أخرى شائعة للتحايل على الكشف، وهي «التوجيه العدائي»، مثل أداة «Blader humanizer»، حيث يوجه المستخدم نموذج اللغة الكبير (LLM) للخروج عن أسلوبه المعتاد في الكتابة. لتقييم أدائنا في هذا المجال، منحنا وكيل الذكاء الاصطناعي (Codex GPT 5.6 Sol) حق الوصول إلى واجهة برمجة تطبيقات Pangram 4 لمدة 24 ساعة بهدف هندسة حالات «السلبيات الكاذبة» القابلة للتكرار.

في إطار جهوده، اختبر GPT 5.6 مجموعة متنوعة من الاستراتيجيات، بما في ذلك تقليد الأسلوب، والأسلوب المهني المقتضب، وتزويد السياق مسبقًا بنص مصدر بشري. خلال فترة الاختبار، لم تنجح سوى في تجاوز واحد فقط، وذلك من خلال محاكاة ملاحظات علم الأمراض الجراحية المُمليّة. ورغم أن هذه المحاولة مثيرة للإعجاب، إلا أننا نعتبرها في النهاية خارج نطاق الدراسة، وذلك لأن المدخلات احتوت على سياق أكثر من المخرجات، ولأن النص الناتج كان عبارة عن نقاط موجزة بدلاً من النثر المفتوح الذي نستهدفه عادةً.

التدريب والهندسة المعمارية

لغرض تحديد المؤلف، نُعرِّف النص المُنتج بواسطة الذكاء الاصطناعي بأنه نص نثري أصلي باللغة الطبيعية يُنتجه نموذج اللغة الكبيرة (LLM) استجابةً لمهمة كتابة مفتوحة أو سؤال مفتوح. كما نشترط أن يساهم نموذج اللغة الكبيرة (LLM) برموز أصلية، ونستبعد الحالات التي يقتبس فيها النموذج حرفياً نصاً من تأليف بشري؛ على سبيل المثال، الاقتباس من نافذة السياق، أو تلاوة محتوى محفوظ عن ظهر قلب، أو تلخيص سلاسل الإدخال البشرية.

بيانات التدريب

لقد قمنا بتدريب «بانغرام 4» على نصوص كتبها البشر وأخرى أنتجتها الذكاء الاصطناعي، مستمدين هذه النصوص من مجموعة واسعة من المجالات واللغات ونماذج الذكاء الاصطناعي.

وكما هو الحال في الإصدارات السابقة، فإن جميع بيانات التدريب التي كتبها البشر تخضع لترخيص تجاري أو مملوكة للشركة. وكما هو الحال دائمًا، لم يتم تدريب Pangram 4 على أي بيانات مقدمة من المستخدمين، أو بيانات العملاء من مستخدمي واجهة برمجة التطبيقات (API)، أو البيانات التي تم الحصول عليها من عمليات الزحف غير المصرح بها على الإنترنت.

فيما يلي توزيع تقريبي للمجالات الموجودة في مجموعة البيانات البشرية الخاصة بنا.

توزيع تقريبي للنصوص البشرية المصدر حسب الفئة.

بالنسبة للجزء المتعلق بالذكاء الاصطناعي من مجموعة البيانات الخاصة بنا، نقوم بإنشاء جميع الأمثلة الاصطناعية داخليًّا باستخدام 75 من أكثر النماذج شيوعًا، بما في ذلك جميع نماذج OpenAI وAnthropic المتاحة حاليًّا. ويتمثل هدفنا عند إنشاء مجموعة البيانات الاصطناعية الخاصة بنا في توفير سياق يساعد النموذج على تعلم كيفية كتابة النص، بدلاً من الاكتفاء باستيعاب المؤشرات المتعلقة بالموضوع أو اللغة أو النبرة في النصوص التي ينتجها الذكاء الاصطناعي.

لتقليل حالات الإيجابية الكاذبة في الكتابة البشرية غير المعتادة، نقوم بتشغيل نموذج مرشح مدرب على مجموعة احتياطية من النصوص البشرية بهدف تحديد العناصر التي يصنفها النموذج المرشح خطأً على أنها من إنتاج الذكاء الاصطناعي. ثم نقوم بإنشاء نسخ اصطناعية مطابقة للعناصر المصنفة خطأً، ونعيد تدريب النموذج المرشح على المجموعة المدمجة. ونطلق على هذه الطريقة اسم «التعدين السلبي الصارم».

العمارة

يُعد «بانغرام 4» أكبر نموذج لدينا حتى الآن، حيث يحتوي على معلمات تبلغ 6 أضعاف تلك الموجودة في «بانغرام 3.3». ويتميز «بانغرام 4» بعدة تغييرات رئيسية في البنية مقارنةً بسابقه. كما أنه أول نموذج «مزيج الخبراء» لدينا، حيث تعمل آلية توجيه متفرقة على توجيه أنواع مختلفة من المدخلات إلى أجزاء مختلفة من الشبكة العصبية. ونعتقد أن هذا النوع من البنية سيكون مناسبًا تمامًا للكشف باستخدام الذكاء الاصطناعي نظرًا للنطاق الواسع من احتمالات المدخلات.

نظرة عامة على بنية «بانغرام 4».

آليات التنبؤ

من أجل زيادة دقة تنبؤاتها، تقوم «بانغرام 4» بتقدير ثلاث درجات لكل رمز في سلسلة إدخال معينة، تتوافق مع تقديرها لما إذا كان هذا الرمز مكتوبًا بواسطة الإنسان، أو بمساعدة الذكاء الاصطناعي، أو مولَّدًا بواسطة الذكاء الاصطناعي. ويتم تقييم المستندات الأطول في نوافذ متداخلة مكونة من 512 رمزًا، بحيث نحصل لكل نافذة أيضًا على درجة على مستوى النافذة إلى جانب تجميع للدرجات على مستوى الرموز. ثم يتم حساب متوسط جميع الدرجات وتنعيمها لتقليل التقلبات الزائفة في تنبؤات الرموز الفردية. تحل هذه الطريقة محل النهج السابق الذي كان يعتمد على تقسيم النص إلى أجزاء بشكل ساذج أثناء المعالجة المسبقة، وهي ما يسمح لنا باستنتاج الحدود الفاصلة بين المحتوى الذي أنشأه الذكاء الاصطناعي والمحتوى الذي كتبه الإنسان بدقة.

الأداء والمعايير القياسية

من أجل وضع نموذج دقيق لحالات استخدام النماذج اللغوية الكبيرة (LLM) في العالم الواقعي، قمنا بتقييم «Pangram 4» على نصوص مكتوبة بواسطة البشر، ونصوص تم إنشاؤها بواسطة الذكاء الاصطناعي، ونصوص تم إنشاؤها بمساعدة الذكاء الاصطناعي، وذلك عبر مجموعة متنوعة من معايير الأداء القياسية والصعبة.

النتائج الإيجابية الكاذبة

بالنسبة للجزء الخاص بالبشر من مجموعة الاختبار، تم تقييم أداء «بانغرام 4» على مجموعة مكونة من مليوني وثيقة مرخصة تجاريًا تعود إلى ما قبل عام 2022، والتي تم استبعادها من عملية تدريب النموذج. في هذا الاختبار المعياري، حقق Pangram 4 معدل إيجابيات خاطئة بنسبة 0.0041٪، مع فاصل ثقة بنسبة 95٪ يتراوح بين (0.0032٪، 0.0050٪). وهذا يعني إيجابية خاطئة واحدة لكل 24,000 وثيقة تقريبًا.

النتائج السلبية الخاطئة في مجموعة البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي

قمنا بإنشاء هذا المعيار المرجعي من خلال جمع المطالبات التي أدخلها المستخدمون من «محادثات Chatbot Arena»؛ وقد اخترنا هذه المجموعة من المطالبات بهدف عكس التوزيع الفعلي للمطالبات التي يرسلها المستخدمون إلى نماذج اللغة الكبيرة (LLMs). ثم استخدمنا نموذج لغة صغيرًا (Mistral-Small-24B-Instruct-2501) لتصفية أي مطالبات تطلب مساعدة في الرياضيات أو البرمجة، بالإضافة إلى الإجابات متعددة الخيارات، حيث اعتبرناها خارج نطاق الدراسة. وبعد التصفية، تبقى لدينا مجموعة شاملة من 20,000 استفسار استدرجت ردودًا مفتوحة من النماذج. ومن كل استفسار في هذه المجموعة، قمنا بإنشاء رد لكل نموذج لغوي ضمن مجموعتنا المكونة من 26 نموذجًا، بما في ذلك GPT-5.5 وClaude Opus 4.8 وGemini 3.1 Pro، ليصبح المجموع 519,993 عينة تم تقييمها بنجاح.

في هذا الاختبار المعياري، حقق «بانغرام 4» معدلًا إجماليًّا للنتائج السلبية الخاطئة بلغ 0.3396٪، مقارنةً بمعدل «بانغرام 3» الذي بلغ 1.99٪ على نفس مجموعة البيانات.

القدرة على تحمل نماذج الحدود

يُعمم «بانغرام 4» نتائجه على نماذج اللغة الرائدة: حيث يتم الكشف عن كل عائلة من النماذج بمعدل FNR أقل من 0.7٪، ولم نجد أي ارتباط ذي دلالة إحصائية بين تاريخ إصدار النموذج وإمكانية الكشف عنه.

الأداء عند التعامل مع المستندات المختلطة والمعدلة

نقوم بإنشاء مجموعة بيانات من النصوص التي خضعت للتدقيق والتحسين بواسطة الذكاء الاصطناعي لتقييم «معدل الإيجابيات الكاذبة المدعومة بالذكاء الاصطناعي» لدينا، وهو المعدل الذي يقوم عنده النموذج بشكل خاطئ بوضع علامة على التعديلات الطفيفة التي أجراها الذكاء الاصطناعي على أنها ناتجة عن الذكاء الاصطناعي. نستخدم منتجات استهلاكية (Grammarly وApple Intelligence وGemini في Google Docs) ونماذج اللغة الكبيرة (LLMs) المتطورة (Opus 4.8 وGemini 3.1 وGPT-5.5) لتطبيق تعديلات بسيطة على كتابات الطلاب من ELLIPSE وPELIC وICNALE. على سبيل المثال، استخدمنا ميزة «أدوات الكتابة» المدمجة في محرر النصوص Pages من Apple لـ«تدقيق» بعض النصوص، أو طلبنا من Opus 4.8 «تصحيح المشكلات الطفيفة المتعلقة بالأسلوب الأكاديمي مع الحفاظ على الطابع البشري الواضح للمسودة».

مقارنة بين «بانغرام 3» و«بانغرام 4» على مقتطف من وثيقة مختلطة غير متجانسة. يكتشف «بانغرام 4» الذكاء الاصطناعي بدقة أعلى بكثير.

ماذا بعد؟

يسعدنا أن نقدم لكم هذا الطراز، ونعتقد أنه الأفضل من نوعه في العالم حالياً. ومع ذلك، لدينا أيضاً بعض الأهداف.

أولاً، نأمل في معالجة «انحراف البيانات» بشكل استباقي قبل أن يصبح مشكلة. ولا يُعرف حاليًا إلى متى ستظل مجموعة التدريب التي تعود إلى ما قبل عام 2022 كافية لإنتاج أنواع النماذج التنبؤية القوية التي تتطلبها معاييرنا، ولذا فإن إيجاد طرق لتعزيز مجموعة التدريب التي أعدها البشر يمثل أولوية قصوى — ولكن بالطبع، دون المساس بضماننا بتوفر قيمة «الحقيقة الميدانية» البشرية لكل وثيقة أصلية نستخدمها في التدريب.

بعد ذلك، نود ضمان استقرار تنبؤات «بانغرام 4» عبر السياقات المختلفة. ففي بعض الأحيان، تتلقى مجموعة فرعية من نص أطول تنبؤات مختلفة اعتمادًا على ما إذا كانت معزولة أم مدمجة في الوثيقة المحيطة بها. وقد يعكس هذا الوضع كيف يزود السياق الإضافي النموذج بمزيد من المعلومات أو بإشارة أقوى، لكننا نأمل أن نتمكن من تقليل هذا التأثير إلى أدنى حد من خلال معايرة أفضل.

وأخيرًا، نود مواصلة عملنا في مجال القابلية للتفسير من أجل تحسين فهمنا لعوامل تأثير السمات، ومساحة التضمين، وتحديد هوية المولد. ويُعد هذا من بين أكثر أعمالنا طموحًا، ونحن متحمسون لمشاركة التقدم الذي نحرزه في الأشهر المقبلة.

بطاقة النموذج

توجد التفاصيل الكاملة في بطاقة طراز «بانغرام 4».