هل موقع «بانغرام» دقيق؟

تُعد الدقة مقياسًا لمدى فعالية «بانغرام» في تصنيف النص بشكل صحيح على أنه نص مُنتج بواسطة الذكاء الاصطناعي، أو مدعوم بالذكاء الاصطناعي، أو من تأليف بشري. وتُعرَّف الدقة من خلال نوعين مختلفين من الأخطاء، يُقاس كل منهما على حدة:

1. معدل النتائج السلبية الخاطئة: عدد المرات التي يفوت فيها «بانغرام» وثيقة كُتبت بواسطة الذكاء الاصطناعي أو بمساعدة الذكاء الاصطناعي، ويصنفها خطأً على أنها مكتوبة بواسطة الإنسان
2. معدل النتائج الإيجابية الخاطئة: عدد المرات التي يصنف فيها «بانغرام» خطأً مستندًا مكتوبًا بواسطة الإنسان على أنه مستند تم إنشاؤه بواسطة الذكاء الاصطناعي أو بمساعدة الذكاء الاصطناعي

Pangram هي أداة تُجري تنبؤات إحصائية. ونحن نقوم عمدًا بضبط Pangram بحيث تميل أكثر إلى إعطاء نتائج سلبية خاطئة بدلًا من نتائج إيجابية خاطئة؛ وقد اتخذنا هذا الخيار لأنه في حين أن النتيجة السلبية الخاطئة العرضية قد تكون مزعجة، فإن النتيجة الإيجابية الخاطئة قد تسبب ضررًا حقيقيًّا.

إذا واجهت نتيجة إيجابية خاطئة أو سلبية خاطئة، فيمكنك الإبلاغ عنها باستخدام نموذج الملاحظات الخاص بنا. تُستخدم تقارير المستخدمين للمراجعة والتشخيص اليدويين فقط — فنحن لا نستخدم بيانات المستخدمين أبدًا في التدريب أو المقارنة المعيارية.

كيف تُقاس دقة «بانغرام»؟

لقياس دقة «بانغرام»، يتم اختبارها على مجموعات بيانات ضخمة من الوثائق التي يكون لكل عنصر فيها مؤلف معروف، سواء كان بشريًّا أو ذكاءً اصطناعيًّا أو مزيجًا من الاثنين. ولضمان أن تُسفر اختبارات الأداء عن نتائج موثوقة، فإننا لا نقوم أبدًا بتدريب النماذج على مجموعات الاختبار الخاصة بنا، كما أننا لا نجري اختبارات الأداء على نصوص تكون فيها الحقيقة الموضوعية غير مؤكدة.

يتم اختبار دقة Pangram داخليًّا من قِبَلنا، وكذلك من قِبل باحثين من أطراف ثالثة. ونحن نبحث دائمًا عن المزيد من المُقيِّمين المستقلين — فإذا كنت باحثًا مهتمًّا باختبار خدماتنا، فإننا نقدم منحًا ائتمانية! يرجى الاتصال بنا للحصول على منحة API.

مجموعات المقارنة المعيارية

نقوم باختبار برنامج «بانغرام» على أنواع عديدة ومختلفة من البيانات، بما في ذلك المحتوى المكتوب بواسطة البشر، والمحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، والمحتوى الذي تم إنشاؤه بمساعدة الذكاء الاصطناعي، والمحتوى المختلط بين البشر والذكاء الاصطناعي.

تتألف بيانات المقارنة المعيارية التي كتبها البشر لدينا من نصوص مرخصة تجاريًّا ومملوكة حصريًّا، وتغطي مجموعة واسعة من الأنواع الأدبية والمجالات. ولا نستخدم أبدًا بيانات من نصوص مقدمة من المستخدمين أو محتوى مقرصن في عمليات المقارنة المعيارية.

نرغب في أن تعكس مجموعات المقارنة المعيارية التي تم إنشاؤها بواسطة الذكاء الاصطناعي أكبر تنوع ممكن من تطبيقات الكتابة القائمة على الذكاء الاصطناعي في العالم الواقعي. ولهذا السبب، يتم إنشاء معيارنا المعياري الرئيسي للكتابة التي يولدها الذكاء الاصطناعي بناءً على مجموعة من طلبات الكتابة المفتوحة التي حصلنا عليها من مجموعة بيانات LMSYS-Chat-1M التي تضم محادثات مجهولة المصدر لنماذج اللغة الكبيرة (LLM).

كما نقوم بإجراء اختبارات أداء مقارنة على عدة مجموعات بيانات متاحة للجمهور تم تجميعها بواسطة باحثين خارجيين؛ لمزيد من المعلومات، يرجى الاطلاع على اختبارات الأداء المقارنة التي أجرتها أطراف خارجية في بطاقة نموذج Pangram 4.

أداء «بانغرام» في أنواع الكتابة المختلفة

يبلغ معدل النتائج الإيجابية الخاطئة المستهدف لـ Pangram 0.01٪، أو 1 من كل 10,000. وفي اختبارات الأداء المقارنة الداخلية التي أجريناها، حقق Pangram 4 أداءً أفضل قليلاً من ذلك، حيث سجل حوالي 41 نتيجة إيجابية خاطئة لكل مليون وثيقة، مما يعطي معدل نتائج إيجابية خاطئة ملاحظًا يبلغ 0.0041٪. وبلغ معدل النتائج السلبية الخاطئة الرئيسي لدينا، الذي تم قياسه على ما يقرب من 520,000 وثيقة تم إنشاؤها بواسطة الذكاء الاصطناعي، 0.3396%.

تستخدم جميع معاييرنا تعريفًا صارمًا لمصطلحي «النتيجة الإيجابية الخاطئة» و«النتيجة السلبية الخاطئة»: فأي مقطع كُتب بواسطة الإنسان وتم تصنيفه على أنه من إنتاج الذكاء الاصطناعي أو بمساعدة الذكاء الاصطناعي — حتى لو كان يمثل جزءًا ضئيلًا من النص الإجمالي — يُسجَّل على أنه «نتيجة إيجابية خاطئة». وبالمثل، في حالة المستندات التي تم إنتاجها بواسطة الذكاء الاصطناعي، فإن أي مقطع جزئي تم تصنيفه على أنه كُتب بواسطة الإنسان أو بمساعدة الذكاء الاصطناعي يُسجَّل على أنه «نتيجة سلبية خاطئة» بالنسبة للمستند بأكمله.

لضمان موثوقية اختبارات الأداء التي نجريها، نقوم بقياس أداء Pangram على مجموعة متنوعة من النصوص التي كتبها البشر وتلك التي أنتجتها الذكاء الاصطناعي. ستجد أدناه معلومات حول أداء Pangram في مختلف المجالات والأنواع الأدبية، ونماذج الذكاء الاصطناعي، وأنواع النصوص.

المجال والنوع الأدبي

يختلف أسلوب الكتابة وتقنياتها وبنيتها باختلاف أنواع الكتابة، مثل المقالات والأدب الخيالي أو الصحافة، وقد تؤدي المقارنات المعيارية عالية المستوى إلى إخفاء معدلات الأخطاء في مجالات معينة. ولهذا السبب نقوم بتقسيم معاييرنا المعيارية إلى مجموعات فرعية خاصة بكل مجال على حدة، وندرس معدلات «النتائج الإيجابية الخاطئة» و«النتائج السلبية الخاطئة» في كل مجموعة من هذه المجموعات.

معدل النتائج الإيجابية الكاذبة حسب المجال

نقوم باختبار مجموعة متنوعة من المقاطع المكتوبة بواسطة البشر للتحقق مما إذا كانت أي منها تُظهر معدلًا غير متناسب من النتائج الإيجابية الخاطئة. وبشكل عام، فإن أداءنا في حالات الاستخدام الرئيسية لدينا جيد جدًّا، بما في ذلك الكتابة الإبداعية والأكاديمية والعلمية.

في هذا التصنيف حسب المجال، تتضمن تقييمات «أمازون» والأخبار والمقالات الإرشادية بيانات متعددة اللغات.

سجلت «الشعر» أعلى معدل للنتائج الإيجابية الخاطئة بين المجالات المختلفة — حيث يصعب تصنيف القصائد لأنها عادةً ما تكون قصيرة وذات تنسيق محدد بدقة. ورغم أن معدل النتائج الإيجابية الخاطئة لا يزال منخفضًا نسبيًّا، فإننا نوصي بإجراء فحص دقيق إضافي لهذا النوع من النصوص.

معدل النتائج السلبية الكاذبة حسب المجال

تم تقييم «بانغرام 4» من حيث قدرته على الكشف عن مجموعة واسعة من النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، بما في ذلك النصوص الأكاديمية مثل المقالات والأوراق البحثية والأوراق العلمية، بالإضافة إلى النصوص الإبداعية والأدبية.

كما تم اختباره على عينة عشوائية من الردود التي أنشأتها الذكاء الاصطناعي استجابةً لمطالبات مستخدمين مجهولي الهوية، مستمدة من مطالبات نماذج اللغة الكبيرة (LLM) الواقعية الواردة في مجموعة البيانات LMSYS-Chat-1M. وشملت هذه المطالبات الكتابة العلمية والتقنية، والكتابة الإبداعية، والكتابة التجارية.

نماذج ذكاء اصطناعي مختلفة وجديدة

لا تكتب جميع نماذج الذكاء الاصطناعي بالطريقة نفسها. عند إصدار Pangram 4، استخدمنا مجموعة البيانات LMSYS-Chat-1M لتوليد 20,000 مثال من 26 نموذجًا لغويًّا سائدًا، ليصبح المجموع 520,000 عينة. وفيما يلي معدل النتائج السلبية الخاطئة لـ 15 نموذجًا من تلك النماذج، ويمكنك الاطلاع على الجدول الكامل في بطاقة نموذج Pangram 4.

كما أن نماذج الذكاء الاصطناعي ليست ثابتة هي الأخرى. فهناك نماذج جديدة تُطرح باستمرار، وتركز شركات الذكاء الاصطناعي على أسلوب الكتابة وجودتها في الإصدارات الجديدة، لذا فمن المنطقي توقع أن يستمر أسلوب هذه النماذج وطابعها في التطور. وللمواكبة مع أحدث التطورات، نجري اختبارًا مقارنةً أصغر حجمًا على كل نموذج جديد فور إصداره، وننشر نتائجه على مدونتنا بين إصدارات نماذجنا الخاصة.

يواصل Pangram أداءه الجيد، حتى مع النماذج غير المألوفة، لأن النماذج الجديدة ترث جزءًا كبيرًا من أسلوب الكتابة من سابقاتها. يمكنك قراءة أحدث مقال لنا حول اختبار أداء النماذج، بعنوان «هل يستطيع Pangram اكتشاف نموذج Claude Sonnet 5.5؟» هنا، ومعرفة كيف يحقق Pangram معدلًا منخفضًا من النتائج السلبية الخاطئة مع النماذج غير المألوفة هنا.

تأليف مشترك

النص ليس ثنائيًّا: فليست كل الوثائق إما من إنتاج الذكاء الاصطناعي بالكامل أو مكتوبة بالكامل بواسطة الإنسان. وفي كثير من الأحيان، يتشابك دور الذكاء الاصطناعي مع دور المؤلف البشري من خلال عمليات التحرير والتحسين المتكررة وغيرها من العمليات التفاعلية. ومن الناحية المثالية، ينبغي أن يكون «بانغرام» قادرًا على التمييز بين الوثيقة التعاونية وتلك التي تم إنتاجها بإشراف بشري محدود، وأن يعكس هذا الاختلاف في نتائج الكشف.

ستعتمد التسمية المستهدفة على درجة استخدام الذكاء الاصطناعي في إنتاج الوثيقة. على سبيل المثال، عادةً ما تحتفظ عمليات التدخل البسيطة للذكاء الاصطناعي، مثل التدقيق اللغوي أو تحرير النصوص، بتسمية «من إعداد بشري بالكامل»، في حين أن عمليات إعادة الصياغة الأكثر جوهرية، مثل اقتراح تغييرات في الصياغة والعبارات من أجل الوضوح، ينبغي أن تحصل عمومًا على تسمية «بمساعدة الذكاء الاصطناعي». من ناحية أخرى، يمكن تصنيف عمليات إعادة الصياغة الكبيرة التي يتم إجراؤها بواسطة الذكاء الاصطناعي على أنها «من إنتاج الذكاء الاصطناعي».

كما ينبغي أن تعتمد التسمية على كيفية الجمع بين الكتابة التي يقوم بها الذكاء الاصطناعي والكتابة البشرية. على سبيل المثال، فإن التفاعل المتبادل مع الذكاء الاصطناعي لإعادة صياغة فقرة ما سيُصنف على أنه «بمساعدة الذكاء الاصطناعي»، في حين أن طلب الذكاء الاصطناعي توسيع نطاق ادعاء كتبته يدويًّا ليصبح فقرة أطول مع أدلة داعمة سيُصنف على أنه «محتوى مختلط بين البشر والذكاء الاصطناعي»، مما يعكس اختلاف مؤلفي الأقسام المختلفة.

ولتغطية جميع هذه الطرق المختلفة لاستخدام الذكاء الاصطناعي في الكتابة، نقوم بتقييم «بانغرام» على مجموعات بيانات تتفاوت فيها مستويات مشاركة الذكاء الاصطناعي.

يُظهر برنامج «بانغرام» أداءً جيدًا مع النصوص التي تمت معالجتها أو تحريرها بمساعدة الذكاء الاصطناعي. ومن باب الحيطة والحذر، يميل برنامج «بانغرام» إلى الاعتماد على المراجعة البشرية عند مواجهة نصوص مختلطة.

مؤلفون متنوعون

لقد قمنا بتقييم برنامج «بانغرام» للتحقق من عدم وجود تحيز ضد الكُتّاب من خلفيات متنوعة. واستنادًا إلى مجموعة بيانات تضم 25,996 مقالًا كتبها طلاب من مختلف حالات الإعاقة، والجنس، والمستويات الدراسية، والأصول العرقية، وحالات تعلم اللغة الإنجليزية، والخلفيات الاقتصادية، لم يسجل برنامج «بانغرام» أي نتائج إيجابية خاطئة. اطلع على التفاصيل الكاملة للنتائج المتعلقة بمقالات الطلاب المتنوعة.

فحصت إحدى الدراسات أداء «بانغرام 4» على 143,755 وثيقة، بما في ذلك 85,887 وثيقة كتبها مؤلفون مصابون بالتوحد، ووجدت أن «بانغرام» لم يُظهر أي تحيز ملحوظ. ومن بين 89,903 وثيقة كُتبت قبل عام 2022 من قبل مؤلفين من ذوي التنوع العصبي ومؤلفين من المجموعة الضابطة، أظهر «بانغرام 4» معدل إيجابية كاذبة بلغ 0.0011%. يمكنك قراءة الدراسة المستقلة الكاملة حول الكُتّاب ذوي التنوع العصبي.

بالإضافة إلى اللغة الإنجليزية، يدعم برنامج «بانغرام» اللغات التالية: العربية، والصينية، والتشيكية، والهولندية، والفرنسية، والألمانية، واليونانية، والهندية، والمجرية، والإيطالية، واليابانية، والكورية، والفارسية، والبولندية، والبرتغالية، والرومانية، والروسية، والإسبانية، والسويدية، والتركية، والأوكرانية، والأردية، والفيتنامية.

للاطلاع على نتائج الاختبارات المعيارية حسب اللغة، انظر «معدل النتائج الإيجابية الخاطئة في Pangram حسب اللغة المدعومة».

القيود

نص قصير

صُمم برنامج «بانغرام» للكشف عن النصوص التي أنشأتها الذكاء الاصطناعي في النصوص النثرية باللغة الطبيعية التي تضم 50 كلمة أو أكثر، والمكتوبة في الغالب بجمل كاملة. ويكون برنامج «بانغرام» أكثر موثوقية عند تحليل مقاطع نصية أطول، حيث توفر هذه المقاطع لمكشف الذكاء الاصطناعي مزيدًا من المعلومات لإجراء تنبؤات دقيقة.

فيما يلي، يمكنك الاطلاع على تفاصيل أداء Pangram مع نصوص ذات أطوال مختلفة. ونظرًا للتوازن بين النتائج الإيجابية الخاطئة، فإن العديد من الأخطاء التي تظهر في النصوص القصيرة ستكون في الواقع نتائج سلبية خاطئة.

قيود أخرى

هناك بعض أنواع النصوص التي نعتبرها خارج نطاق البحث في الوقت الحالي، والتي قد يقدم «بانغرام» نتائج أقل موثوقية بشأنها. وتشمل هذه الأنواع ما يلي:

• الكود، أو لغة الترميز، أو Markdown
• الترجمات التي تعتمد على الذكاء الاصطناعي والترجمات الآلية، مثل «مترجم جوجل»
• الأجزاء التمهيدية للوثيقة، بما في ذلك فهارس المحتويات وصفحات العنوان
• الأجزاء الختامية من الوثيقة، مثل الفهارس أو قوائم المراجع
• نص الشكل، مثل تسميات المحاور أو البيانات الجدولية
• الترميز الرياضي
• النصوص ذات التنسيق المعقد، مثل الشعر أو الوصفات

أفضل الممارسات

• للحصول على أفضل النتائج، ينبغي إزالة العناوين والتذييلات والتعليمات والمواد الأخرى غير ذات الصلة التي كُتبت بخط اليد قبل مسح المستند ضوئيًّا.
• يُنصح باستخدام النصوص الخام وملفات .docx بدلاً من ملفات PDF كلما أمكن ذلك، لأن تحليل ملفات PDF قد يؤدي أحيانًا إلى ظهور عيوب غير مقصودة. لذا، يجب دائمًا إعادة التحقق من النتائج المستخرجة من ملفات PDF.

الأسئلة الشائعة

لماذا يتم قياس معدل النتائج الإيجابية الكاذبة ومعدل النتائج السلبية الكاذبة بشكل منفصل؟

تُقاس الدقة عن طريق تشغيل برنامج «بانغرام» على مجموعة من النصوص النموذجية ومقارنة التصنيف المخصص بها بالتصنيف الذي نعلم أن الوثيقة تحملُه. وبالتالي، فإن معدل «السلبية الكاذبة» ومعدل «الإيجابية الكاذبة» هما مقياسان لشيئين مختلفين:

• معدل النتائج السلبية الخاطئة يطرح السؤال التالي: إذا أُعطيت «بانغرام» وثيقة تم إنشاؤها بواسطة الذكاء الاصطناعي، فما مدى احتمال أن تصنفها على أنها من صنع الإنسان؟
• معدل النتائج الإيجابية الكاذبة يطرح السؤال التالي: إذا أُعطيت «بانغرام» وثيقة كتبها الإنسان، فما مدى احتمال أن تصنفها على أنها من إنتاج الذكاء الاصطناعي؟

لا يوجد معدل إيجابي كاذب في مجموعة من الوثائق التي كتبها الذكاء الاصطناعي، لأن أي تصنيف إيجابي (من الذكاء الاصطناعي) يحدده برنامج «بانغرام» لأحد العناصر في تلك المجموعة لن يكون إيجابيًا كاذبًا — فبحكم التعريف، سيكون إيجابيًا صحيحًا. ولهذا السبب يجب قياس معدلي الإيجابي الكاذب والسلبي الكاذب والإبلاغ عنهما بشكل منفصل.

لماذا يقوم برنامج «بانغرام» بمسح النصوص القصيرة إذا كانت دقته أقل في التعامل معها؟

يبلغ معدل النتائج الإيجابية الخاطئة لـ «بانغرام» في النصوص التي يتراوح عدد كلماتها بين 50 و100 كلمة 0.02٪، أو ما يعادل 1 من كل 5,000 تقريبًا. ورغم أن هذا المعدل مرتفع بما يكفي — والنصوص القصيرة على الإنترنت كثيرة بما يكفي — بحيث قد يواجه المستخدم العادي نتيجة إيجابية خاطئة في نص قصير أثناء الاستخدام العادي، إلا أنه لا يزال منخفضًا بما يكفي لدرجة أننا نعتقد أن «بانغرام» يمكنه تقديم معلومات مفيدة في معظم الأحيان.

نوصي دائمًا بمسح أطول مقطع متاح من المستند. فكلما زاد عدد الكلمات، زادت المعلومات المتاحة لـ Pangram لإجراء التنبؤ، ولهذا السبب نلاحظ تحسن الدقة مع ارتفاع عدد الكلمات.