تقييمات البانغرام من قبل أطراف ثالثة

نعتقد أنه من المهم أن تتمكن المؤسسات من الاعتماد على الدقة العالية التي تتميز بها Pangram، ولذلك نشجع إجراء عمليات تحقق من قبل أطراف ثالثة لمقاييس الجودة الخاصة بنا (النتائج الإيجابية الخاطئة والنتائج السلبية الخاطئة). وفيما يلي، سنسلط الضوء على تقييمات Pangram التي أجراها باحثون من جامعة شيكاغو (UChicago) وجامعة ماريلاند (UMD) ومراجعون من القطاع التجاري.

النقطة الأساسية: تخضع الاختبارات الداخلية التي تجريها Pangram للتدقيق من قبل جهات خارجية.

موثوقية ودقة بانغرام (جامعة شيكاغو)

تجربة

في معهد بيكر فريدمان للاقتصاد التابع لجامعة شيكاغو، قارن الباحثون بين أربعة أدوات للكشف عن النصوص المولدة بالذكاء الاصطناعي: Pangram و GPTZero و Originality AI و RoBERTa (أداة مفتوحة المصدر للكشف عن النصوص المولدة بالذكاء الاصطناعي). استخدمت الدراسة كل أداة من هذه الأدوات لتحليل 1,992 نصًا من تأليف البشر كُتبت قبل عام 2020 و 1,992 نصًا مولدًا بالذكاء الاصطناعي، وذلك عبر أنواع أدبية مختلفة وعدد كلمات متنوع. وقد درسوا نوعين من الأخطاء في الكشف عن الذكاء الاصطناعي: معدلات الإيجابية الكاذبة ومعدلات السلبية الكاذبة. وتم مقارنة هذه المعدلات لعدة عتبات. كما صنفت أجهزة الكشف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي من نماذج اللغة الكبيرة (LLMs) الشهيرة مثل ChatGPT وClaude وGemini. وأنشأ الباحثون عدة حدود قصوى لسياسة معدلات الإيجابية الكاذبة (FPR) بين أجهزة الكشف لملاحظة التغيرات في معدلات السلبية الكاذبة (FNR).

النتائج

من الدراسة المعنونة «الكتابة المزيفة والكشف الآلي » التي أعدها براين جاباريان وأليكس إيماس في أغسطس 2025:

يتفوق برنامج Pangram على برامج الكشف الأخرى في جميع مستويات الحساسية.

يُعد «بانجرام» الكاشف الوحيد الذي يفي بمعايير سياسة صارمة (معدل الإشارة الخاطئة FPR ≤ 0.005) دون المساس بقدرته على الكشف الدقيق عن النصوص المُنتجة بواسطة الذكاء الاصطناعي.

لا تزال Pangram هي الرائدة من حيث التكلفة المنخفضة في جميع الأنواع، حيث يبلغ متوسط التكلفة 0.0228 دولارًا أمريكيًا لكل مقطع تم الكشف عنه بشكل صحيح بواسطة الذكاء الاصطناعي، مقارنة بـ 0.0416 دولارًا أمريكيًا لـ OriginalityAI و 0.0575 دولارًا أمريكيًا لـ GPTZero، مما يجعل Pangram أداة الكشف الأكثر فعالية من حيث التكلفة لكل من المقاطع الكاملة والمقاطع المختصرة.

أظهرت الدراسة ما يلي:

يحقق نظام Pangram معدلات "إيجابية كاذبة" و"سلبية كاذبة" تقترب من الصفر في المقاطع النصية المتوسطة الطول إلى الطويلة.

وقد حظيت دقة نظام "بانغرام" بإشادة واسعة النطاق عبر أنواع مختلفة من النصوص، مثل: المدونات، والمراجعات، والسير الذاتية، والأخبار، والروايات. وفي النصوص القصيرة، ترتفع معدلات "النتائج الإيجابية الخاطئة" و"النتائج السلبية الخاطئة" بشكل طفيف، "لكنها تظل أقل بكثير من الحدود المعقولة المحددة في السياسة".

أشار باحثو جامعة شيكاغو إلى الأداء المتفوق لـ«بانجرام» مقارنةً بأدوات الكشف عن المحتوى المصطنع الأخرى المتاحة. فعند تحديد سقف لمعدل «الخطأ الإيجابي» (FPR) عند 0.0001، «لم يحقق كل من GPTzero وOriginality.AI أداءً جيدًا في ظل سياسة الحد الأقصى الأكثر صرامة لمعدل «الخطأ الإيجابي»... بينما لا يزال «بانجرام» يحقق معدل «الخطأ السلبي» (FNR) يبلغ حوالي 0.01 في معظم نماذج النماذج اللغوية الكبيرة (LLM)».

لم يعد برنامج «بانجرام» يقدم تنبؤات للنصوص التي تقل عن 50 كلمة، ولكن كما ورد في الدراسة،

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

أداء فريق "بانغرام" في مواجهة فريق "هيومانيزرز" (جامعة ماريلاند)

تجربة

في التجربة الأولى من هذه الدراسة التي أجرتها جامعة ماريلاند، تم الاستعانة بمُصنِّفين يتمتعون بمستويات متنوعة من المعرفة في مجال النماذج اللغوية الكبيرة (LLM) للتنبؤ بما إذا كان النص قد تم إنشاؤه بواسطة الذكاء الاصطناعي أم لا. وبعد ملاحظة أن أحد المُعلّقين كان شبه مثالي في تحديد النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، تم الاستعانة بأربعة مُعلّقين خبراء إضافيين من ذوي الخلفيات المماثلة في استخدام نماذج اللغة الكبيرة لتصنيف نفس العينة المكونة من 60 نصًا. تمت مقارنة نتائج تصويت الخبراء مع أدوات الكشف التجارية مثل Pangram وPangram Humanizer وGPTZero، بالإضافة إلى أدوات مفتوحة المصدر مثل Fast-DetectGPT. خلال هذه العملية، تمت مقارنة Pangram بأدوات الكشف الأخرى.

أداء "بانغرام" المتسق مقارنة بالنصوص المعاد صياغتها والنصوص المُصاغة بأسلوب إنساني

النتائج

يمكن لبرنامج «بانجرام» الكشف بدقة عن النصوص التي تم «إضفاء الطابع البشري» عليها بواسطة الذكاء الاصطناعي. وقد أكد ذلك علماء الكمبيوتر في جامعة ماريلاند، الذين لاحظوا أن «بانجرام» سجل أعلى معدل إجمالي في الكشف عن النصوص التي خضعت لعملية «إضفاء الطابع البشري» والنصوص المعاد صياغتها، متفوقًا على برامج الكشف الأخرى المعتمدة على الذكاء الاصطناعي بدقة بلغت 99.3%.

تعرف على المزيد حول كيفية مقارنة Pangram ببرامج "humanizers"

تقييمات البانجرام خارج المؤسسات البحثية

ذكرت أماندا كاسويل في موقع «تومز جايد» في مقال لها أنه بعد تجربة العشرات من أدوات الكشف عن المحتوى المولد بالذكاء الاصطناعي، «تفوقت Pangram على غيرها من الأدوات التي جربتها». كما تبين أن Pangram تعمل بجد على تقليل حالات الإيجابيات الخاطئة، التي هي منخفضة بالفعل.

يصف ديفيد جويرتز من ZDNET برنامج Pangram بأنه «وافد جديد على اختباراتنا، لكنه انطلق على الفور إلى مصاف الفائزين».

ونظراً لتزايد استخدام الذكاء الاصطناعي في الأوراق البحثية، هناك مخاوف من أن يكون ذلك مؤشراً على سوء السلوك. استخدم آدم داي في مقاله على منصة Medium أداة الكشف عن الذكاء الاصطناعي من Pangram للحصول على نتائج موثوقة حول انتشار محتوى الذكاء الاصطناعي، بينما خلص أيضًا إلى أن هناك حالات استخدام مشروعة للذكاء الاصطناعي التوليدي في الأبحاث. يوصي داي باستخدام Pangram لإجراء الأبحاث، قائلاً: "إذا أراد شخص ما إجراء دراسة استقصائية حول استخدام الذكاء الاصطناعي التوليدي في الأدبيات المنشورة، أعتقد أن هناك فرصة رائعة للقيام بذلك باستخدام أدوات Pangram."

استخدام نتائج "بانغرام" في الأبحاث الموثوقة (جامعة ماريلاند)

استخدم باحثون من جامعة ماريلاند (بالتعاون مع مايكروسوفت وشركة بانجرام) نتائج الكشف عن المحتوى الذي أنشأته الذكاء الاصطناعي من بانجرام في دراسة حديثة لتحليل وجود نصوص أنشأتها الذكاء الاصطناعي في الأخبار، وذلك باستخدام عينة من 186,000 مقال صحفي. ورغم أنه تبين أن نسبة ضئيلة من الأخبار أنشأتها الذكاء الاصطناعي، إلا أن استخدام الذكاء الاصطناعي لم يُكشف عنه. تم استخدام Pangram لتحديد "219 مقالًا تحتوي على محتوى تم إنشاؤه بواسطة الذكاء الاصطناعي في صفحات الرأي في صحف The New York Times و The Wall Street Journal و The Washington Post."

وقد تمكنت الدراسة من إبراز بعض الفروق الدقيقة في استخدام الذكاء الاصطناعي، مثل:

قد لا يدرك الصحفيون الذين يكتبون مقالاتهم بأنفسهم أن الأشخاص الذين يقتبسون أقوالهم في مقالاتهم قد استخدموا الذكاء الاصطناعي لكتابة ردودهم.

الذكاء الاصطناعي في الأخبار باستخدام تقنية الكشف عن البانجرام

الخلاصة

نحن في Pangram نؤمن بأن الشفافية أمر أساسي لبناء الثقة. ونحن نتطلع إلى التعاون معكم لتوفير الشفافية في مجال الذكاء الاصطناعي لمؤسستكم.