تقييمات Pangram من قبل أطراف ثالثة

نعتقد أنه من المهم أن تتمكن المؤسسات من الاعتماد على الدقة العالية التي تتمتع بها Pangram، ولذلك نشجع إجراء تحقق من قبل أطراف ثالثة بشأن مقاييس الجودة لدينا (النتائج الإيجابية الخاطئة والنتائج السلبية الخاطئة). فيما يلي، سنسلط الضوء على تقييمات Pangram من قبل باحثين في جامعة شيكاغو (UChicago) وجامعة ماريلاند (UMD) ومراجعين تجاريين.

النقطة الأساسية: الاختبارات الداخلية التي تجريها Pangram تصمد أمام التدقيق من قبل أطراف ثالثة.

موثوقية ودقة Pangram (جامعة شيكاغو)

تجربة

في معهد بيكر فريدمان للاقتصاد بجامعة شيكاغو، قارن الباحثون أربعة أجهزة كشف للذكاء الاصطناعي: Pangram و GPTZero و Originality AI و RoBERTa (جهاز كشف مفتوح المصدر للذكاء الاصطناعي). استخدمت الدراسة كل جهاز كشف لتحليل 1992 نصًا بشريًا كُتب قبل عام 2020 و 1992 نصًا تم إنشاؤه بواسطة الذكاء الاصطناعي عبر أنواع مختلفة وعدد كلمات مختلف. ونظروا في نوعين من الأخطاء في كشف الذكاء الاصطناعي: معدلات الإيجابية الكاذبة ومعدلات السلبية الكاذبة. وقارنوا هذه المعدلات لعدة عتبات. كما صنف أجهزة الكشف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي من نماذج لغة كبيرة شائعة مثل ChatGPT وClaude وGemini. وأنشأ الباحثون عدة حدود لسياسة الإيجابية الكاذبة بين أجهزة الكشف لملاحظة التغيرات في السلبية الكاذبة.

النتائج

من الدراسة، الكتابة الاصطناعية والكشف الآلي، بقلم براين جاباريان وأليكس إيماس، أغسطس 2025:

يهيمن Pangram على أجهزة الكشف الأخرى في جميع العتبات.

Pangram هو الكاشف الوحيد الذي يفي بسياسة صارمة (FPR ≤ 0.005) دون المساس بالقدرة على الكشف الدقيق عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

يظل Pangram الرائد من حيث التكلفة المنخفضة في جميع الأنواع وبالمتوسط: 0.0228 دولار لكل مقطع تم الإبلاغ عنه بشكل صحيح بواسطة الذكاء الاصطناعي مقابل 0.0416 دولار لـ OriginalityAI و 0.0575 دولار لـ GPTZero، مما يجعل Pangram الكاشف الأكثر فعالية من حيث التكلفة لكل من المقاطع الكاملة والمقتطفات.

أظهرت الدراسة أن:

يحقق Pangram معدلات إيجابية كاذبة ومعدلات سلبية كاذبة تقترب من الصفر في المقاطع المتوسطة إلى الطويلة.

تم الإشادة بدقة Pangram العالية في مختلف أنواع النصوص مثل: المدونات والمراجعات والسير الذاتية والأخبار والروايات. في النصوص القصيرة، تزداد معدلات الإيجابية الكاذبة والسلبية الكاذبة بشكل طفيف "ولكنها تظل أقل بكثير من الحدود المعقولة".

أشار باحثو جامعة شيكاغو إلى الأداء المتفوق لـ Pangram مقارنة بأجهزة الكشف الأخرى المتاحة التي تعمل بالذكاء الاصطناعي. عند وضع حد أقصى لـ FPR يبلغ 0.0001، "لا يعمل كل من GPTzero و Originality.AI بشكل جيد في ظل سياسة FPR الأكثر صرامة. . . لا يزال Pangram يحقق معدل FNR يبلغ حوالي 0.01 في معظم نماذج LLM."

لم يعد Pangram يتنبأ بالنصوص التي تقل عن 50 كلمة، ولكن كما ورد في الدراسة،

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

أداء Pangram مقابل Humanizers (جامعة ماريلاند)

تجربة

في التجربة 1 من هذه الدراسة التي أجرتها جامعة ماريلاند، تم استخدام محللين ذوي مستويات مختلفة من المعرفة حول نماذج اللغة الكبيرة (LLM) للتنبؤ بما إذا كان النص قد تم إنشاؤه بواسطة الذكاء الاصطناعي أم لا. بعد ملاحظة أن أحد المعلقين كان شبه مثالي في تحديد النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، تم استخدام أربعة معلقين خبراء إضافيين لديهم خلفيات مماثلة في استخدام LLM لتصنيف نفس العينة المكونة من 60 نصًا. تمت مقارنة نتائج تصويت الخبراء مع أجهزة الكشف التجارية مثل Pangram و Pangram Humanizer و GPTZero، بالإضافة إلى أدوات مفتوحة المصدر مثل Fast-DetectGPT. خلال هذه العملية، تمت مقارنة Pangram بأجهزة الكشف الأخرى.

أداء Pangram المتسق مقابل النص المعاد صياغته والمُعَدّل ليكون أكثر إنسانية

النتائج

يمكن لـ Pangram اكتشاف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي بدقة. وقد أكد ذلك علماء الكمبيوتر في جامعة ماريلاند الذين لاحظوا أن Pangram حصل على أعلى درجة في اكتشاف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي والنصوص المعاد صياغتها، متفوقًا على برامج اكتشاف الذكاء الاصطناعي الأخرى بدقة تبلغ 99.3٪.

تعرف على المزيد حول كيفية تصدي Pangram للإنسانيين

تقييمات Pangram خارج المؤسسات البحثية

ذكرت أماندا كاسويل في Tom’s Guide في مقال لها أنه بعد تجربة العشرات من أدوات الكشف عن الذكاء الاصطناعي، تفوق Pangram على "الأدوات الأخرى التي جربتها". كما ثبت أن Pangram يعمل بجد على تقليل حالات الإيجابيات الخاطئة التي هي منخفضة بالفعل.

يصف ديفيد جويرتز من ZDNET Pangram بأنه "وافد جديد على اختباراتنا، لكنه سرعان ما صعد إلى مصاف الفائزين".

نظرًا لزيادة استخدام الذكاء الاصطناعي في الأوراق البحثية، هناك قلق من أن يكون ذلك مؤشرًا على سوء السلوك. استخدم آدم داي في مقاله المنشور على موقع Medium أداة Pangram للكشف عن الذكاء الاصطناعي للحصول على نتائج موثوقة حول انتشار محتوى الذكاء الاصطناعي، وخلص في الوقت نفسه إلى أن هناك حالات استخدام مشروعة للذكاء الاصطناعي التوليدي في الأبحاث. يوصي داي باستخدام Pangram لإجراء الأبحاث، قائلاً: "إذا أراد شخص ما إجراء دراسة استقصائية حول استخدام الذكاء الاصطناعي التوليدي في الأدبيات المنشورة، أعتقد أن هناك فرصة رائعة للقيام بذلك باستخدام أدوات Pangram".

استخدام نتائج Pangram في أبحاث مرموقة (جامعة ماريلاند)

استخدم باحثو جامعة ماريلاند (بالتعاون مع Microsoft و Pangram) نتائج الكشف عن الذكاء الاصطناعي من Pangram في دراسة حديثة لتحليل وجود النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي في الأخبار باستخدام عينة من 186,000 مقال صحفي. على الرغم من أن نسبة قليلة من الأخبار تم إنشاؤها بواسطة الذكاء الاصطناعي، إلا أن استخدام الذكاء الاصطناعي لم يتم الكشف عنه. تم استخدام Pangram لتحديد "219 مقالًا تحتوي على محتوى AI في صفحات الرأي في صحف The New York Times و The Wall Street Journal و The Washington Post."

تمكنت الدراسة من توضيح الفروق الدقيقة في استخدام الذكاء الاصطناعي، مثل:

قد لا يدرك الصحفيون الذين يكتبون مقالاتهم بأن الأشخاص الذين يقتبسون أقوالهم في مقالاتهم استخدموا الذكاء الاصطناعي لكتابة ردودهم.

الذكاء الاصطناعي في الأخبار باستخدام كشف البانجرام

الخلاصة

في Pangram، نعتقد أن الشفافية أمر أساسي للثقة. نود أن نتعاون معك لتوفير الشفافية في مجال الذكاء الاصطناعي لمؤسستك.