ما مدى كفاءة Pangram في التعامل مع برامج "humanizers"؟ (تم التحديث في أغسطس 2025)

ما مدى كفاءة Pangram في التعامل مع برامج "humanizers"؟ (تم التحديث في أغسطس 2025)

غالبًا ما يُوصف الكشف عن الذكاء الاصطناعي بأنه «سباق تسلح» بين النماذج اللغوية الضخمة وأدوات الكشف و«أدوات إضفاء الطابع البشري»، وهي فئة من الأدوات المتوفرة عبر الإنترنت تهدف إلى إخفاء النصوص التي يُنتجها الذكاء الاصطناعي وإدخال أخطاء متعمدة فيها، بحيث يبدو النص الناتج وكأنه من صياغة بشرية.

في Pangram، نسعى دائمًا إلى البقاء في الطليعة، والاستجابة لأحدث التطورات التكنولوجية سواء في النماذج الجديدة أو في أنظمة "هيومانيزر". وهذا يتيح لنا تطوير أنظمة كشف تعتمد على الذكاء الاصطناعي وتظل موثوقة.

في يناير 2025، نشرنا تحديثًا لتقريرنا الفني الذي قمنا فيه بتقييم 19 أداة مختلفة لتحويل النصوص إلى أسلوب إنساني وإعادة صياغة النصوص. وكانت النتائج الرئيسية كما يلي:

• تتميز "بانغرام" بمقاومتها لبرامج "هيومانيزر" وبرامج إعادة الصياغة
• يقوم بعض المترجمين البشريين بإدخال أخطاء في المسافات وعلامات الترقيم يدويًّا، كما يقومون باستبدال المرادفات بشكل فردي.
• وهناك أنواع أخرى من "أدوات إضفاء الطابع البشري" تتمثل في نماذج اللغة الكبيرة (LLMs) نفسها التي تم تدريبها على إعادة صياغة النص بأسلوب بشري.
• كلما كان النص الذي تمت معالجته بواسطة أداة "Humanizer" أكثر قابلية للقراءة وسلاسة، زادت احتمالية اكتشافه بواسطة Pangram.
• بعبارة أخرى، فإن عوامل "التأنيب" "الجيدة" من حيث الطلاقة أسهل في الكشف عنها، في حين أن عوامل "التأنيب" "السيئة" أقل عرضة للكشف.

ومع ذلك، فإن مجال "هيومانيزر" يشهد تطوراً سريعاً، ولذلك أردنا نشر أرقام محدثة عن أحدث اختبار أداء لـ "هيومانيزر".

نتائج أداة "هيومانيزر" المحدثة من بانغرام

حقق برنامج Pangram نسبة نجاح تزيد عن 90% في جميع أدوات التحويل إلى النص البشري البارزة التي قمنا باختبارها.

كيف يقارن برنامج Pangram ببرامج الكشف عن الذكاء الاصطناعي الأخرى عند تحليل النصوص التي تمت صياغتها بأسلوب بشري؟

في دراسة راسل وآخرين، تمت مقارنة أداء Pangram مع GPTZero والعديد من الأساليب مفتوحة المصدر على نصوص ذات طابع بشري. ويبلغ معدل دقة أفضل نموذج لـ Pangram 97% على النصوص ذات الطابع البشري، مقارنة بـ GPTZero التي بلغت دقتها 46%، وFastDetectGPT التي بلغت دقتها 23%، وBinoculars التي بلغت دقتها 7%.

أداء Pangram مع النصوص ذات الطابع الإنساني مقارنةً بالكاشفات الأخرى

أظهرت دراسة حديثة جدًا أجراها جاباريان وإيماس أن «بانجرام» هو الكاشف الوحيد من بين أربعة كاشفات تجارية الذي يظل أداؤه ثابتًا عند استخدام أدوات «هيومانيزر»:

بالنسبة للمقاطع الأطول، يكتشف Pangram ما يقرب من 100٪ من النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي. ترتفع نسبة FNR قليلاً كلما قصرت المقاطع، لكنها تظل منخفضة. أما أدوات الكشف الأخرى فهي أقل قدرة على التعامل مع برامج "الإنسانة". يرتفع معدل FNR لـ Originality.AI إلى حوالي 0.05 للنصوص الأطول، ولكنه يمكن أن يصل إلى 0.21 للنصوص الأقصر، اعتمادًا على النوع ونموذج LLM. يفقد GPTZero إلى حد كبير قدرته على اكتشاف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مع معدلات FNR تبلغ حوالي 0.50 وما فوق في معظم الأنواع ونماذج LLM. ويحقق RoBERTa أداءً سيئًا مماثلاً مع معدلات FNR عالية في جميع الأحوال.

كيف يمكنك معرفة ما إذا كان النص قد خضع لعملية "إضفاء الطابع البشري"؟

هناك عدة طرق يمكنك من خلالها أن تلاحظ بالعين المجردة أن النص قد خضع لعملية "إضفاء الطابع البشري".

عبارات مُعذبة

من أسهل الطرق التي يمكنك من خلالها اكتشاف من يقوم بتزوير النصوص هي البحث عن "العبارات المُعوجة"، وهي عبارة عن استبدالات للمرادفات تبدو في غير محلها وتهدف إلى إخفاء السرقة الأدبية. وقد استخدمت أدوات إعادة صياغة النصوص، مثل "Grammarly" و"Quillbot"، خوارزميات استبدال المرادفات هذه حتى قبل ظهور الذكاء الاصطناعي بهدف إخفاء السرقة الأدبية.

ومن الأمثلة على العبارات المُشوهة عبارة "الوعي المزيف" بدلاً من "الذكاء الاصطناعي"، أو "خطر الصدر" بدلاً من "سرطان الثدي". وقد سمعنا العام الماضي عن حالة مضحكة ظهرت فيها عبارة "مارتن لوثر رولر جونيور" في مقال لطالب بدلاً من "مارتن لوثر كينغ جونيور".

من المهم توخي الحذر عند الاعتماد على العبارات الملتوية باعتبارها الطريقة الوحيدة للكشف عن النصوص التي تنتجها الذكاء الاصطناعي ذات الطابع البشري، لأن هذه العبارات تظهر أيضًا بشكل شائع في النصوص المكتوبة باللغة الإنجليزية من قبل غير الناطقين بها، عندما يسيئون استخدام بعض الكلمات أو يخطئون في تفسير معناها المباشر أو الطريقة المعتادة لاستخدامها.

أخطاء التباعد غير الطبيعية

غالبًا ما يحاول مستخدمو برامج "Humanizer" خداع أداة الترميز الخاصة بأجهزة الكشف عن الذكاء الاصطناعي عن طريق إضافة أو حذف المسافات. ومن الأمور الشائعة بشكل خاص حذف المسافات بين الجمل.

العبارات المتكررة

لا يزال النص الناتج عن الذكاء الاصطناعي المُعالج بطريقة "إنسانية" يحتوي على نفس العبارات المتكررة التي يتضمنها النص الناتج عن الذكاء الاصطناعي غير المُعالج. ويكون من الواضح بشكل خاص أن النص قد خضع لعملية "إنسانية" إذا ظهرت نفس العبارة المُعقدة مرتين في نفس الوثيقة، حيث يُعد ذلك دليلاً على أن أداة "الإنسانية" تُطبق بشكل منهجي نفس عمليات استبدال المرادفات.

الأحرف غير القياسية

كما يستخدم برامج "الإنسانة" عادةً أحرف يونيكود غير قياسية بهدف خداع برامج تحليل الرموز الخاصة بأجهزة الكشف عن الذكاء الاصطناعي أيضًا. ومن الأمثلة على ذلك أحد برامج "الإنسانة" الشائعة التي تستخدم "U+2009"، وهو حرف يونيكود يمثل "المسافة الرفيعة" بدلاً من المسافة العادية. نوصي بزيارة هذا الموقع الإلكتروني https://www.soscisurvey.de/tools/view-chars.php الذي يتيح لك رؤية جميع الأحرف غير القابلة للطباعة التي قد تكون مخفية في سلاسل النصوص المنسوخة والملصقة.

مثال على الأحرف غير القابلة للطباعة في النص المُعدّل لغرض القراءة

أدوات عملية الكتابة

باستخدام ميزة "تشغيل النص" الجديدة من Pangram في مستندات Google، يمكنك أيضًا التحقق مما إذا كان جزء كبير من النص في مستند Google قد تم نسخه ولصقه بدلاً من كتابته يدويًّا. يمكنك الاطلاع على شرح أكثر تفصيلاً حول ميزة الكشف بالذكاء الاصطناعي في مستندات Google هنا.

مثال على تشغيل النص يوضح عملية النسخ واللصق

لماذا لا تحقق Pangram دقة بنسبة 100٪ في النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي بطريقة تبدو طبيعية؟

هناك عدة أسباب تجعل من "بانغرام" أداة كشف غير مثالية فيما يتعلق بالنصوص التي تم إنتاجها بواسطة الذكاء الاصطناعي بطريقة تشبه أسلوب البشر.

1. لا ترغب Pangram في التنازل عن معيار «معدل الإيجابيات الخاطئة». فهناك العديد من نماذجنا الداخلية القادرة على اكتشاف برامج «الإنساننة» بدقة شبه كاملة، لكنها تسجل معدلات إيجابيات خاطئة أعلى. ونحن لا نطرح هذه النماذج للاستخدام، لأننا نولي أولوية أكبر لعدم تصنيف النصوص البشرية الحقيقية على أنها من إنتاج الذكاء الاصطناعي، على حساب اكتشاف جميع مخرجات برامج «الإنساننة».

2. يمكن اكتشاف النصوص "الرديئة" ذات الجودة المتدنية للغاية بسهولة بالعين المجردة. وفي معظم الحالات التي لا يكتشف فيها Pangram النصوص المُصطنعة، يكون النص مشوّهاً ومُشوّشاً لدرجة أنه بالكاد يشبه اللغة الإنجليزية. ومن السهل اكتشاف هذه الحالات بالعين المجردة، لكن من الصعب اكتشافها خوارزمياً لأن هناك طرقاً لا حصر لها لإنتاج نصوص غير مفهومة. نفضل استبعاد النصوص غير المفهومة بدلاً من محاولة اكتشافها، حيث إنه من غير المناسب محاولة التمييز بين النصوص غير المفهومة التي يكتبها البشر وتلك التي تنتجها برامج Humanizer.

هل يمكنني توقع أن تحسّن Pangram أداء أداة "Humanizer" مع مرور الوقت؟

نعم، يعد الكشف عن أدوات "Humanizer" مجالًا نشطًا للبحث في Pangram، ونأمل في مواصلة تحديد خصائص هذه الأدوات ونشر أبحاثنا المتعلقة بالكشف عن النتائج التي تنتجها. ولكي يُنظر إلى Pangram على أنها أداة موثوقة في مجال النزاهة الأكاديمية، يجب أن نكون قادرين على الكشف عن النصوص التي تنتجها أدوات الغش هذه، بالإضافة إلى النصوص التي يتم نسخها ولصقها مباشرةً من نماذج اللغة الضخمة.

جرب أداة الكشف عن الذكاء الاصطناعي من Pangram لتقييم مستنداتك مقارنةً بنتائج أداة Humanizer.