تُظهر دراسة بحثية أجرتها جهة خارجية أن «بانغرام» هو أقوى أداة للكشف عن الذكاء الاصطناعي

تُظهر دراسة بحثية أجرتها جهة خارجية أن "بانغرام" هو أقوى أداة للكشف عن الذكاء الاصطناعي

توصل باحثون من جامعة هيوستن وجامعة كاليفورنيا في بيركلي وجامعة كاليفورنيا في إيرفين وشركة «إسبيرانتو إيه آي» الناشئة إلى أن «بانغرام» هو أكثر أدوات الكشف عن النصوص المصطنعة بالذكاء الاصطناعي موثوقيةً من بين مجموعة واسعة من الأساليب التجارية والمفتوحة المصدر. وفي الورقة البحثية التي حملت عنوان «إسبيرانتو: تقييم العبارات المركبة لتعزيز موثوقية الكشف بالذكاء الاصطناعي عن مصدر النص»، درس الباحثون تأثير الترجمة اللغوية على كفاءة أدوات الكشف التي تعمل بالذكاء الاصطناعي.

استغلال أجهزة الكشف التي تعمل بالذكاء الاصطناعي باستخدام برامج الترجمة

من المعروف في مجال كشف الذكاء الاصطناعي أن تمرير نص مكتوب بواسطة الذكاء الاصطناعي عبر «جوجل ترانسليت» إلى لغة أجنبية، ثم إعادة ترجمة هذا النص مرة أخرى إلى الإنجليزية، يمكن أن يساعد المهاجم (أو ببساطة طالبًا ذكيًا يعاني من ضيق الوقت) على التهرب من برامج كشف الذكاء الاصطناعي. في Pangram، نطلق على هذا الهجوم داخليًّا اسم «الترجمة المزدوجة»، بينما يشير الباحثون إليه باسم «الترجمة العكسية». إليك مثال على الترجمة المزدوجة. نطلب من ChatGPT كتابة بعض النصوص لنا. نترجم النص أولاً إلى اليابانية، ثم نترجمه مرة أخرى إلى الإنجليزية. نلاحظ أن بعض العبارات قد تغيرت بسبب حقيقة أن برامج الترجمة ليست مثالية، وغالبًا ما توجد طرق متعددة لقول الشيء نفسه. وهذا له تأثير مشابه لما تفعله أداة إعادة الصياغة مثل Quillbot.

نص أنشأه ChatGPT نص مترجم مرتين مثال على الترجمة المزدوجة

العديد من منافسينا لا يتمتعون بالقدرة على مقاومة هذا الاستغلال. ما يظهر أعلاه هو أحد أكثر أدوات الكشف عن الذكاء الاصطناعي شيوعًا بين المنافسين في السوق. نلاحظ أن النموذج قادر على الكشف عن الذكاء الاصطناعي مباشرةً من ChatGPT، ولكن بمجرد إخضاع النص لترجمة مزدوجة، فإنه لا يتنبأ بوجود الذكاء الاصطناعي إلا بنسبة 15٪.

نتائج GPTZero تصنف أداة منافسة شهيرة النص الأصلي الذي تمت ترجمته بواسطة الذكاء الاصطناعي بشكل صحيح، ولكنها تصنف النص المترجم مرتين بشكل خاطئ على أنه نص كتب بواسطة الإنسان.

ومع ذلك، فإن «بانجرام» قادر على تحديد أن النص الأصلي لـ ChatGPT والنص المترجم مرتين كلاهما من إنتاج الذكاء الاصطناعي بنسبة 99.99٪. ولا يقتصر الأمر على قدرتنا على تحديد أن هذا النص من إنتاج الذكاء الاصطناعي فحسب، بل إننا قادرون أيضًا على الجزم بأن GPT-4 هو المصدر الأصلي. وقد شرع الباحثون في دراسة هذه الظاهرة بشكل عام وعلى نطاق واسع.

نتائج البانجرام يحدد Pangram بشكل صحيح النص الأصلي والنص المترجم مرتين على أنهما من إنتاج الذكاء الاصطناعي.

دراسة تأثير الترجمة العكسية على 720,000 وثيقة

لا يكفي مثال واحد لإثبات أن كاشفنا قوي في حين أن الكاشفات الأخرى ليست كذلك. في هذه الدراسة البحثية، جمع الباحثون آلاف المقالات الإخبارية وملخصات الأوراق العلمية ومنشورات موقع Reddit ومراجعات المنتجات التي تم التأكد من أنها كُتبت بواسطة البشر. ثم قاموا بإنشاء عدة أمثلة باستخدام الذكاء الاصطناعي عبر نماذج GPT-3.5-Turbo وLLaMA 3 وMistral وPhi3 وYi.

بشكل عام، وحتى قبل اللجوء إلى هجمات الترجمة، فإن العديد من الأساليب مفتوحة المصدر وأجهزة الكشف التجارية هي في الواقع عديمة الفعالية تمامًا.

أولاً، تم تحديد عتبة معينة: ويعني ذلك اختيار النسبة المئوية الفاصلة التي عند تجاوزها نعتبر المستند من إنتاج الذكاء الاصطناعي. تقدم معظم أدوات الكشف عن الذكاء الاصطناعي نسبة مئوية كنتيجة نهائية. ولضمان إمكانية المقارنة بين جميع أدوات الكشف، تم تحديد العتبات بحيث يكون معدل الإيجابيات الخاطئة لكل نموذج 1٪. ومن ثم، يمكن مقارنة دقة أداة الكشف من خلال نسبة الإيجابيات الصحيحة: أي عدد الأمثلة التي أنتجها الذكاء الاصطناعي يمكن لكل أداة كشف اكتشافها عند تلك العتبة؟

تفشل العديد من الطرق الأخرى التي تمت دراستها في هذه الورقة البحثية تمامًا في الكشف عن المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي. على سبيل المثال، لا تستطيع كل من ZeroGPT و GPTZero حتى الوصول إلى معدل إيجابي كاذب يبلغ 1٪ عند أي عتبة في بعض المجالات، كما أن دقة الأوراق البحثية الأكاديمية المشهورة مثل RADAR و LLMDet تقل عن 50٪.

يتمثل المقياس المقترح لتقييم الأداء في قياس معدل الكشف الصحيح (TPR) عند معدل إيجابية كاذبة (FPR) بنسبة 1%: بمعنى أنه، في ظل معدل إيجابية كاذبة ثابت يبلغ 1%، ما هي نسبة المرات التي يمكن للنموذج فيها اكتشاف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي؟ لا يستطيع ZeroGPT حتى تحقيق معدل إيجابية كاذبة بنسبة 1% عند أي عتبة في معظم المجالات، كما أن الأوراق البحثية الأكاديمية المشهورة مثل RADAR وLLMDet تحقق نتائج أقل بكثير من 50% وفقًا لهذا المقياس.

وفي الوقت نفسه، يحقق نظام "بانجرام" نسبة استرجاع تزيد عن 96% في جميع المجالات مع معدل خطأ إيجابي (FPR) يبلغ 1%، بل ويحقق نسبة 85% في مجموعة بيانات التعليقات الصعبة، التي تحتوي على تعليقات لا يتجاوز طولها 40 إلى 50 كلمة (وهو ما يقل بكثير عن الحد الأدنى الموصى به لعدد الكلمات لاكتشاف الذكاء الاصطناعي في الاستخدامات التجارية الفعلية).

بعد تعرضها لهجوم الترجمة المزدوجة، تتعطل العديد من أدوات الكشف تمامًا. فعلى سبيل المثال، تنخفض دقة GPTZero من 97% إلى 42% فقط في مجال الأخبار، ومن 65% إلى 9% في مجال المراجعات. وخلص الباحثون إلى أن «نتائج GPTZero وZeroGPT تشير إلى عدم وجود متانة كافية في مواجهة تقنيات الترجمة العكسية... بينما يُظهر Pangram درجة من المتانة، لا سيما في النصوص الأطول».

فيما يلي النتائج الكاملة. يُظهر "بانغرام" أداءً متميزًا في جميع الفئات.

جدول النتائج الذي يقارن بين أدوات الكشف عن المحتوى المزيف باستخدام الذكاء الاصطناعي جدول النتائج من ورقة الإسبرانتو يوضح قوة بانغرام

الخلاصة

وتدعم هذه الدراسة مزاعمنا بأن «بانجرام» هو برنامج الكشف عن الذكاء الاصطناعي الوحيد المتوفر في السوق حالياً الذي يعمل بموثوقية كافية لاستخدامه في الأوساط الأكاديمية والتجارية، ولا يمكن التحايل عليه بأساليب مثل الترجمة المزدوجة.

هذا ليس مصادفة أو صدفة. إن متانة Pangram دليل على وجود نموذج قوي يعرف كيف يعمم النتائج، ويستند إلى مجموعات بيانات ضخمة ونهجنا المستهدف في التعلم النشط. وفي حين يمكن لأي شخص إنشاء أداة كشف تعتمد على الذكاء الاصطناعي تعمل في بعض الأحيان أو حتى في معظم الأحيان، فإن نهجنا القابل للتطوير هو السبيل الوحيد لتحقيق دقة موثوقة ومتسقة لا تنهار تمامًا عند تعديل النص أو تغييره.

نحن نعمل دائمًا على تحسين أداء ومتانة نموذج الكشف عن الذكاء الاصطناعي الخاص بنا. ونواكب أحدث الأبحاث في مجال التعلم الآلي التنافسي، كما نقوم باستمرار باختبار نموذجنا لمواجهة الهجمات والتحايلات المحتملة.

المزيد قريبًا حول هذا الموضوع!