لا، لا يعتمد «بانغرام» على مؤشري «التعقيد» و«التقلب» في تنبؤات نموذجنا. «بانغرام» هو نوع من الشبكات العصبية يُعرف باسم «نموذج التصنيف». يتم تدريب «بانغرام» باستخدام «نسخ اصطناعية» من أصعب الوثائق التي يمكن تصنيفها، ثم يُعاد تدريبه مرارًا وتكرارًا. وهذا يجعله قابلاً للتكيف مع النماذج الجديدة، ويعني أنه كلما اكتسب «بانغرام» مزيدًا من الخبرة في التعامل مع النصوص البشرية من خلال خوارزمية التعلم النشط الخاصة بنا، كلما تحسّن أداؤه تدريجيًّا.
ما المقصود بـ"الحيرة" و"التقلب"؟
مقتبس من منشورنا على المدونة حول «الارتباك» و«التقلب» — لا تتردد في الرجوع إليه للحصول على شرح متعمق حول أوجه القصور في هذه الأساليب.
https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai
يُقصد بالـ«الارتباك» مدى عدم توقع أو مفاجأة كل كلمة في نص ما، عند النظر إليها من منظور نموذج لغوي معين أو نموذج لغوي كبير (LLM).
على سبيل المثال، إليك جملتان. لنركز على الكلمة الأخيرة في كل جملة، لغرض التوضيح. في المثال الأول، تتميز الكلمة الأخيرة بانخفاض درجة الارتباك، بينما تتميز الكلمة الأخيرة في المثال الثاني بارتفاع درجة الارتباك.
انخفاض درجة الحيرة:
تناولت اليوم على الغداء وعاءً من *الحساء*.
ارتفاع درجة الحيرة:
تناولت اليوم على الغداء وعاءً من *العناكب*.
السبب في أن الجملة الثانية تنطوي على درجة عالية من الحيرة هو أنه من النادر جدًّا أن يصادف نموذج لغوي أمثلة لأشخاص يتناولون أطباقًا من العناكب في مجموعة البيانات التدريبية الخاصة به، ولذلك فإن انتهاء الجملة بكلمة "عناكب" يمثل مفاجأة كبيرة للنموذج اللغوي، مقارنةً بكلمات مثل "حساء" أو "شطيرة" أو "سلطة".
تُعرف «التقلب» بالتغير في درجة الحيرة على مدار النص. فإذا كانت هناك بعض الكلمات والعبارات المفاجئة متناثرة في أرجاء النص، يمكن القول إن هذا النص يتميز بدرجة عالية من «التقلب».
لماذا لا يستخدم برنامج «بانغرام» مؤشري «الارتباك» و«التقلب»؟
هناك العديد من العيوب في استخدام مؤشري «الارتباك» و«التقلب» للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي. للحصول على شرح متعمق لما يلي، يرجى الرجوع إلى منشور مدونتنا حول هذا الموضوع: https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai. نظرًا لأن نماذج اللغة يتم تدريبها بشكل صريح لتقليل «التشوش» (perplexity) في بيانات التدريب الخاصة بها، فإن النصوص البشرية التي يتم إعادة إنتاجها بشكل متكرر، مثل «إعلان الاستقلال» ومقالات ويكيبيديا، يتم تصنيفها خطأً على أنها من إنتاج الذكاء الاصطناعي، وهي مشكلة لا تزداد إلا سوءًا مع استيعاب النماذج لمزيد من محتوى الويب. كما أن هذه المقاييس مرتبطة بنموذج معين، لذا فإن أداة الكشف التي تمت معايرتها على مولد معين تنتج نتائج غير دقيقة عند استخدامها مع مولد آخر، كما أن العديد من النماذج التجارية لا تكشف على الإطلاق عن احتمالات الرموز (token probabilities) اللازمة لحساب «التشوش». وهي تعاقب بشكل منهجي المتحدثين غير الناطقين باللغة الإنجليزية، الذين يؤدي مفرداتهم المحدودة وتراكيب جملهم البسيطة بطبيعة الحال إلى انخفاض درجة الحيرة والتقلب. والأهم من ذلك، أنها طرق تجريبية ثابتة لا يمكنها التحسن مع زيادة البيانات ولا تحسب بالطريقة التي يمكن أن تفعلها منهجية التعلم العميق — فهي لا تستطيع توفير الموثوقية التي تتطلبها التطبيقات ذات المخاطر العالية.
