يُظهر «كاشف الذكاء الاصطناعي» من Pangram أداءً قوياً في أكثر من 20 لغة

قبل شهرين، أطلقت Pangram أول نموذج متعدد اللغات للكشف عن المحتوى المزيف باستخدام الذكاء الاصطناعي. واليوم، نحن على استعداد للإعلان عن تحديث جديد! تدعم Pangram الآن رسميًا أفضل 20 لغة على الإنترنت، كما أنها تُظهر أداءً جيدًا بشكل غير رسمي في العديد من اللغات الأخرى. وقد لاحظنا تحسنًا كبيرًا في الأداء، لا سيما في اللغات العربية واليابانية والكورية والهندية.

النتائج

قمنا بتقييم حوالي 2000 وثيقة لكل لغة ضمن مجموعة الدعم الرسمية الخاصة بنا. أما الجزء البشري فيتألف من مزيج من التعليقات الحقيقية والمقالات الإخبارية ومقالات ويكيبيديا. أما الجزء الخاص بالذكاء الاصطناعي فيتألف من مجموعة من المقالات والمقالات الإخبارية ومنشورات المدونات التي طلبنا من GPT-4o كتابتها بأطوال وأساليب ومواضيع متنوعة.

ما الذي قمنا بتغييره؟

فيما يلي أهم التغييرات التي أجريناها لتحسين الدعم متعدد اللغات لدينا:

• أجرينا حملة تعلم آلي للبيانات استندت إلى بيانات على نطاق الويب، وركزت على اللغات العشرين الأكثر استخدامًا على الإنترنت.

• لقد قمنا بتعديل أداة تحليل الكلمات لتقديم دعم أفضل للغات غير الإنجليزية.

• قمنا بزيادة عدد المعلمات في النموذج الأساسي ومحولات LoRA.

• قمنا بتطبيق تقنية زيادة البيانات لترجمة جزء عشوائي من مجموعة البيانات لدينا آليًّا قبل بدء التدريب.

• لقد أصلحنا خطأً في عملية حساب عدد الكلمات كان يتسبب في عدم تمثيل اللغات الشرق آسيوية بشكل كافٍ في مجموعة التدريب.

حملة التعلم النشط

يتمثل الأساس الجوهري لعملية بناء النماذج التي تتميز بمعدلات إيجابية كاذبة منخفضة للغاية في «التعلم النشط»: وببساطة، فإننا نبحث في محتوى الإنترنت الذي يعود إلى ما قبل عام 2022 عن أمثلة يُظهر فيها نموذجنا أداءً ضعيفًا (مثل الحالات الإيجابية الكاذبة)، ثم نضيف هذه الأمثلة إلى مجموعة التدريب الخاصة بنا، ونعيد التدريب، ونكرر العملية. وقد قمنا بتفصيل هذه الخوارزمية في تقريرنا الفني.

يمكننا تطبيق نهج التعلم النشط الخاص بنا على بعض مجموعات البيانات الكبيرة متعددة اللغات المتوفرة على الويب، للعثور على نصوص متعددة اللغات التي يواجه نموذجنا الحالي صعوبة في معالجتها، ثم استخدام هذه البيانات في عملية التكرار، إلى جانب مكتبتنا الضخمة من المطالبات لإنشاء «نسخ متطابقة اصطناعية»: وهي نصوص مولدة بالذكاء الاصطناعي تشبه النتائج الإيجابية الخاطئة التي تم استخراجها. بينما نركز على أفضل 20 لغة على الإنترنت، نزيل خطوة تصفية اللغة من مسار بياناتنا: مما يعني أن النصوص من جميع اللغات متاحة للاستخراج السلبي الصعب وإدراجها في مجموعة التدريب الخاصة بنا.

تتمثل إحدى مزايا نهج التعلم النشط الذي نتبعه في أنه يعيد توازن توزيع اللغات تلقائيًا استنادًا إلى دقة نموذجنا. فاللغات ذات الموارد المحدودة غير ممثلة تمثيلاً كافياً على الإنترنت، ولكن بسبب هذا الخلل في التوازن بين الفئات، كان أداء نموذجنا الأول ضعيفًا في البداية مع اللغات ذات الموارد المحدودة، مما أدى إلى ظهور المزيد من النصوص من اللغات غير الشائعة في عملية استخراج النصوص السلبية الصعبة. ونلاحظ خلال عملية التعلم النشط أن نسبة البيانات من اللغات الغنية بالموارد مثل الإنجليزية والإسبانية والصينية تنخفض تدريجيًا في مجموعة التدريب لدينا، بينما تزداد نسبة اللغات الأقل شيوعًا. ونجد أن هذا حل أنيق نسبيًا لتوزيع البيانات غير المتوازن بشكل طبيعي في تدريب النماذج متعددة اللغات. ومن خلال خوارزمية التعلم النشط لدينا، يستطيع النموذج أن يختار بنفسه البيانات باللغات التي يحتاج إلى رؤية المزيد منها.

التغييرات المعمارية

ولتحسين دعم النصوص متعددة اللغات في مجال الإدخال، أردنا أيضًا التأكد من أن نموذج اللغة الكبيرة (LLM) الأساسي الذي نستخدمه لبناء مصنفنا يتقن أيضًا العديد من اللغات غير الإنجليزية. أجرينا مسحًا لعدة هياكل أساسية لنماذج اللغة الكبيرة (LLM) وأدوات تحليل الرموز على مجموعة البيانات الخاصة بنا للعثور على النموذج الذي يقدم أفضل أداء بشكل عام بين مجموعة واسعة من اللغات غير الإنجليزية. وجدنا أن الأداء في المعايير متعددة اللغات لا يبدو أنه يرتبط ارتباطًا وثيقًا بمدى جودة أداء الهيكل الأساسي في مهمة الكشف بالذكاء الاصطناعي الخاصة بنا: بمعنى آخر، حتى إذا كان النموذج الأساسي قادرًا على حل مهام الاستدلال والإجابة على الأسئلة بلغات أخرى، فإن فعالية نقل المهارة إلى الكشف بالذكاء الاصطناعي متعدد اللغات تختلف بشكل كبير للغاية.

كما لاحظنا أن النماذج الأولية التي قمنا بتدريبها كانت تميل إلى عدم ملاءمة التوزيع متعدد اللغات الجديد بشكل كافٍ — فقد لاحظنا في البداية ارتفاع معدل الخسارة أثناء التدريب. ولتحقيق ذلك، قمنا أيضًا بزيادة حجم النموذج الأساسي بالإضافة إلى عدد المعلمات في محولات LoRA الخاصة بنا، كما قمنا بتدريب النموذج لعدد أكبر من الخطوات. (نظرًا لأننا نعمل في نظام التعلم النشط / البيانات الكبيرة، فإننا لا نقوم أبدًا بالتدريب لمدة تزيد عن حقبة واحدة. في هذه الحالة، كان علينا فقط توسيع حجم الحقبة!)

تعزيز البيانات

حتى مع استخدام التعلم النشط، فإن تنوع البيانات باللغات غير الإنجليزية أقل بشكل ملحوظ من تنوع وحجم البيانات الإنجليزية المتوفرة على الإنترنت، ولا يمكننا تصحيح ذلك تمامًا بمجرد إعادة موازنة توزيع اللغات في مجموعة التدريب. وبعبارة مبسطة، هناك بعض البيانات الإنجليزية القيمة التي لا وجود لها أو لا يوجد لها نظير أصلي في لغات أخرى. ولذلك، قررنا تطبيق تعزيز الترجمة الآلية بشكل عشوائي على جزء صغير من مجموعة البيانات الخاصة بنا (في حالتنا، استخدمنا Amazon Translate).

على الرغم من أن استخدام التوسعات المستمدة من الترجمة الآلية في مجموعة التدريب أثناء تدريب النماذج اللغوية الكبيرة (LLM) ليس ممارسة معتادة — نظراً لأن البيانات المترجمة آلياً غالباً ما تكون غير طبيعية وتفتقر إلى السلاسة اللغوية — إلا أنه في حالتنا هذه، وبما أننا لا نقوم بتدريب نموذج توليدي، لا يبدو أن ذلك يؤثر على جودة المخرجات، بل لاحظنا تحسناً في مؤشرات الأداء عند تطبيق هذه التوسعات.

المقارنة المعيارية: الإسبانية

نأخذ اللغة الإسبانية كمثال مميز على لغة غنية بالموارد، والتي كانت مدعومة سابقًا بنص البانجرام، لكنها أصبحت الآن أفضل بكثير. ونقوم بقياس معدل الإيجابيات الخاطئة في مجموعة متنوعة من المجالات.

كما قمنا بقياس معدل النتائج السلبية الخاطئة (أي النسبة التي يتم فيها تصنيف النصوص التي أنشأتها الذكاء الاصطناعي خطأً على أنها من تأليف بشري) بالنسبة لمختلف نماذج اللغات الكبيرة. في هذه التجربة، قمنا بإعداد قائمة من المطالبات لنماذج اللغات الكبيرة لإنشاء مقالات ومشاركات مدونات ومقالات إخبارية بأطوال وأساليب متنوعة، ثم قمنا بترجمة هذه المطالبات إلى الإسبانية. ونماذج اللغات الكبيرة نفسها متعددة اللغات، لذا فهي تستجيب للتعليمات باللغة الإسبانية.

وكما نرى، فإن نموذجنا المحدث يحقق دقة كشف مثالية في جميع نماذج اللغات الكبيرة التي خضعت للاختبار، مما يمثل تحسناً ملحوظاً مقارنةً بإصدارنا السابق.

المقارنة المعيارية: اللغة العربية واللغة اليابانية

هناك لغتان ركزنا بشكل كبير على تحسينهما، وهما لغتان منتشرتان على نطاق واسع في العالم، لكنهما في الواقع أقل انتشارًا على الإنترنت، وهما: العربية واليابانية.

لم نكن ندعم هاتين اللغتين في السابق، لذا كانت معدلات النتائج السلبية الخاطئة مرتفعة للغاية. أما الآن، فقد أصبحنا قادرين على التنبؤ بشكل موثوق وجيد جدًا بالنصوص العربية واليابانية التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

وكما نرى، يحقق نموذجنا المحدث دقة كشف شبه مثالية عبر جميع نماذج اللغات الكبيرة (LLMs) التي خضعت للاختبار، سواء بالنسبة للغة العربية أو اليابانية، مع معدل خطأ سلبي طفيف يبلغ 0.21% فقط في حالة نموذج Gemini 1.5 Pro باللغة اليابانية.

تتوفر نتائج اختبارات الأداء اللغوية الكاملة عند الطلب.

ماذا بعد؟

على الرغم من أن أداءنا قوي في التعامل مع النصوص الأصلية على الويب، إلا أن نموذجنا يواجه أحيانًا صعوبة في اكتشاف "اللغة المترجمة" — أي النصوص التي تمت ترجمتها بشكل سيئ أو التي لا تبدو طبيعية لأي سبب آخر. وما يزيد الأمر سوءًا أن الكثيرين يستخدمون الآن نماذج اللغة الكبيرة (LLM) مثل ChatGPT مباشرةً في مهام الترجمة. فهل ينبغي تصنيف النص المترجم بواسطة نماذج اللغة الكبيرة على أنه من صنع الإنسان أم من صنع الذكاء الاصطناعي؟ يعتمد ذلك على مدى سوء الترجمة، وكذلك على حالة الاستخدام في التطبيق النهائي. قد يعتبر مدرس اللغة الإسبانية استخدام الترجمة الآلية في واجب مدرسي بمثابة غش أكاديمي، ولكن قد يرغب ناشر ما في السماح بمرور الأعمال المترجمة عبر عملية ضمان الجودة الخاصة به. تعمل Pangram بنشاط على فهم النص المترجم باعتباره "طريقة ثالثة" تقع في مكان ما بين الإنسان والذكاء الاصطناعي، وتوفير المزيد من المعلومات لمستخدمينا حتى يتمكن مستخدمو نموذجنا من تحديد ما هو مناسب لهم.

هل لديك المزيد من الأسئلة؟ تواصل معنا عبر البريد الإلكتروني info@pangram.com!