تحديث نص البانجرام: GPT-4o، Claude 3، LLaMA 3

الصورة من Google DeepMind.

يسعدنا اليوم أن نُظهر قدرتنا على التكيف بسرعة مع النماذج اللغوية الكبيرة (LLMs) الجديدة في السوق، وذلك من خلال إطلاق تحديث لنموذجنا يحقق دقة شبه مثالية في الكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي من GPT-4o وClaude 3 وLLaMA 3.

باختصار:

• أصدرنا إصدارًا جديدًا من Pangram Text يعمل على تحسين الأداء عند استخدامه مع GPT-4o وClaude 3 وLLaMA 3.
• تم تصميم بنية البنية التحتية لدينا بحيث تتيح استيعاب كميات كبيرة من النصوص المدعومة بالذكاء الاصطناعي من النماذج الجديدة فور إتاحتها للجمهور.
• نلاحظ أنه مع اقتراب أداء جميع هذه النماذج الجديدة من مستوى أداء GPT-4، بدأت جميعها تتشابه من الناحية الأسلوبية أيضًا.

النتائج

كان النموذج الذي أطلقناه مؤخرًا جيدًا جدًّا في الكشف عن مخرجات النماذج الجديدة، حتى دون الاطلاع على أي أمثلة لها في مجموعة التدريب. ومع ذلك، فإننا لا نكتفي بمجرد وصفه بـ«جيد جدًّا»، بل نريد أن نضمن أننا نواصل توسيع حدود الإمكانات التي يتيحها الكشف بالذكاء الاصطناعي، وتحقيق أفضل دقة ممكنة لعملائنا.

لاختبار مدى كفاءة أدائنا على نماذج اللغة من الجيل التالي، قمنا بتجديد مجموعة التقييم الخاصة بنا التي تضم 25,000 مثال من النصوص البشرية التي يصعب تصنيفها والنصوص التي أنشأتها الذكاء الاصطناعي من مجموعة متنوعة من نماذج اللغة. ويتألف حوالي 40% من مجموعة التقييم الجديدة هذه من مجموعة واسعة من النصوص التي أنشأتها الذكاء الاصطناعي من GPT-4o وClaude 3 وLLaMA 3، والتي تغطي عدة مجالات نصية تشمل الأخبار والمراجعات والتعليم وغيرها.

نستخدم جميع إصدارات النماذج الجديدة متى توفرت: على سبيل المثال، نأخذ عينات بالتساوي من إصدارات «أوبوس» و«سونيت» و«هايكو» من نموذج «كلود 3».

بعد تحديث مجموعة بيانات التدريب لدينا لتشمل أحدث نماذج اللغة الكبيرة (LLMs)، وجدنا أننا نحقق مرة أخرى دقة شبه مثالية في النصوص التي تم إنشاؤها بواسطة أحدث جيل من نماذج اللغة.

بالإضافة إلى تحسين الأداء في النماذج الجديدة، نجد أن إدراج بيانات التدريب من أحدث جيل من النماذج يؤدي في الواقع إلى تحسين طفيف في الأداء في العديد من النماذج القديمة.

لقد وجدنا أنه على الرغم من عدم حدوث أي تراجع في أداء النموذج على مجموعة تقييم النموذج القديم، إلا أننا حققنا في الواقع تحسناً في عدة حالات مقارنةً بالكشف عن GPT-3.5 و GPT-4 (العادي). وعلى وجه التحديد، وجدنا أن 8 حالات من GPT-3.5 كانت النموذج قد فشل في الكشف عنها سابقاً أصبحت الآن ناجحة، و13 حالة من GPT-4 كان النموذج قد فشل في الكشف عنها سابقاً أصبحت الآن ناجحة. ونستنتج هنا أن زيادة قدرة نموذجنا على اكتشاف GPT-4o وClaude 3 وLLaMA 3 لا تأتي على حساب القدرة على اكتشاف النماذج الأقدم.

البقاء في الطليعة

كنا ندرك منذ البداية أن آفاق نماذج اللغة الكبيرة (LLMs) ستشهد تغيرات سريعة، لذا صممنا بنية نظامنا مع أخذ ذلك في الاعتبار. وقد صُممت أنظمتنا بحيث تكون قادرة على إعادة توليد البيانات والبدء في تدريب نموذج جديد في غضون ساعات من إتاحة واجهة برمجة تطبيقات (API) جديدة للجمهور.

عندما يتم إصدار نموذج جديد، فإن إنشاء مجموعة بيانات جديدة وإعادة تدريب النموذج لا يتطلب سوى تغيير بسيط في الإعدادات. لدينا مكتبة قياسية من قوالب المطالبات المصممة لتغذية النماذج اللغوية الكبيرة (LLMs) من أجل إنتاج نصوص شبيهة بالبشرية، تقترب من النصوص البشرية الموجودة في مجموعة البيانات الخاصة بنا دون أن تكون مطابقة لها تمامًا. وقد قمنا بتفصيل هذه العملية، التي نطلق عليها اسم «التعدين السلبي الصارم باستخدام المرايا الاصطناعية»، في تقريرنا الفني.

كان الجدول الزمني لإطلاق هذا الطراز الجديد كما يلي:

13 مايو: تم إصدار GPT-4o وإتاحته عبر واجهة برمجة تطبيقات OpenAI. 14 مايو: تم تحديث مسار بيانات التدريب وإنشاء مجموعات تدريب وتقييم جديدة. 15-16 مايو: تم تدريب نموذج الكشف عن الذكاء الاصطناعي باستخدام مجموعات البيانات الجديدة. 17 مايو: تم إجراء عمليات ضمان الجودة وفحوصات الصحة، ثم تم إصدار النموذج.

تتيح لنا البنية التحتية التي أنشأناها التكيف بسرعة، بما في ذلك دمج النصوص المستمدة من النماذج الجديدة في نظام الكشف الإنتاجي في غضون أسبوع واحد فقط.

هل العائدات آخذة في التناقص؟

مع تحسن الطرز الجديدة أكثر فأكثر، لا بد أن يصبح اكتشافها أكثر صعوبة، أليس كذلك؟ لم نتمكن بعد من العثور على دليل يدعم هذا الرأي المغري، وإن كان خاطئًا في نهاية المطاف.

من خلال الملاحظة، نجد أن النماذج الأكثر كفاءة، بسبب أساليبها الأكثر تميزًا، أسهل في الكشف عنها فعليًّا مقارنةً بالنماذج الأقل كفاءة. على سبيل المثال، وجدنا أن نموذجنا القديم كان أكثر كفاءة في الكشف عن "كلود أوبوس" مقارنةً بـ"سونيت" و"هايكو".

كما نرى في قائمة تصنيف LMSYS، نلاحظ أن العديد من النماذج الأساسية تتقارب بشكل لا نهائي مع مستوى GPT-4، لكن لم يتمكن أي نموذج حتى الآن من التفوق عليه بشكل مقنع وبفارق كبير. وبنظرة شاملة على الوضع، إذا اتبعت بعض شركات النماذج الأساسية المختلفة نفس البنية القائمة على الانتباه وقامت بتدريبها على الإنترنت بأكمله، فليس من المستغرب أن تصبح اللغة الناتجة عن جميع النماذج متشابهة بشكل لا يصدق. ومن يتعامل مع نماذج اللغة بانتظام سيفهم على الفور ما نعنيه بذلك.

من الناحية النظرية، ما زلنا نلاحظ أن النماذج اللغوية الكبيرة (LLMs)، عندما يُطلب منها الكتابة بطريقة إبداعية وأصيلة — مثل مقال رأي أو مراجعة أو قصة قصيرة إبداعية — لا تزال تنتج نصوصًا تفتقر إلى الخيال وتفتقر إلى الحيوية. ونعتقد أن هذه السمة ترجع أساسًا إلى هدف التحسين المتمثل في توقع الإكمالات ذات الاحتمالية العالية، مع الابتعاد عن الأفكار والأفكار الأصلية التي تقع خارج نطاق التوزيع.

نحن نقدر الكتابة الأصلية التي يقدمها إخواننا من البشر لأنها قد توفر لنا منظوراً جديداً أو طريقة تفكير مختلفة، وليس لأنها مجرد كلام عادي قد يتفوه به أي شخص. وطالما بقيت هذه القيمة قائمة، فستظل هناك حاجة دائمة إلى تقنيات الكشف عن المحتوى المكتوب بواسطة الذكاء الاصطناعي، وستظل هناك دائماً سبل لحل هذه المشكلة.