الإعلان عن ميزة التعرف بالذكاء الاصطناعي: يمكن لـ Pangram التمييز بين نماذج اللغة الكبيرة المختلفة

يُعد «بانجرام» البرنامج الرائد في الكشف عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مثل تلك التي كتبها «تشات جي بي» و«كلود» و«جيميني» وغيرها، وفي التمييز بين النصوص التي كتبها الذكاء الاصطناعي وتلك التي كتبها البشر.

ونحن الآن نخطو خطوة أخرى إلى الأمام ونطلق نموذجًا متطورًا لا يقتصر دوره على اكتشاف المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي فحسب، بل يمكنه أيضًا تحديد النموذج اللغوي الكبير (LLM) الذي صدر عنه النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي. وقد أطلقنا على تقنيتنا الجديدة اسم "تحديد الذكاء الاصطناعي".

التعرف على الذكاء الاصطناعي

بشكل بديهي، بدأ الناس يدركون أن نماذج اللغة الكبيرة (LLMs) المختلفة تتميز بأساليب كتابة متنوعة. على سبيل المثال، يُعرف ChatGPT بأسلوبه المباشر والصريح، بينما يُعرف Claude بأسلوبه الأكثر طلاقةً وحواريةً، ويُعرف Grok بأسلوبه غير الخاضع للرقابة والمثير للجدل، أما Deepseek-R1 فقد بدأ يُعرف بأسلوبه المتشعب والمطول.

يسخر غراهام نيوبيغ من الميول الأسلوبية لمختلف نماذج اللغة الكبيرة

يتأمل إيثان موليك في شخصية كلود سونيت اللطيفة.

بحثت دراسة حديثة أجرتها ليزا دنلاب وزملاؤها في جامعة كاليفورنيا في بيركلي في الاختلافات النوعية (أو ما يُعرف بشكل غير رسمي بـ"الطابع") بين نماذج اللغات الكبيرة المختلفة. وتوصلوا إلى العديد من النتائج المثيرة للاهتمام، مثل أن "Llama أكثر روح دعابة، وتستخدم تنسيقات أكثر، وتقدم أمثلة أكثر، وتعلق على القضايا الأخلاقية بدرجة أقل بكثير مقارنة بـ GPT وClaude". ويعني ذلك أن أداء النموذج لا يتوافق دائمًا مع تفضيلات البشر: على الرغم من أن GPT-4 و Claude-3.5 هما نموذجان أكثر تقدمًا من سلسلة Llama، يبدو أن Llama دائمًا ما يتفوق على نظرائه في Chatbot Arena، وهو تصنيف جماعي لنماذج اللغة الكبيرة (LLMs) يعتمد على نظام Elo ويستند إلى التفضيلات بشأن الإجابات على نفس المطالبات. هل النماذج التي تحقق أداءً جيدًا في Chatbot Arena أكثر ذكاءً وقدرةً، أم أنها تحاول فقط التلاعب بعلم النفس البشري بطريقة تجعلها أكثر "محبوبة"؟ وبما أن بعض النماذج أكثر فائدةً وجاذبيةً من غيرها، فهل من المهم حقًا أنها قد تكون أقل قدرةً على حل مشكلات الاستدلال على مستوى الدكتوراه؟ هذه أسئلة تستحق الدراسة، وهي أسئلة مهمة لفهم فائدة أنظمة مثل Chatbot Arena مقارنةً بتقييمات النماذج التقليدية.

تساءلنا في Pangram عما إذا كان من الممكن أن يستخدم نموذجنا هذه «الطابع المميز» للتعرف على هذه النماذج اللغوية الكبيرة (LLMs) وتمييزها عن بعضها البعض.

نظام التعرف بالذكاء الاصطناعي من Pangram

وعلى غرار الطريقة التي ندرب بها نموذجنا الأساسي للكشف عن الذكاء الاصطناعي لتمييز النصوص المكتوبة بواسطة الذكاء الاصطناعي عن النصوص البشرية، فإننا نقوم أيضًا بتدريب نفس نموذج الكشف على تحديد الذكاء الاصطناعي باستخدام تقنية تُعرف باسم «التعلم متعدد المهام». وفي الممارسة العملية، نقوم بتصنيف نماذج اللغة المختلفة إلى 9 مجموعات، وقد حددناها من خلال تجارب مكثفة.

والأسر هي التالية:

1. GPT-3.5
2. GPT-4 (بما في ذلك GPT-4o وGPT-4-turbo وGPT-4o-mini)
3. نماذج الاستدلال من OpenAI
4. كلود
5. جوجل (بما في ذلك كلا نسختَي جيميني وجيما)
6. غروك
7. ديبسيك
8. أمازون نوفا
9. أخرى (تشمل LLaMA وMistral وQwen وغيرها من النماذج المفتوحة المصدر المشتقة عن هذه النماذج)

والطريقة التي نحقق بها ذلك عمليًّا هي إضافة «رأس» آخر إلى شبكتنا العصبية. فعندما نقوم بالإشراف على مهمة الكشف عن الذكاء الاصطناعي، فإننا نقوم أيضًا بالإشراف على مهمة تحديد الذكاء الاصطناعي عن طريق تمرير تصنيف النموذج إلى الشبكة وإجراء عملية التراجع الخلفي للخطأ في تحديد الذكاء الاصطناعي وكذلك في تنبؤ الكشف.

مصدر الصورة: GeeksForGeeks

تُستخدم جميع طبقات النموذج تقريبًا في المهمتين معًا، ولا يتم تقسيم سوى طبقة التنبؤ النهائية.

نجد في التعلم متعدد المهام أن بعض المهام تساعد بعضها البعض عند تعلمها معًا، في حين أن بعض المهام الأخرى تضر ببعضها البعض. في علم الأحياء، هناك مفهوم مشابه وهو فكرة التعايش مقابل التطفل. على سبيل المثال، تعتبر سمكة المهرج التي تعيش في شقائق النعمان البحرية مثالاً على التعايش: تتغذى سمكة المهرج على المفترسات التي يمكن أن تضر بشقائق النعمان، بينما تحمي شقائق النعمان سمكة المهرج من مفترسيها عن طريق التمويه والاختباء داخلها.

لقد وجدنا أن إضافة مهمة تحديد نموذج اللغة الكبير (LLM) تتكامل بشكل متبادل مع مهمة الكشف عن نموذج اللغة الكبير. بعبارة أخرى، فإن مطالبة نموذجنا ليس فقط بالكشف عن النصوص التي أنشأتها الذكاء الاصطناعي، بل وتحديد النموذج الذي صدرت منه، يُعد أمرًا مفيدًا بشكل عام في القدرة على الكشف عن الذكاء الاصطناعي. كما أكد باحثون آخرون أن نماذج اللغة الكبيرة المختلفة لا يمكن تمييزها عن النصوص البشرية فحسب، بل يمكن تمييزها عن بعضها البعض أيضًا.

التضمين هو تمثيل لجزء من النص على شكل متجه رقمي. لا تحمل القيم الفعلية للتضمين أي معنى بمفردها، ولكن عندما يكون تضمينان قريبين من بعضهما، فهذا يعني أنهما إما لهما معنى مشابه، أو أسلوب مشابه. وباستخدام تقنية تُسمى UMAP، يمكننا تصور التضمينات، التي تتميز بأبعاد عالية جدًا، في فضاء ثنائي الأبعاد. وجد هؤلاء المؤلفون أنه عند تحويل المستندات المكتوبة بواسطة البشر ونماذج اللغة الكبيرة (LLMs) إلى تضمينات أسلوبية، كما ترى في الصورة أعلاه، فإن جميع المستندات المطابقة لنفس نموذج اللغة الكبيرة (LLM) يمكن فصلها في فضاء التضمين! وهذا يعني أنه بشكل عام، تكون جميع المستندات المكتوبة بواسطة نفس نموذج اللغة الكبيرة (LLM) أقرب في الأسلوب من تلك المكتوبة بواسطة نماذج لغة كبيرة مختلفة، أو نماذج لغة كبيرة وبشر.

وقد منحتنا هذه النتيجة الثقة في إمكانية تطوير مصنف قادر على تحديد مصدر نموذج اللغة الكبير (LLM).

دقة التعرف باستخدام الذكاء الاصطناعي

يبلغ معدل دقة نموذجنا 93% في تحديد عائلة نماذج اللغة الكبيرة (LLM) الصحيحة التي ينتمي إليها النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي. فيما يلي مصفوفة الارتباك، التي توضح عدد المرات التي يحدد فيها نموذجنا كل عائلة LLM بشكل صحيح (الخلايا القطرية) مقابل عدد المرات التي يخلط فيها بين عائلة LLM وأخرى (الخلايا غير القطرية). كلما كان اللون أغمق، زاد عدد التنبؤات التي تقع في تلك الخلية. النموذج المثالي سيكون له مربعات داكنة فقط على طول القطر ومربعات بيضاء في كل مكان آخر.

بعض الملاحظات المثيرة للاهتمام حول مصفوفة الخلط لدينا:

• غالبًا ما يحدث الخلط بين عائلات النماذج المختلفة. على سبيل المثال، غالبًا ما يُخلط بين GPT-4 وسلسلة نماذج الاستدلال من OpenAI. وهذا أمر منطقي، لأن GPT-4 يُرجح أن يكون أحد مكونات نماذج الاستدلال من OpenAI أو نقطة انطلاق لها!

• يخلط النموذج في أغلب الأحيان بين نماذج اللغة الكبيرة (LLMs) وفئة "أخرى" أكثر مما يخلط بينها وبين نماذج لغة كبيرة محددة. وهذا يدل على أنه في الحالات التي لا يكون فيها النموذج متأكدًا، فإنه يميل بشكل أكبر إلى اختيار فئة "أخرى" بدلاً من تحديد نموذج لغة كبيرة معين.

ورغم أن مصنف نماذج اللغة الكبيرة (LLM) ليس مثاليًا، إلا أنه غالبًا ما يكون دقيقًا، والأهم من ذلك أنه عندما يخطئ، فإنه يخلط بين أنظمة ذكاء اصطناعي معينة وأنظمة أخرى، لكنه لا يخلط بين مخرجات أنظمة الذكاء الاصطناعي والكتابة البشرية الحقيقية.

لماذا يعتبر التعرف على الذكاء الاصطناعي أمرًا مهمًا؟

لقد رأينا أنه من المهم أن نتجاوز مرحلة الكشف عن المحتوى المولد بالذكاء الاصطناعي ونعمل أيضًا على حل مشكلة تحديد هذا المحتوى، وذلك لعدة أسباب.

• أولاً، نعتقد أن تدريب النموذج على التمييز بين أنماط الكتابة الخاصة بمختلف النماذج اللغوية الكبيرة (LLMs) — وهي مهمة أصعب من مجرد تحديد ما إذا كان النص من إنتاج الذكاء الاصطناعي أم لا — يساعد في تعزيز أداء أداة الكشف عن الذكاء الاصطناعي نفسها. فمن خلال مطالبة النموذج بتجاوز الحدود المعتادة، فإنه يكتسب بطريقة ما مهارات متقدمة ومعرفة كامنة تساعده على التعميم للكشف عن النصوص التي أنتجها الذكاء الاصطناعي بدقة أعلى.

• تعد قابلية التفسير سببًا آخر يدفعنا إلى عرض نتائج مصنف نماذج اللغة الكبيرة (LLM). فنحن نرغب في تعزيز الثقة بأن النموذج يدرك فعليًا ما يقوم به في الخلفية، ولا يكتفي بمجرد التخمين العشوائي (مثل العديد من أدوات الكشف العشوائية الأخرى). ومن خلال عرض ليس فقط درجة الذكاء الاصطناعي، بل أيضًا نموذج اللغة الكبيرة الذي صدر عنه النص، نأمل في تعزيز الثقة في قدرة النموذج على فهم الفروق الدقيقة في أسلوب الكتابة التي ينتجها الذكاء الاصطناعي.

• وأخيرًا، نرغب في اكتشاف الأنماط المتكررة على مدار الوقت: ما هي نماذج اللغات الكبيرة (LLMs) التي تُستخدم فعليًّا، وبأي وتيرة؟ وما هي نماذج اللغات الكبيرة المفضلة لدى الطلاب، مقارنةً بالمحتالين، ومقارنةً بالمبرمجين؟ هذه هي الأسئلة التي نأمل الآن في الإجابة عنها في الدراسات المستقبلية.

الخلاصة

نأمل أن تستمتعوا بتجربة ميزة التعرف بالذكاء الاصطناعي التي نقدمها، وأن تكون مفيدة في مساعدة المستخدمين على فهم السمات والأساليب الفطرية لمختلف عائلات نماذج اللغة الكبيرة (LLM). لمزيد من المعلومات، يرجى التواصل معنا عبر البريد الإلكتروني info@pangram.com!