كيف يعمل Pangram؟

نعتقد أنه من المهم أن نتمكن من التعرف بشكل موثوق على النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، ولذلك قمنا بتطوير أداة كشف تقوم بذلك. ونظرًا لأهمية هذه المسألة، فمن الحكمة أن نتحلى بالشفافية بشأن كيفية عمل هذه الأداة.

عندما يكتب أي مؤلف جملةً ما، فإنه يتخذ آلاف القرارات الواعية واللاواعية بشأن كيفية صياغتها. في جوهر الأمر، يُعد الكشف عن الذكاء الاصطناعي مشكلة تتعلق بتحديد هوية المؤلف – أي تصنيف القرارات التي تمثل نموذجًا لأي نوع من المؤلفين. ويمكننا القيام بذلك لأنه، على الرغم من أن نماذج اللغة الكبيرة (LLMs) مثل ChatGPT ليست بشرية، إلا أنها لا تزال تمثل كاتبًا واحدًا يتخذ القرارات. كما أن أنواع القرارات التي من المرجح أن تتخذها هذه النماذج محدودة أيضًا: فنماذج المساعدة تحتاج إلى إنتاج نصوص مفيدة وواضحة للإجابة على الأسئلة بفعالية. وتُغرس هذه التفضيلات في النموذج أثناء التدريب، وبمجرد تثبيتها، يصبح من الصعب جدًّا منع ظهورها.

ما هو البانغرام؟

«بانغرام» هو نوع من الشبكات العصبية يُعرف باسم «نموذج التصنيف». وبالمعنى الأوسع، يقوم «بانغرام» بقراءة مقطع من النص، ويقوم — باستخدام مجموعة هائلة من الأنماط المُكتسبة — بتقدير ما إذا كان هذا المقطع قد تم إنشاؤه بواسطة الذكاء الاصطناعي أم لا.

يتعلم «بانغرام» التمييز بين الكتابة البشرية والكتابة التي تنتجها نماذج اللغة الكبيرة (LLM) من خلال إنشاء نوع من الخريطة، حيث يتم وضع المؤلفين ذوي الأساليب الكتابية المتشابهة بالقرب من بعضهم البعض، بينما يتم وضع أولئك الذين تختلف أساليبهم في أماكن أبعد عن بعضهم. وعلى هذه الخريطة، يشكل النص المكتوب بواسطة البشر والنص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي مجموعات متميزة، وتُظهر أبحاثنا أن «بانغرام» قادر حتى على تحديد مواقع نماذج اللغة التجارية الكبرى، مثل «تشات جي بي» و«كلود»، في مناطق مختلفة.

عندما يصادف «بانغرام» نصاً لم يسبق له رؤيته من قبل، فإنه يحدد المكان الذي ينبغي أن يُوضع فيه على الخريطة من خلال مقارنته بالنصوص التي يعرفها بالفعل. ولا يوجد جانب واحد من جوانب النص يحدد مكانه، لذا فإن الكاتب البشري ليس معرضاً لخطر التصنيف الخاطئ لمجرد أن «تشات جي بي» قد اعتمد أحد أساليبه المفضلة، مثل الشرطة الطويلة. إن «السمات المميزة لنماذج اللغة الكبيرة» الظاهرة ليست سوى إشارة واحدة من بين مئات الآلاف من الإشارات التي يأخذها «بانغرام» في الاعتبار.

إذا وقعت الإحداثيات الناتجة في منطقة تُعتبر مكتوبة بواسطة الإنسان، يتوقع «بانغرام» أن النص من تأليف بشري؛ أما إذا وقعت في منطقة أكثر غموضًا، أو إذا كانت مقاطع مختلفة من النص نفسه تشير إلى اتجاهات متباينة، يبدأ «بانغرام» في الشك في احتمال احتوائه على نص مكتوب بواسطة الذكاء الاصطناعي. ولهذا السبب يضع «بانغرام» حدًا أدنى لعدد الكلمات: فكلما زاد عدد الكلمات، زادت دقة الإحداثيات. كما يساعد هذا النهج Pangram على التعميم على الإصدارات الجديدة من نماذج الذكاء الاصطناعي، التي تميل إلى وراثة الكثير من أسلوب وأسلوب أسلوب أسلافها، وبالتالي تحتل مناطق متشابهة جدًّا على الخريطة.

يُعد «بانغرام» أفضل من أدوات الكشف عن الذكاء الاصطناعي الأخرى

كانت المحاولات السابقة للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي إخفاقات ذريعّة وعلنية. ويرجع ذلك إلى أنها حاولت إجراء هندسة عكسية للطريقة التي تنتج بها نماذج اللغة الكبيرة النصوص. فبعد كل كلمة في الجملة، كانت أجهزة الكشف هذه تسأل: لو كنتُ نموذج لغة كبير، فما الكلمة التي أتوقع أن تأتي بعدها؟

على سبيل المثال، عند وجود جزء من جملة مثل «سأصطحب كلبي في...»، قد يعتبر نموذج الذكاء الاصطناعي أن كلمتي «نزهة» أو «جري» هما الكلمتان التاليتان الأكثر احتمالاً، في حين أن الكلمات غير المنطقية مثل «نذير» أو «فيرغلاس» لن تكون خيارات محتملة. حاولت أدوات الكشف المبكرة إعادة بناء ترتيب الكلمات المحتملة وفقًا لنموذج اللغة الكبير (LLM) ومقارنته بالكلمة التي تظهر فعليًّا، لذا كلما اتبع النص الخيار المتوقع بشكل متكرر، زادت احتمالية تصنيف أداة الكشف له على أنه من إنتاج الذكاء الاصطناعي. في جوهره، يعكس هذا مدى الحيرة التي قد يشعر بها نموذج اللغة الكبير (LLM) عند مواجهة كلمة تالية في الجملة، ولذلك أُطلق على هذا النمط من الكشف عن الذكاء الاصطناعي اسم «تحليل الحيرة».

ينطوي تحليل «الارتباك» على العديد من المشكلات. فهو ليس مقياسًا جيدًا للشيء الذي يحاول تمييزه، لأن الجمل البشرية غالبًا ما تكون مقيدة بنفس القدر الذي تكون عليه نصوص نماذج اللغة الكبيرة (LLM). لذا، غالبًا ما يتم الإبلاغ خطأً عن الكتابة البشرية التي تتسم بالتنبؤية أو التنظيمية من قِبل أجهزة كشف «الارتباك»، بينما في الوقت نفسه، يمكن تجاوز تلك الأجهزة بسهولة باستخدام استراتيجيات بديهية مثل استبدال الكلمات بمرادفات أقل شيوعًا.

ومن المعروف أن نماذج «الارتباك» تفشل أيضًا في التعامل مع العديد من النصوص التي تسبق ظهور الحاسوب. فآلية الكشف القائمة على «الارتباك» تميل إلى إخبارك أن «الكتاب المقدس»، أو «إعلان الاستقلال»، أو رواية «فرانكشتاين» لماري شيلي، هي نصوص تم إنشاؤها بنسبة 100٪ بواسطة الذكاء الاصطناعي. وتفعل ذلك لأن النماذج اللغوية الكبيرة (LLMs) تقرأ «إعلان الاستقلال» آلاف المرات خلال فترة تدريبها، لذا فإن كل كلمة تالية واردة فيه لا تشكل أي مفاجأة من وجهة نظر النموذج اللغوي الكبير. ويُسيء الكاشف تفسير هذا الاحتمال باعتباره دليلاً على أن النص من إنتاج الذكاء الاصطناعي.

يتجنب «بانغرام» هذا الأمر لأنه لا يحاول إجراء هندسة عكسية لكيفية قيام نموذج اللغة الكبير (LLM) بإنشاء النص. فبدلاً من النظر إلى كل كلمة على حدة والتساؤل «ماذا قد يكتب نموذج اللغة الكبير هنا؟»، ينظر «بانغرام» إلى النص بأكمله ويتساءل «من الذي يبدو أسلوبه في هذا النص؟». وبهذه الطريقة، لا يمكن أبدًا أن يتسبب مستوى الألفة الذي يتمتع به «تشات جي بي» في قيام «بانغرام» بتصنيف الوثائق التاريخية خطأً على أنها من إنتاج الذكاء الاصطناعي — لكن ليست كل الحالات بهذه السهولة.

كيف قمنا بتدريب «بانغرام»

ليس من الصعب تدريب مصنف ليصل إلى دقة تبلغ 98%. فمعظم النصوص التي يكتبها الذكاء الاصطناعي يسهل التعرف عليها، ويمكن للشبكة العصبية أن تتعلم بسرعة العلامات الأكثر وضوحًا. تمامًا كما يمكن لأي شخص تقريبًا مقارنة قصيدة لـ «إي. إي. كامينغز» باقتباس من رواية «الأخوة كارامازوف» واستنتاج أن كاتبيهما مختلفان، يمكن لمصنف بسيط أن يميز بسهولة بين وصفة معكرونة أنشأها الذكاء الاصطناعي ومدخلة في يوميات كتبها إنسان. لكن في مجال الكشف عن نصوص الذكاء الاصطناعي، تُعد دقة بنسبة 98% سيئة للغاية: فمعدل خطأ بنسبة 2% يعني التصنيف الخاطئ لوثيقة واحدة من كل 50 وثيقة، مما يثير الشكوك حول أي تنبؤ معين. لذا فكر في الأمر: إذا كنت من بين أفضل 2% في تمييز أعمال دوستويفسكي، فما هي الاستراتيجية التي ستتبعها لتصبح من بين أفضل 0.01%؟

على هذا المستوى، تؤدي إعادة قراءة دوستويفسكي بشكل مباشر إلى عوائد متناقصة — فسد هذه الفجوة يتطلب العثور على السمات التي لا يستطيع أحد سوى دوستويفسكي نفسه إنتاجها. وقد تتمثل إحدى الاستراتيجيات الجيدة في توظيف عدد قليل من المقلدين المحترفين لكتابة نسخ مقلدة من دوستويفسكي تكون مقنعة قدر الإمكان، ثم دراسة الاختلافات بينها. هذه هي الطريقة التي ندرب بها «بانغرام»: لكل عنصر في مجموعة البيانات الخاصة بنا المكونة من نصوص مكتوبة بواسطة البشر ومرخصة تجاريًّا، نقوم بإنشاء نسخة مطابقة باستخدام الذكاء الاصطناعي تكون أقرب ما يمكن إلى النص الأصلي. تتميز هذه النسخ المطابقة بنفس الطول ونفس النبرة ونفس الموضوع، لكنها مُنتجة بواسطة الذكاء الاصطناعي. ثم نقوم بتدريب نموذج «بانغرام» على أزواج النصوص هذه التي تجمع بين النصوص البشرية والنصوص التي أنتجها الذكاء الاصطناعي.

من خلال تعلم التمييز بين تلك الأزواج، يعمل «بانغرام» فعليًّا على رفع دقة المناطق الحدودية على خريطته الداخلية. ولضمان أن تكون خريطة «بانغرام» دقيقة قدر الإمكان، فإننا نتوخى الحذر الشديد تجاه «تسميم البيانات»: فمجموعة البيانات الخاصة بنا من النصوص البشرية المعروفة مستمدة من عام 2021 وما قبله، أي قبل انتشار الذكاء الاصطناعي على الإنترنت. وهذا النهج يعمل بشكل جيد في الوقت الحالي، لكننا ندرك جيدًا أننا سنضطر إلى التكيف مع تطور اللغة. ويُعد التصدي الاستباقي لانحراف البيانات قبل أن يصبح مشكلةً واحدةً من أهم أولوياتنا البحثية.

كيف نعرف أن «بانغرام» قد أصاب في ذلك؟

«بانغرام» هو نموذج إحصائي يقوم بالتنبؤات استنادًا إلى النص وحده، لذا يجب اختبار دقته إحصائيًّا أيضًا. وهذا ما نقوم به. فنحن ننشر معايير قياس داخلية لكل نموذج من نماذج «بانغرام» التي نطلقها، وكذلك في كل مرة يقوم فيها أحد مختبرات الذكاء الاصطناعي بتحديث نماذج اللغة الكبيرة (LLMs) الخاصة به. كما خضعنا للاختبار والتحقق من قبل جهات خارجية مستقلة، مثل فرق من جامعة شيكاغو وجامعة ماريلاند.

إذا كنت باحثًا – أو إذا كانت لديك فكرة جيدة حقًّا وتعهدت بنشر نتائجك – فيمكنك التقدم بطلب للحصول على إحدى منح الائتمان الخاصة بواجهة برمجة التطبيقات (API) التي نقدمها واختبار نماذجنا بنفسك. فنحن نسعى دائمًا إلى إيجاد سبل للتحسين.