كيف يكتشف "بانغرام" المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي

تم تصميم Pangram Text لاكتشاف المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي بمعدل إيجابي خاطئ يقارب الصفر. يقلل نهجنا التدريبي الصارم من الأخطاء ويسمح للنموذج باكتشاف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي من خلال تحليل وفهم الإشارات الدقيقة في الكتابة.

يستخدم مصنفنا بنية نموذج لغوي تقليدية. فهو يستقبل النص المدخل ويقسمه إلى رموز. ثم يحول النموذج كل رمز إلى «تضمين»، وهو متجه من الأرقام يمثل معنى كل رمز.

يتم تمرير المدخلات عبر الشبكة العصبية، مما ينتج عنه تضمين للمخرجات. ثم يقوم رأس المصنف بتحويل تضمين المخرجات إلى تنبؤ بقيمة 0 أو 1، حيث تمثل القيمة 0 التصنيف البشري، بينما تمثل القيمة 1 تصنيف الذكاء الاصطناعي.

نقوم بتدريب نموذج أولي على مجموعة بيانات صغيرة ولكنها متنوعة تضم حوالي مليون وثيقة تتألف من نصوص عامة ومرخصة كتبها بشر. تتضمن مجموعة البيانات أيضًا نصوصًا أنتجتها الذكاء الاصطناعي بواسطة GPT-4 ونماذج لغوية رائدة أخرى. نتج عن التدريب شبكة عصبية قادرة على التنبؤ بشكل موثوق بما إذا كان النص من تأليف بشر أم ذكاء اصطناعي.

التعدين السلبي الصعب

كان النموذج الأولي فعالاً بالفعل، لكننا أردنا تعزيز الدقة إلى أقصى حد وتقليل أي احتمال لحدوث نتائج إيجابية خاطئة (أي التنبؤ الخاطئ بأن المستندات التي كتبها البشر هي من إنتاج الذكاء الاصطناعي). ولتحقيق ذلك، قمنا بتطوير خوارزمية مصممة خصيصاً لنماذج الكشف عن الذكاء الاصطناعي.

مع مجموعة البيانات الأولية، لم يكن لدى نموذجنا ما يكفي من المؤشرات للانتقال من دقة تبلغ 99% إلى دقة تبلغ 99.999%. ورغم أن النموذج يتعلم الأنماط الأولية في البيانات بسرعة، إلا أنه يحتاج إلى التعرض لحالات حدية صعبة حتى يتمكن من التمييز بدقة بين النصوص البشرية والنصوص التي يكتبها الذكاء الاصطناعي.

ونحن نحل هذه المشكلة باستخدام النموذج للبحث في مجموعات البيانات الضخمة عن حالات الإيجابية الكاذبة، ثم نُثري مجموعة التدريب الأولية بهذه الأمثلة الصعبة الإضافية قبل إعادة التدريب. وبعد عدة دورات من هذه العملية، يُظهر النموذج الناتج معدل إيجابية كاذبة يقترب من الصفر، فضلاً عن تحسن الأداء العام على مجموعات التقييم التي تم استبعادها.

مطالبات المرآة

نصمم الجانب المتعلق بالذكاء الاصطناعي من مجموعة البيانات بحيث يشبه إلى حد كبير الجانب البشري من حيث الأسلوب والنبرة والمحتوى الدلالي. لكل مثال بشري، ننشئ مثالاً من إنتاج الذكاء الاصطناعي يطابق الوثيقة الأصلية في أكبر عدد ممكن من المحاور، لضمان أن يتعلم نموذجنا تصنيف الوثائق بناءً على الخصائص المحددة لكتابة LLM فقط.

إعادة التدريب

نقوم بتدريب النموذج باستخدام مجموعة التدريب المحدثة، ونقيّم أداء النموذج في كل خطوة. وباستخدام هذه الطريقة، نتمكن من تقليل الأخطاء وزيادة دقة نموذجنا إلى ما يتجاوز ما يمكن تحقيقه من خلال التدريب العادي.

اطلع على ورقتنا البحثية التقنية الكاملة على موقع arXiv، حيث نتناول بالتفصيل تفاصيل التدريب والأداء والتجارب الأخرى.