الإعلان عن شراكة جديدة مع Proofig! تعرف على المزيد

كيف يكتشف Pangram المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي

عرض التقرير الفني بصيغة PDF

نظرة عامة

تم تصميم Pangram Text لاكتشاف المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي بمعدل إيجابي خاطئ يقارب الصفر. يقلل نهجنا التدريبي الصارم من الأخطاء ويسمح للنموذج باكتشاف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي من خلال تحليل وفهم الإشارات الدقيقة في الكتابة.

عملية التدريب الأولي

يستخدم مصنفنا بنية نموذج لغوي تقليدي. يتلقى النص المدخل ويقوم بتقسيمه إلى وحدات لغوية. ثم يحول النموذج كل وحدة لغوية إلى تضمين، وهو متجه من الأرقام يمثل معنى كل وحدة لغوية.

يتم تمرير المدخلات عبر الشبكة العصبية، مما ينتج عنه تضمين المخرجات. يقوم رأس المصنف بتحويل تضمين المخرجات إلى تنبؤ 0 أو 1، حيث 0 هي التسمية البشرية و1 هي التسمية الخاصة بالذكاء الاصطناعي.

نقوم بتدريب نموذج أولي على مجموعة بيانات صغيرة ولكنها متنوعة تضم حوالي مليون وثيقة تتألف من نصوص عامة ومرخصة كتبها بشر. تتضمن مجموعة البيانات أيضًا نصوصًا أنتجتها الذكاء الاصطناعي بواسطة GPT-4 ونماذج لغوية رائدة أخرى. نتج عن التدريب شبكة عصبية قادرة على التنبؤ بشكل موثوق بما إذا كان النص من تأليف بشر أم ذكاء اصطناعي.

التحسين المستمر من خلال التكرار

التعدين السلبي الصعب

كان النموذج الأولي فعالاً بالفعل، لكننا أردنا تعظيم الدقة وتقليل أي احتمال لحدوث نتائج إيجابية خاطئة (التنبؤ بشكل خاطئ بأن المستندات التي كتبها البشر هي مستندات أنشأتها الذكاء الاصطناعي). وللقيام بذلك، قمنا بتطوير خوارزمية خاصة بنماذج الكشف عن الذكاء الاصطناعي.

مع مجموعة البيانات الأولية، لم يكن لدى نموذجنا ما يكفي من الإشارات للانتقال من دقة 99٪ إلى دقة 99.999٪. في حين أن النموذج يتعلم الأنماط الأولية في البيانات بسرعة، إلا أنه يحتاج إلى رؤية حالات صعبة من أجل التمييز بدقة بين النصوص البشرية ونصوص الذكاء الاصطناعي.

نحل هذه المشكلة باستخدام النموذج للبحث في مجموعات البيانات الكبيرة عن النتائج الإيجابية الخاطئة وتعزيز مجموعة التدريب الأولية بهذه الأمثلة الصعبة الإضافية قبل إعادة التدريب. بعد عدة دورات من هذا، يُظهر النموذج الناتج معدل نتائج إيجابية خاطئة يقارب الصفر بالإضافة إلى تحسن الأداء العام في مجموعات التقييم المحتجزة.

إنسانيالذكاء الاصطناعيمطالبات المرآة
مطالبات المرآة
نصمم الجانب المتعلق بالذكاء الاصطناعي من مجموعة البيانات بحيث يشبه إلى حد كبير الجانب البشري من حيث الأسلوب والنبرة والمحتوى الدلالي. لكل مثال بشري، ننشئ مثالاً من إنتاج الذكاء الاصطناعي يطابق الوثيقة الأصلية في أكبر عدد ممكن من المحاور، لضمان أن يتعلم نموذجنا تصنيف الوثائق بناءً على الخصائص المحددة لكتابة LLM فقط.
إعادة التدريب
نقوم بتدريب النموذج باستخدام مجموعة تدريب محدثة ونقيّم أداء النموذج في كل خطوة. باستخدام هذه الطريقة، يمكننا تقليل الأخطاء وزيادة دقة نموذجنا إلى ما هو أبعد من ما يمكن تحقيقه بالتدريب العادي.
مخطط نموذج إعادة التدريب

تعرف على المزيد

arxiv.org
تقرير فني عن مصنف النصوص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي Pangram
تحقق من ورقتنا الفنية الكاملة على arXiv حيث نتعمق في تفاصيل التدريب والأداء والتجارب الأخرى!