تقرير تقني حول الكشف عالي الدقة عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي

عملية التدريب لمصنف النصوص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي من Pangram Labs

مقدمة

في Pangram Labs، نعمل على تطوير أفضل نموذج للكشف عن النصوص باستخدام الذكاء الاصطناعي لحماية الإنترنت من إغراقه بمحتوى مزيف ومضلل ومنخفض الجودة. ونحن نؤمن بأنه في عالم مدعوم بنماذج اللغة الكبيرة (LLMs)، سيحتاج البشر إلى التزود بأفضل الأدوات للتعرف على الحقيقة، ونحن نسعى إلى توفير التكنولوجيا المناسبة لتلبية هذه الحاجة.

قامت شركة Pangram Labs بتطوير مصنف متطور للكشف عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، والتي قد تُستخدم على نطاق واسع في المحتوى غير المرغوب فيه أو المحتوى الاحتيالي. ما مدى تفوق نموذجنا على البدائل المتاحة في السوق؟ في هذه المدونة، نقدم تحليلاً شاملاً لأداء نموذجنا، مصحوباً بأول ورقة تقنية ننشرها للجمهور على الإطلاق.

ستتناول هذه المدونة عدة مواضيع:

• لماذا يُعد الكشف عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي مشكلة مهمة؟
• ما هو أفضل أداة للكشف عن المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي؟
• لماذا تعتبر الدقة العالية مهمة؟
• ما هي أنواع المحتوى التي يمكن لـ Pangram Labs اكتشافها؟
• كيف تعاملت Pangram Labs مع حل هذه المشكلة؟

للاطلاع على تحليل تقني أكثر تعمقًا يتضمن المنهجية المتبعة، يرجى الاطلاع على تقريرنا التقني حول مصنف النصوص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي في Pangram.

باختصار

أجرينا مقارنة أداء تنافسية باستخدام ما يقرب من 2000 وثيقة لتحديد مؤشرات الدقة الرئيسية، بما في ذلك الدقة الإجمالية وحالات الإيجابية الكاذبة وحالات السلبية الكاذبة.

Our text classifier outperforms academic methods and shows significantly lower error rates in a comprehensive benchmark against other available AI text detection methods. Our model demonstrates 99.85% accuracy with 0.19% false positive rate across thousands of examples across ten different categories of writing and eight commonly used large language models. Other methods fail on more capable LLMs such as GPT-4 (<=75% accuracy) while Pangram Labs sustains 99-100% accuracy across all language models tested.

مقارنة الدقة الإجمالية

مقدمة إلى النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي

شهدت نماذج اللغات الضخمة (LLMs) مثل ChatGPT طفرة هائلة في شعبيتها عام 2023، مع وصول قدرات الذكاء الاصطناعي إلى نقطة تحول. فقد أصبحت نماذج اللغات الضخمة التي تشغل المساعدات الذكية قادرة على الإجابة عن الأسئلة، وتبادل الأفكار، وكتابة المحتوى، كل ذلك بأسلوب يبدو إنسانياً بشكل مقنع. وقد أدى ذلك إلى بعض النتائج الإيجابية - حيث أصبحت المعلومات متاحة أكثر من أي وقت مضى، كما أن المساعدات الذكية يمكنها توفير الوقت لنا في أداء المهام الروتينية. ومع ذلك، يمكن لأي شخص إنتاج نصوص تبدو وكأنها مكتوبة بواسطة بشري دون بذل أي جهد يذكر، وهو ما ينطوي على بعض الجوانب السلبية. يمكن لمرسلي الرسائل غير المرغوب فيها كتابة رسائل بريد إلكتروني يصعب تصفية. ويمكن لبائعي الأسواق الإلكترونية إنتاج آلاف التقييمات التي تبدو حقيقية في غضون دقائق. ويمكن للأطراف السيئة اللجوء إلى وسائل التواصل الاجتماعي والتأثير على الرأي العام باستخدام آلاف الروبوتات التي تعمل بنماذج اللغة الكبيرة.

لسوء الحظ، لا يمكن التخفيف من هذه المخاطر المجتمعية على مستوى نماذج اللغة الكبيرة (LLM)؛ فهذه النماذج لا تملك القدرة على تمييز ما إذا كان الطلب مشروعًا أم أنه واحد من آلاف الطلبات التي أنشأها مرسِلو الرسائل غير المرغوب فيها. ولهذا السبب، نحتاج إلى مرشحات للمحتوى على مستوى طبقة التطبيق، للحفاظ على الطابع الإنساني للمساحات المخصصة للبشر.

لماذا تهتم Pangram Labs بالدقة بشكل كبير

لقد سمعنا الكثير من التشكيك في هذا المجال. فهناك من يقول إن المشكلة مستحيلة الحل، أو أنه ثبت أن أدوات الكشف عن الذكاء الاصطناعي «لا تعمل»، أو أنه يمكن ببساطة التغلب عليها عن طريق التوجيه. أو حتى لو كان ذلك ممكنًا الآن، فسيصبح الأمر أصعب في العام المقبل، بل ومستحيلًا بحلول الوقت الذي تظهر فيه الذكاء الاصطناعي العام.

تختلف وجهة نظرنا قليلاً عن ذلك. فنحن نؤمن إيماناً راسخاً بأن حل هذه المشكلة ليس ممكناً فحسب، بل إنه ضروري. ولا يهم مدى صعوبة الأمر، أو عدد الساعات التي يتعين علينا تكريسها لبناء شيء يمكن للمستخدمين الاستفادة منه والثقة به. فبدون عملنا، لن يمر سوى بضع سنوات قبل أن يغزو مرسلي الرسائل غير المرغوب فيها المدعومين بالذكاء الاصطناعي شبكة الإنترنت. وستغرق الأصوات البشرية وسط هذا الضجيج.

بالنسبة لنا، فإن ضمان حل المشكلة يتطلب الاستمرار في رفع مستوى صعوبة مجموعات التقييم الخاصة بنا. كان من السهل في البداية الوصول إلى دقة 100٪ في التقييمات المبكرة، لكن سرعان ما اتضح أن هذا لا يعكس الدقة الفعلية في الواقع. ومن خلال إنشاء تقييمات أكثر صعوبة، نتمكن من قياس مدى تحسننا بطريقة موضوعية. نعتقد بالفعل أن معيارنا الحالي أصعب قليلاً مما يقدمه مرسلي الرسائل غير المرغوب فيها في العالم الحقيقي، وهذا المعيار قريب من الحد الأقصى. عندما نعود بأرقام جديدة، قد يبدو أن الطرق الأخرى أصبحت أسوأ، ولكن الحقيقة هي أننا سنعود بمجموعة تقييم أصعب، حيث يتم دفع الذكاء الاصطناعي الأكثر قدرة إلى أقصى حدوده لإنشاء نص يبدو أصليًا، وهدفنا هو أن نظل قادرين على اكتشافه بدقة تبلغ 99٪.

لن يتم حل هذه المشكلة بشكل كامل أبدًا، لكننا بحاجة إلى إحراز تقدم مطرد لتجنب التخلف عن الركب مع تزايد قدرات النماذج اللغوية الكبيرة. هذا هو ما التزمنا به، وما سنواصل السعي لتحقيقه حتى النهاية.

مقارنة بين أدوات الكشف القائمة على الذكاء الاصطناعي

في تقريرنا الفني، قمنا بمقارنة Pangram Labs بأداتين رائدتين في مجال الكشف عن الذكاء الاصطناعي، بالإضافة إلى أحدث الأساليب الأكاديمية لعام 2023 في مجال الكشف عن الذكاء الاصطناعي.

نقارن بين:

• بانجرام لابز
• GPTZero
• Originality.ai
• DetectGPT

يتضمن معيارنا 1,976 وثيقة - نصفها كتبها بشر، والنصف الآخر أنتجته ثمانية من أكثر نماذج اللغات الكبيرة (LLM) شيوعًا، بما في ذلك ChatGPT و GPT-4.

مقارنة الدقة الإجمالية

شرح موجز لمعنى هذه الأرقام:

• الدقة: ما هي النسبة المئوية للوثائق التي صنّفتها الأداة بشكل صحيح من إجمالي الوثائق؟
• معدل الإيجابيات الخاطئة: من بين جميع الوثائق البشرية، كم عدد الوثائق التي تم تصنيفها خطأً على أنها من إنتاج الذكاء الاصطناعي؟
• معدل النتائج السلبية الخاطئة: من بين جميع المستندات التي تم تحليلها بواسطة الذكاء الاصطناعي، كم عدد المستندات التي تم تصنيفها خطأً على أنها من صنع الإنسان؟

لتوضيح معدل الإيجابيات الخاطئة بشكل ملموس — يعني 9% أن وثيقة واحدة من بين كل 11 وثيقة كتبها الإنسان سيتم تصنيفها على أنها من إنتاج الذكاء الاصطناعي. ويعني معدل الإيجابيات الخاطئة البالغ 2% أن وثيقة واحدة من بين كل 50 وثيقة كتبها الإنسان سيتم تصنيفها على أنها من إنتاج الذكاء الاصطناعي. أما 0.67% فتعني أن وثيقة واحدة من بين كل 150 وثيقة كتبها الإنسان سيتم تصنيفها على أنها من إنتاج الذكاء الاصطناعي.

وبالمثل، فإن معدل النتائج السلبية الخاطئة البالغ 10% يعني أن وثيقة واحدة من كل عشر وثائق تمر دون أن يتم اكتشافها، في حين أن معدل النتائج السلبية الخاطئة البالغ 1.4% يعني أن وثيقة واحدة من كل سبعين وثيقة تمر دون أن يتم اكتشافها.

لنتأمل الآثار المترتبة على هذه النتائج. لا يمكن الوثوق بنموذج الكشف الذي يبلغ معدل الإيجابيات الخاطئة فيه 9٪، وإلا فستنتشر الاتهامات الباطلة على نطاق واسع. أما نموذج الكشف الذي يبلغ معدل السلبيات الخاطئة فيه 10٪، فسيسمح بمرور كميات هائلة من الرسائل غير المرغوب فيها التي تولدها الذكاء الاصطناعي، بحيث سيظل المستخدمون يتعرضون لفيض من هذه الرسائل مهما كان نوع الهجوم.

التعمق في النتائج

ينقسم معيارنا إلى محورين مختلفين: مجال النص ونموذج اللغة الكبير (LLM) الأصلي. ويُقصد بـ«مجال النص» أو «المجال» ببساطة فئة معينة من النصوص المكتوبة. فعلى سبيل المثال، تختلف قراءة مقال مدرسي في المرحلة الإعدادية اختلافًا كبيرًا عن قراءة ورقة بحثية علمية، التي تختلف بدورها اختلافًا كبيرًا عن قراءة رسالة بريد إلكتروني. ومن خلال تقسيم النتائج إلى مجالات مختلفة، يمكننا الحصول على نظرة أكثر شمولية على المجالات التي نحقق فيها أداءً جيدًا، والمجالات التي يمكننا تركيز جهودنا عليها من أجل التحسين.

الدقة حسب مجال النص

تُظهر النتائج أن Pangram Labs يتفوق على GPTZero وOriginality في جميع المجالات العشرة التي خضعت للتقييم.

يُعد أحد المجالات، وهو البريد الإلكتروني، نتيجة قوية بشكل خاص لأن Pangram Labs لا تدرج أي رسائل بريد إلكتروني في بياناتها التدريبية. ويعود الفضل في أدائنا في مجال البريد الإلكتروني بالكامل إلى تدريب نموذج قوي قادر على التعميم على معظم فئات النصوص التي يمكن أن ينتجها نموذج اللغة الكبيرة (LLM).

تم تصنيف مستندات الذكاء الاصطناعي بشكل صحيح، حسب مصدر نموذج اللغة الكبير (LLM)

أما عند تصنيف النتائج حسب مصدر النموذج اللغوي الكبير (LLM)، فتظهر صورة مختلفة، حيث يتضح أن نماذج الكشف عن الذكاء الاصطناعي المنافسة تحقق أداءً أفضل مع النماذج مفتوحة المصدر الأقل قدرة، لكنها تحقق أداءً أسوأ مع ChatGPT (gpt-3.5-turbo)، وتواجه صعوبة بالغة مع GPT-4، وهو النموذج اللغوي الكبير الأكثر قدرة من OpenAI. وقد قمنا بتقييم إصدارات متعددة من نماذج GPT 3.5 Turbo و GPT-4، حيث إنها الأكثر استخدامًا في الواقع العملي.

لقد وجدنا أننا النموذج الوحيد القادر على اكتشاف نصوص GPT-4 بشكل موثوق، كما أننا نتفوق على جميع النماذج الأخرى التي قمنا باختبارها.

ومن الملاحظات المثيرة للاهتمام أن منافسينا يحققون أداءً أفضل بكثير على النماذج مفتوحة المصدر مقارنةً بنماذج GPT وGemini مغلقة المصدر. نفترض أن هذا يرجع إلى الاعتماد المفرط على ميزات الحيرة والتقلب – في حين أن هذه الميزات قيّمة، إلا أنه لا يمكن حساب الحيرة والتقلب بدقة إلا في نموذج مفتوح المصدر: أما في النماذج المغلقة المصدر، فلا يمكن إجراء سوى تقدير تقريبي. وهذا يوضح قيمة نهجنا القائم على التعلم العميق – فهو لا يعتمد على ميزات هشة مثل الحيرة، ويمكنه تعلم أنماط أساسية أكثر دقة.

المتانة

أحد الأسئلة التي تُطرح علينا كثيرًا هو: ماذا يحدث عند إصدار نموذج لغوي جديد؟ هل تحتاج إلى تدريب النموذج على كل نموذج جديد لتتمكن من اكتشاف مخرجاته؟ باختصار، لا. فقد أصدرت OpenAI نسختين جديدتين من نماذجها اللغوية الكبيرة (LLMs) خلال الأسابيع الماضية. وبدون أي تدريب على هذه النماذج الجديدة، قمنا بتقييم نموذجنا ووجدنا أنه لا يزال يؤدي أداءً جيدًا!

• GPT-3.5-Turbo-0125: دقة بنسبة 99.66%
• GPT-4-0125-معاينة: دقة بنسبة 99.18%

تشبه هذه الإصدارات الجديدة الإصدارات السابقة التي أصدرتها OpenAI. لذا فإن السؤال التالي الذي نطرحه هو: كيف سيكون أداءنا مع مجموعات نماذج مختلفة تمامًا؟ للإجابة على هذا السؤال، قمنا بتقييم نموذجنا على مجموعة من النماذج مفتوحة المصدر التي لم يسبق لمصنفنا أن شاهدها من قبل.

أداء نموذج اللغة الكبير (LLM) مفتوح المصدر، لم تشهده Pangram Labs أثناء التدريب.

رائع حقًا! ويرجع ذلك إلى حد كبير إلى أن العديد من النماذج مفتوحة المصدر إما تنبثق من عائلة Llama أو تستخدم مجموعات تدريب مفتوحة المصدر مشابهة، لكن هذا يساعدنا على الثقة في قدرتنا على التعميم دون الحاجة إلى التدريب على كل نموذج مفتوح المصدر على حدة.

وبناءً على ذلك، تم تصميم مسار البيانات لدينا بحيث يمكننا إنشاء مجموعة تدريب جديدة في غضون ساعات من إصدار واجهة برمجة تطبيقات (API) لنظام اللغات الكبيرة (LLM) — ولا يحد من سرعة هذا العمل سوى الحد الأقصى لمعدل الاستخدام المسموح به للواجهة. ونحن ندرك جيدًا أن أنظمة اللغات الكبيرة (LLM) تستمر في التحسن، ومع اقترابنا من الذكاء الاصطناعي العام (AGI)، سيزداد أهمية البقاء على اطلاع دائم والتأكد من قدرتنا على مواكبة حتى أكثر وكلاء الذكاء الاصطناعي تقدمًا.

اللغة الإنجليزية كلغة ثانية

أظهرت الأبحاث السابقة أن أجهزة الكشف التجارية التي تعمل بنظام النماذج اللغوية الكبيرة (LLM) تتسم بانحياز مستمر ضد المتحدثين غير الناطقين باللغة الإنجليزية (ESL، أو الإنجليزية كلغة ثانية). ولتحقق الباحثون من صحة ذلك، استخدموا عينة مرجعية مكونة من 91 مقالاً مأخوذة من اختبار TOEFL (اختبار اللغة الإنجليزية كلغة أجنبية) لاختبار عدة أجهزة كشف.

قمنا باختيار 91 مقالاً من اختبار توفل (TOEFL) من مجموعة التدريب الخاصة بنا، وقمنا بتقييم أداء Pangram Labs على هذا المعيار. وبفضل جهودنا الرامية إلى تقليل معدلات الإيجابيات الخاطئة في مجال اللغة الإنجليزية كلغة ثانية (ESL)، سجلنا معدل إيجابيات خاطئة بنسبة 0% على معيار توفل (TOEFL) - مما يعني أنه لم يتم تصنيف أي من المقالات البشرية في هذا المعيار خطأً على أنها من إنتاج الذكاء الاصطناعي.

مقارنة مع معايير اختبار توفل

نهج Pangram Labs في الكشف عن الذكاء الاصطناعي

إن الكشف عن المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي ليس بالمهمة السهلة. نحن نقوم بتدريب نموذج للتعلم العميق يعتمد على بنية "ترانسفورمرز"، مستخدمين طريقتين رئيسيتين لرفع دقة نموذجنا إلى مستوى أعلى.

المرايا الاصطناعية

كل وثيقة في مجموعة التدريب الخاصة بنا مصنفة إما على أنها "بشرية" أو "ذكية". وفي مجال التعلم الآلي، نطلق على هذه الوثائق اسم "أمثلة".

لدينا الملايين من الأمثلة البشرية المتاحة للتدريب عليها من قواعد البيانات العامة، ولكن لا توجد قواعد بيانات مماثلة للذكاء الاصطناعي. نحل هذه المشكلة من خلال إقران كل مثال بشري بـ "مرآة اصطناعية" - وهو مصطلح نستخدمه لوصف مستند تم إنشاؤه بواسطة الذكاء الاصطناعي استنادًا إلى مستند بشري. نطلب من نموذج اللغة الكبير (LLM) مستندًا عن نفس الموضوع وبنفس الطول. بالنسبة لجزء صغير من الأمثلة، نجعل نموذج اللغة الكبير يبدأ بالجملة الأولى من المستند البشري، لجعل مستندات الذكاء الاصطناعي أكثر تنوعًا.

التعدين السلبي الصعب

في البداية، واجهنا عائقًا أثناء تدريب النموذج. حاولنا إضافة المزيد من الأمثلة، لكننا اكتشفنا في النهاية أن النموذج قد «تشبع» - فلم تؤدِ إضافة المزيد من أمثلة التدريب إلى تحسين أداء النموذج أكثر من ذلك.

تجربة قوانين التناسب

كان أداء هذا النموذج الأولي غير مرضٍ - فقد ظل معدل النتائج الإيجابية الخاطئة فيه يتجاوز 1٪ في العديد من المجالات. وما توصلنا إليه هو أننا لم نكن بحاجة إلى المزيد من الأمثلة فحسب، بل كنا بحاجة إلى أمثلة أكثر تعقيدًا.

قمنا بتحديد أمثلة أكثر صعوبة من خلال استخدام نموذجنا الأولي ومسح عشرات الملايين من الأمثلة البشرية الموجودة في قواعد البيانات المفتوحة، بحثًا عن أصعب الوثائق التي أخطأ نموذجنا في تصنيفها. ثم قمنا بإنشاء نسخ مقلدة اصطناعية لهذه الوثائق وأضفناها إلى مجموعة التدريب الخاصة بنا. وأخيرًا، أعدنا تدريب النموذج وكررنا العملية.

عملية التدريب لمصنف النصوص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي من Pangram Labs

بفضل طريقة التدريب هذه، تمكنا من خفض معدلات الإيجابيات الخاطئة بمقدار 100 ضعف، وتقديم نموذج نفخر به.

جدول معدلات الإيجابية الكاذبة حسب المجال

نسمي هذه الطريقة «التعدين السلبي الصعب باستخدام المرايا الاصطناعية»، ونستعرض هذه العملية بمزيد من التفصيل في تقريرنا الفني.

ما هي الخطوة التالية لشركة Pangram Labs؟

من الواضح أن هذه ليست نهاية رحلتنا. لدينا مجموعة من الأفكار الجديدة حول كيفية الارتقاء بالأداء إلى مستوى أعلى. سنواصل تحسين مجموعات التقييم لدينا حتى نتمكن من تتبع معدل الإيجابيات الخاطئة بدقة تصل إلى أجزاء من المائة. ونخطط لتوسيع نطاق نموذجنا ليشمل اللغات غير الإنجليزية، كما نعمل على فهم حالات الفشل التي نواجهها وتحديدها. ترقبوا ما سنقدمه في المستقبل!

هل لديك أي أسئلة أو تعليقات؟ تواصل معنا عبر البريد الإلكتروني info@pangram.com!