تعمق في تقييمات Yelp

ملاحظة: لقد غيرنا اسمنا إلى Pangram Labs! انظر منشورنا على المدونة لمزيد من التفاصيل.

في Checkfor.ai، نسعى جاهدين لنكون أفضل كاشف للنصوص المكتوبة بواسطة الذكاء الاصطناعي في فئتنا، وذلك لتعزيز مهمتنا المتمثلة في حماية الإنترنت من التلوث الناتج عن الذكاء الاصطناعي ذي الجودة المنخفضة. ومن أهم المجالات التي يجب الدفاع عنها منصات مراجعات المستخدمين.

التعليقات المزيفة على الإنترنت تضر في النهاية بكل من الشركات والمستهلكين، وقد جعلت ChatGPT من السهل ارتكاب الاحتيال في التعليقات على نطاق واسع.

مراجعة تم إنشاؤها بواسطة ChatGPT على Yelp

الحفاظ على ثقة المستخدمين في التقييمات عبر الإنترنت هو جزء مهم من مهمتنا في Checkfor.ai لحماية مصداقية المحتوى الذي ينشئه البشر عبر الإنترنت.

عنّي

اسمي برادلي إيمي، وأنا المدير التقني لشركة Checkfor.ai. عملت كباحث في مجال الذكاء الاصطناعي في جامعة ستانفورد، وقمت بتسليم نماذج إنتاجية كعالم في مجال التعلم الآلي في فريق Tesla Autopilot، وقادت فريقًا بحثيًا قام ببناء منصة لتصميم الأدوية باستخدام شبكات عصبية كبيرة في Absci. في مجال السيارات ذاتية القيادة واكتشاف الأدوية، دقة 99٪ ليست كافية. دقة 99٪ قد تعني أن 1 من كل 100 مشاة قد يصدمه مركبة ذاتية القيادة، أو أن 1 من كل 100 مريض قد يعاني من آثار جانبية تهدد حياته بسبب دواء سيئ التصميم.

على الرغم من أن اكتشاف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي ليس بالضرورة مسألة حياة أو موت، فإننا نرغب في تصميم نماذج وأنظمة برمجية هنا في Checkfor.ai تتوافق مع نفس معايير الجودة. يجب أن يتحمل جهاز الكشف الخاص بنا الهجمات العدائية مثل إعادة الصياغة، وهندسة المطالبات المتقدمة، وأدوات التهرب من الكشف مثل undetectable.ai. نحن جادون في حل هذه المشكلة (على سبيل المثال، ليس فقط الوصول إلى 99٪)، وبالتالي، فإن إحدى أولويات فريق الهندسة لدينا هي تطوير منصة تقييم قوية للغاية.

فلسفة التقييم: مجموعات الاختبارات هي اختبارات وحدة

شركة أمن سيبراني تعمل بنظام البرمجيات 1.0 لن تقوم أبدًا بشحن منتج دون إجراء اختبارات الوحدة. كشركة تعمل بنظام البرمجيات 2.0، نحتاج إلى ما يعادل اختبارات الوحدة، باستثناء أنها تحتاج إلى اختبار نماذج كبيرة تحتوي على ملايين أو حتى مليارات المعلمات، والتي قد تتصرف بشكل عشوائي، ويجب أن تعمل بشكل صحيح مع تغطية توزيع واسع من الحالات الطرفية. لا يمكننا تحقيق "دقة مجموعة اختبارات بنسبة 99٪" واعتبار ذلك كافيًا: نحتاج إلى تقييمات تختبر على وجه التحديد أنواع الأمثلة التي سنواجهها في العالم الحقيقي.

مجموعة الاختبارات الجيدة تجيب على أسئلة محددة وتقلل من عدد المتغيرات المربكة.

ومن أمثلة الأسئلة المستهدفة في الاختبار ومجموعات الاختبارات المقابلة لها ما يلي:

• ما مدى فعالية نموذجنا في تقييمات Yelp؟ مجموعة اختبارية من ألف تقييم حقيقي على Yelp وألف تقييم تم إنشاؤها بواسطة الذكاء الاصطناعي.
• ما مدى فعالية نموذجنا في معالجة النصوص المعاد صياغتها؟ مجموعة اختبارية تضم مئات المقالات الحقيقية للطلاب، ومئات المقالات التي كتبتها الذكاء الاصطناعي، ونفس المقالات المعاد صياغتها باستخدام QuillBot أو Undetectable.AI.

هناك عدة أسباب تمنعك من الجمع بين كل العناصر الموجودة في مجموعة الاختبار الخاصة بك والإبلاغ عن رقم.

• هناك الكثير من المتغيرات المربكة — لا نعرف ما إذا كان الاختبار قد نجح أم فشل بسبب توزيع البيانات أو النموذج.
• يمكن لأي شخص أن يضخم دقة أرقامه بشكل مصطنع بمجرد إغراق مجموعة الاختبارات بأمثلة سهلة.
• بدون تفسير مفتوح وقابل للتكرار لكيفية إنشاء مجموعة الاختبار بطريقة غير متحيزة، لا يمكننا معرفة ما إذا كان شخص ما قد اختار أمثلة ناجحة لنموذجه وفشل فيها خط الأساس.

لهذا السبب فإن الدراسات المعيارية مثل هذه تخطئ الهدف تمامًا. فهي غير مركزة ولا تختبر السلوكيات المحددة التي نريد أن يؤديها النموذج. تظهر مجموعات الاختبارات المتحيزة النموذج في أفضل حالاته، وليس عندما يواجه أمثلة من العالم الحقيقي.

معيار Yelp غير متحيز

من الأمثلة على التطبيقات الواقعية لاكتشاف النصوص المكتوبة بواسطة الذكاء الاصطناعي اكتشاف التعليقات المكتوبة بواسطة الذكاء الاصطناعي على موقع Yelp. يلتزم موقع Yelp بفرض رقابة صارمة على منصة التعليقات الخاصة به، وإذا قمت بالاطلاع على تقرير الثقة والأمان لعام 2022، فسترى بوضوح أن موقع Yelp يولي اهتمامًا كبيرًا بمكافحة التعليقات الاحتيالية أو المدفوعة أو المحفزة أو غير النزيهة بأي شكل من الأشكال.

لحسن الحظ، أصدرت Yelp أيضًا مجموعة بيانات مفتوحة المصدر ممتازة. قمنا بأخذ عينة عشوائية من 1000 تقييم من مجموعة البيانات هذه، بالإضافة إلى إنشاء 1000 تقييم اصطناعي من ChatGPT، وهو LLM الأكثر استخدامًا.

من المهم ملاحظة أن تقييمات ChatGPT هي لشركات Yelp حقيقية من مجموعة بيانات Kaggle الخاصة بهم: بهذه الطريقة لا يمكن للنموذج الغش عن طريق التكيف المفرط مع تفاصيل مثل الاختلاف في توزيع الأعمال. أثناء التقييم، نختبر ما إذا كان النموذج قد تعلم بالفعل استخدام الميزات الصحيحة في النص من أجل التمييز بين الحقيقي والمزيف.

نستخدم هذه المجموعة من البيانات لمعرفة أي من نماذج الكشف عن الذكاء الاصطناعي يمكنه بالفعل التمييز بين التقييمات التي تم إنشاؤها بواسطة ChatGPT والتقييمات الحقيقية!

دقة النماذج

أبسط مقياس لدينا هو الدقة: كم عدد الأمثلة التي صنفها كل نموذج بشكل صحيح؟

• Checkfor.ai: 99.85% (1997/2000)
• Originality.AI: 96.2% (1738/1806) (ملاحظة: Originality.AI ترفض تصنيف المستندات التي يقل طولها عن 50 كلمة).
• GPTZero: 90.8% (1815/2000)

في حين أن الفرق بين 99.85٪ و 96٪ قد لا يبدو كبيرًا في البداية، إلا أنه عند أخذ معدل الخطأ في الاعتبار، يمكننا وضع هذه الأرقام في سياق أفضل.

من المتوقع أن يفشل Checkfor.ai مرة واحدة فقط من بين كل 666 استعلامًا، بينما من المتوقع أن يفشل Originality.AI مرة واحدة من بين كل 26 استعلامًا، ويفشل GPTZero مرة واحدة من بين كل 11 استعلامًا. وهذا يعني أن معدل الخطأ لدينا أفضل بـ 25 مرة من Originality.AI، و60 مرة من GPTZero.

النتائج الإيجابية الكاذبة والنتائج السلبية الكاذبة

من أجل النظر في النتائج الإيجابية الخاطئة والنتائج السلبية الخاطئة (في مصطلحات التعلم الآلي، سنأخذ في الاعتبار الإحصائيات المتشابهة جدًا للدقة والاسترجاع)، يمكننا النظر إلى مصفوفة الارتباك – ما هي المعدلات النسبية للنتائج الإيجابية الصحيحة والنتائج الإيجابية الخاطئة والنتائج السلبية الصحيحة والنتائج السلبية الخاطئة؟

Over all 2,000 examples, Checkfor.ai produces 0 false positives and 3 false negatives, exhibiting high precision and high recall. While admirably, GPTZero does not often predict false positives, with only 2 false positives, it comes at the expense of predicting 183 false negatives– an incredibly high false negative rate! We’d call this a model that exhibits high precision but low recall. Finally, Originality.AI predicts 60 false positives and 8 false negatives– and it refuses to predict a likelihood on short reviews (<50 words) — which are the hardest cases and most likely to be false positives. This high false positive rate means that this model is low precision, high recall.

في حين أن معدل الإيجابية الكاذبة المنخفض أكثر أهمية في الكشف عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي (لا نريد أن نتهم البشر الحقيقيين زوراً بالسرقة الأدبية من ChatGPT)، فإن معدل السلبية الكاذبة المنخفض ضروري أيضاً – لا يمكننا السماح بمرور ما يصل إلى 10-20٪ من المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي.

ثقة النموذج

في النهاية، نود أن يعبر نموذجنا عن ثقة عالية عندما يكون من الواضح أن النص بشرية، أو مكتوبة بواسطة ChatGPT.

باتباع استراتيجية تصور مماثلة لتلك المستخدمة في الورقة الأكاديمية الممتازة DetectGPT التي كتبها ميتشل وآخرون، نقوم برسم الرسوم البيانية لتوقعات النماذج لكل من المراجعات التي تم إنشاؤها بواسطة الذكاء الاصطناعي والمراجعات الحقيقية لجميع النماذج الثلاثة. نظرًا لأن دقة النماذج الثلاثة تزيد عن 90٪، فإن المقياس اللوغاريتمي على المحور الصادي هو الأكثر فائدة لتصور خصائص ثقة كل نموذج.

في هذا الرسم البياني، يمثل المحور السيني احتمالية أن يتنبأ النموذج بأن المراجعة المدخلة تم إنشاؤها بواسطة الذكاء الاصطناعي. يمثل المحور الصادي عدد المرات التي يتنبأ فيها النموذج بتلك الاحتمالية بالنسبة للنص الحقيقي (الأعمدة الزرقاء) أو النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي (الأعمدة الحمراء). نرى أنه عند النظر إلى هذه التنبؤات "المرنة"، بدلاً من مجرد نعم أو لا، فإن Checkfor.ai أفضل بكثير في رسم حدود قرار واضحة ووضع تنبؤات أكثر ثقة من GPTZero أو Originality.AI.

يميل GPTZero إلى توقع عدد كبير جدًا من الأمثلة في نطاق احتمالية 0.4-0.6، مع متوسط يقارب 0.5. من ناحية أخرى، تصبح مشكلة الإيجابية الكاذبة في Originality.AI أكثر وضوحًا عند فحص التوقعات غير الدقيقة. تقترب العديد من المراجعات الحقيقية من التنبؤ بأنها من إنتاج الذكاء الاصطناعي، حتى لو لم تتجاوز عتبة 0.5. وهذا يجعل من الصعب على المستخدم أن يثق في أن النموذج يمكنه التنبؤ بشكل موثوق بالنصوص التي تم إنتاجها بواسطة الذكاء الاصطناعي، حيث أن الاضطرابات الصغيرة في المراجعة يمكن أن تسمح للخصم بتجاوز الكاشف عن طريق تعديل المراجعة بشكل متكرر حتى تصبح أقل من عتبة الكشف.

من ناحية أخرى، فإن نموذجنا عادة ما يكون حاسماً للغاية. فنحن قادرون عموماً على اتخاذ قرارات واثقة. بالنسبة للقراء الذين لديهم خلفية عميقة في التعلم أو نظرية المعلومات، لدينا أدنى مستوى من التباين المتقاطع/الانحراف KL بين التوزيع الحقيقي والتوزيع المتوقع.

هناك قيمة واضحة في توقع النص الحقيقي على أنه حقيقي بثقة عالية (انظر هذا الشكل المضحك من تويتر). في حين أنه من الواضح أن هذا المعلم أخطأ في تفسير احتمالية الذكاء الاصطناعي على أنها كمية من النص الذي كتبته الذكاء الاصطناعي، عندما تكون أجهزة الكشف غير متأكدة من أن النص الحقيقي هو حقيقي بالفعل، فإن ذلك يترك مجالًا لسوء التفسير.

https://twitter.com/rustykitty_/status/1709316764868153537

من بين الأخطاء الثلاثة التي توقعها Checkfor.ai، للأسف، اثنان من هذه الأخطاء مؤكدان إلى حد كبير. جهاز الكشف لدينا ليس مثاليًا، ونحن نعمل بنشاط على معايرة النموذج لتجنب مثل هذه التوقعات الخاطئة المؤكدة.

الخلاصة

نحن نوفر مجموعات البيانات المستخدمة في تقييم التعليقات الحقيقية والمزيفة على Yelp كمصدر مفتوح، بحيث يمكن للنماذج المستقبلية استخدام هذا المعيار المهم لاختبار دقة أجهزة الكشف الخاصة بها.

أهم النقاط التي استخلصناها هي:

يتميز Checkfor.ai بمعدل منخفض من الإيجابيات الخاطئة والسلبيات الخاطئة. يستطيع Checkfor.ai التمييز بين التقييمات الحقيقية والتقييمات التي تم إنشاؤها بواسطة الذكاء الاصطناعي ليس فقط بدقة عالية، ولكن بثقة عالية أيضًا. سنقوم بنشر المزيد من هذا النوع من المقالات في المستقبل، وسنشارك تقييماتنا الصادقة لنموذجنا مع الجمهور كلما تعلمنا المزيد. تابعونا وأخبرونا برأيكم!