كل ما يتعلق بالنتائج الإيجابية الخاطئة في أجهزة الكشف التي تعمل بالذكاء الاصطناعي

يعد الحد من معدل الإيجابيات الخاطئة أحد أهم جوانب عملنا في Pangram. وهذا يعني تقليل احتمالية تصنيف النصوص البشرية على أنها من إنتاج الذكاء الاصطناعي إلى أقصى حد ممكن. اليوم، سنشرح معدلات الإيجابيات الخاطئة في Pangram عبر العديد من أنواع الكتابة المختلفة، وكيف نقيس ونقيّم نماذجنا لضمان أن يكون معدل الإيجابيات الخاطئة منخفضًا قدر الإمكان، وأخيرًا، بعض التقنيات التي نستخدمها لبناء برامج الكشف بالذكاء الاصطناعي ذات أدنى معدل إيجابيات خاطئة في الصناعة.

النقاط الرئيسية

• تحدث «النتيجة الإيجابية الخاطئة» عندما يُشير جهاز الكشف خطأً إلى أن عملاً بشريًّا قد تم إنشاؤه بواسطة الذكاء الاصطناعي. ويُعد هذا النوع من الأخطاء أكثر خطورة في سياق الكشف عن الذكاء الاصطناعي، لأن الادعاء بأن عملاً ما ليس من إبداع صاحبه قد يضر بسمعته أو مكانته الأكاديمية
• تأخذ Pangram كل من النتائج الإيجابية الكاذبة والنتائج السلبية الكاذبة على محمل الجد، وتتمتع بمعدل نتائج إيجابية كاذبة رائد في القطاع يبلغ 1 من كل 10,000
• من حيث المجالات، يتميز «بانغرام» بمعدل إيجابي كاذب منخفض للغاية في جميع حالات الاستخدام الأكثر شيوعًا، مثل الكتابة الإبداعية (0.01٪)، والكتابة الأكاديمية (0.02٪)، والكتابة الطبية الحيوية (0.01٪)، ونصوص الأفلام (0٪)
• يقدم «بانغرام» أداءً أقل من الأمثل في بعض حالات الاستخدام المتخصصة، مثل الشعر أو الوصفات

ما المقصود بـ«النتيجة الإيجابية الكاذبة»؟

في سياق الكشف عن الذكاء الاصطناعي، يُقصد بـ«النتيجة الإيجابية الخاطئة» أن يقوم جهاز الكشف خطأً بتصنيف عينة أنشأها الإنسان على أنها من إنتاج الذكاء الاصطناعي. وفي المقابل، يُقصد بـ«النت يجة السلبية الخاطئة» أن يتم خطأً تصنيف عينة أنشأها الذكاء الاصطناعي على أنها من إنتاج الإنسان.

النتائج الإيجابية الكاذبة والنتائج السلبية الكاذبة في الكشف باستخدام الذكاء الاصطناعي

يوضح الرسم البياني أعلاه هذين النوعين من الأخطاء. فإذا كان اللون الأحمر يمثل الفئة السلبية واللون الأخضر يمثل الفئة الإيجابية، فإن علامة "X" الحمراء التي تم توقعها على أنها خضراء تُعد نتيجة إيجابية خاطئة، وعلامة "O" الخضراء التي تم توقعها على أنها حمراء تُعد نتيجة سلبية خاطئة.

في علم الإحصاء، يُستخدم مصطلحا «الخطأ من النوع الأول » و«الخطأ من النوع الثاني »: وهذان المصطلحان يعنيان الشيء نفسه تمامًا. فالخطأ من النوع الأول هو «النتيجة الإيجابية الخاطئة»، أما الخطأ من النوع الثاني فهو «النتيجة السلبية الخاطئة». يستخدم الإحصائيون، ولا سيما أولئك الذين يعملون في العلوم الطبية، مصطلحي "الحساسية " و "النوعية" للتمييز بين هذين النوعين من الأخطاء. أما علماء التعلم الآلي فيستخدمون مصطلحي "الدقة" و "الاسترجاع". ورغم وجود بعض الاختلافات الفنية الطفيفة بين هذه المصطلحات، فإننا سنلتزم في هذا المنشور، لأغراض تعليمية، بمصطلحي "النتائج الإيجابية الخاطئة" و"النتائج السلبية الخاطئة" فقط، حيث أعتقد أن هذين المصطلحين هما الأكثر وضوحًا لشرح هذين النوعين من الأخطاء.

في مجال الكشف عن استخدام الذكاء الاصطناعي، تُعدّ النتائج الإيجابية الخاطئة أسوأ بكثير من النتائج السلبية الخاطئة. فالاتهام المتكرر للطلاب الذين يكتبون واجباتهم بأنفسهم دون أي مساعدة من الذكاء الاصطناعي بالسرقة الأدبية باستخدام الذكاء الاصطناعي يقوض بشكل كبير الثقة بين الطالب والمعلم، وقد يتسبب في قدر كبير من القلق والتوتر للطالب. من ناحية أخرى، قد تعني النتيجة السلبية الخاطئة أن الغشاش قد يفلت من العقاب بين الحين والآخر، وهي نتيجة ليست سيئة بنفس الدرجة بالنسبة لأداة الكشف عن استخدام الذكاء الاصطناعي.

تجدر الإشارة إلى أنه في مشكلات الكشف الأخرى، قد يتسبب «النتيجة السلبية الخاطئة» في ضرر أكبر بكثير من «النتيجة الإيجابية الخاطئة»: فعلى سبيل المثال، من الأفضل بكثير في اختبار فحص السرطان أن يشير الاختبار خطأً إلى إصابة المريض بالسرطان، بدلاً من أن يغفل الاختبار تمامًا عن وجود السرطان الفعلي لدى المريض. فإذا أشار الاختبار خطأً إلى إصابة المريض بالسرطان، فقد يكون ذلك مزعجًا للمريض الذي سيضطر إلى العودة مرة أخرى للمتابعة وإجراء فحوصات إضافية، لكن ذلك أفضل بكثير من إغفال تشخيص السرطان، الذي يشكل تهديدًا لحياة المريض.

وبالعودة إلى موضوع الكشف عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي، فإن النتائج الإيجابية الخاطئة تسبب ضررًا أكبر من النتائج السلبية الخاطئة، لكن كلاهما مهم: فالتغاضي المستمر عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي والتنبؤ الخاطئ بأنها من صنع الإنسان يقوض قيمة الأداة أيضًا. لذا، فإن نهجنا العام في Pangram هو تقليل كل من النتائج السلبية الخاطئة والإيجابية الخاطئة إلى أقصى حد ممكن، مع إعطاء الأولوية القصوى للنتائج الإيجابية الخاطئة.

ما هو معدل النتائج الإيجابية الخاطئة في Pangram؟

الجواب هو: هذا يعتمد على الحالة!

بشكل عام، تبلغ نسبة النتائج الإيجابية الخاطئة لدينا حوالي 1 من كل 10,000: وقد تكون أحيانًا أعلى قليلاً أو أقل قليلاً، اعتمادًا على نوع النص وعوامل أخرى.

نقوم بقياس معدل النتائج الإيجابية الخاطئة في Pangram على مجموعة متنوعة من النصوص: ونُطلق على هذه المجموعات اسم "المجالات". ورغم أن هذه القائمة ليست شاملة، فيما يلي أحدث معدلات النتائج الإيجابية الخاطئة التي نقيسها داخليًا في كل مجال:

ما هي العوامل التي تحدد مدى عرضة "بانغرام" لحدوث نتائج إيجابية خاطئة؟

بشكل عام، يعمل برنامج Pangram بأفضل أداء عند استيفاء الشروط التالية:

• النص طويل بما يكفي (أكثر من مائتي كلمة)
• النص مكتوب بجمل كاملة
• هذا المجال ممثل تمثيلاً جيداً في مجموعات التدريب الشائعة على الإنترنت
• يحتوي النص على المزيد من الإبداع، وهو أقل تقييدًا بالصيغ النمطية

نعتقد أن هذه العوامل هي السبب وراء تفوق Pangram في أداءه مع المقالات والكتابة الإبداعية والمراجعات. في حين أن المقالات الإخبارية والأوراق العلمية ومقالات ويكيبيديا تتسم بطابع أكثر نمطية وتقنية، إلا أن البيانات المتاحة في هذه المجالات وفيرة، ولذلك أصبح Pangram بارعًا جدًّا في التعرف حتى على الأنماط الدقيقة في النص. أخيرًا، تعد المجالات مثل الوصفات والشعر هي الأضعف، لأن النصوص فيها عادةً ما تكون قصيرة، ولا تُكتب بجمل كاملة (مما يقلل من فرصة نموذج اللغة الكبيرة (LLM) لإدخال أسلوبه الخاص في النص)، كما أنها عمومًا أقل شيوعًا على الإنترنت مقارنة بالمجالات الأخرى.

من الناحية العملية، ماذا يعني هذا؟ على الرغم من أن "بانجرام" لا يزال موثوقًا نسبيًا في جميع المجالات، إلا أنه يمكنك أن تثق أكثر في دقة "بانجرام" عندما يكون النص طويلًا ومكتوبًا بجمل كاملة ويتطلب مزيدًا من الإسهام الأصيل من الكاتب. لهذا السبب، نوصي بعدم فحص أشياء مثل القوائم النقطية القصيرة والمخططات، والرياضيات، والردود القصيرة جدًا (مثل الجمل المفردة)، والنصوص النمطية للغاية مثل القوائم الطويلة من البيانات، وجداول البيانات، والكتابة القائمة على القوالب، وأدلة التعليمات.

كيف يقارن معدل الإيجابية الكاذبة في Pangram بمنافسيها؟

لا يمكننا إجراء نفس الاختبار المعياري الشامل على منافسينا، وذلك ببساطة لأن تكلفة القيام بذلك ستكون باهظة للغاية. ومع ذلك، يمكننا الاطلاع على ما يذكره منافسونا بشأن معدل الإيجابيات الخاطئة لديهم.

Turnitin

معدل النتائج الإيجابية الخاطئة الذي أوردته Turnitin على موقعها الإلكتروني

تشير أحدث ورقة بحثية صادرة عن Turnitin إلى أن معدل الإيجابيات الخاطئة في النصوص الأكاديمية يبلغ 0.51٪، أو ما يعادل حوالي 1 من كل 200، على مستوى الوثيقة. وهذا يعني أن 1 من كل 200 عمل مقدم من الطلاب سيتم تصنيفه خطأً على أنه من إنتاج الذكاء الاصطناعي.

يبلغ معدل الإيجابيات الخاطئة لدينا، الذي تم قياسه على مجموعة بيانات مماثلة من المقالات الأكاديمية، 0.004٪، أي 1 من كل 25,000.

هذا فرق كبير. ففي جامعة بحثية كبيرة، قد يتم تقديم 100,000 ورقة بحثية سنويًا. وهذا هو الفرق بين 500 حالة إنذار كاذبة في برنامج «تورنتيتين» مقابل 4 حالات فقط في برنامج «بانغرام».

GPTZero

معدل النتائج الإيجابية الخاطئة الذي أوردته GPTZero على موقعها الإلكتروني

تدعي GPTZero أن معدل النتائج الإيجابية الخاطئة لديها يبلغ 1٪، وهو أسوأ بمقدار الضعف مقارنة بـ Turnitin وأسوأ بمقدار 250 ضعفًا مقارنة بـ Pangram.

لقد أجرينا مقارنة داخلية بين GPTZero وPangram على مجموعة أصغر من المستندات مأخوذة من مجموعتنا العامة VIP، من أجل إجراء مقارنة عادلة. ووجدنا أن نسبة النتائج الإيجابية الخاطئة كانت أسوأ مما تم الإبلاغ عنه، حيث بلغت 2.01%.

Copyleaks

معدل الإيجابيات الخاطئة الذي أوردته شركة «كوبيليكس» على موقعها الإلكتروني

تدعي شركة «كوبيليكس» أن معدل النتائج الإيجابية الخاطئة يبلغ 0.2٪، أو 1 من كل 500 حالة، وهو ما يعني أنه أسوأ بـ 50 ضعفًا من «بانجرام» إذا صحت هذه المعلومة.

علاوة على ذلك، فإن الرقم المجرد بمفرده هكذا لا يعطي الصورة الكاملة. فنحن لا نعرف مصدر البيانات، ولا ندرك التحيزات المحتملة التي قد تكون شابت عملية التقييم. ولهذا السبب نجري مقارنات مرجعية شاملة، وننشر هذا المقال الذي يشرح بالتفصيل الإجراءات التي اتبعناها في تقييم نموذجنا.

اختبار أداء RAID

بالنظر إلى دراسة RAID التي نشرها ليام دوغان ومؤلفون مشاركون العام الماضي، وهي الدراسة رقم 2 في المقال الذي نشرناه حول ملخص الأبحاث، نود أن نلفت الانتباه إلى الرسم البياني التالي.

دراسة RAID لمعدلات النتائج الإيجابية الخاطئة عبر أجهزة الكشف

تحدد معظم أجهزة الكشف "عتبة"، وهي نسبة الثقة التي عند تجاوزها، يحدد النموذج أن النص من إنتاج الذكاء الاصطناعي، وعند البقاء دونها، يحدد النموذج أن النص من تأليف بشري. ومن خلال تعديل هذه العتبة، يمكن تحقيق توازن بين النتائج الإيجابية الخاطئة والنتائج السلبية الخاطئة.

في هذا الرسم البياني، يمثل المحور السيني معدل الإيجابيات الخاطئة الناتج عن تغيير عتبة التصنيف، بينما يمثل المحور الصادي معدل الاسترجاع: وهو النسبة المئوية للوثائق التي يمكن تصنيفها على أنها متعلقة بالذكاء الاصطناعي عند تقييمها وفقًا لتلك العتبة.

باختصار، فإن أجهزة الكشف التي يستخدمها منافسونا تتعطل عن العمل عندما يُفرض عليها أن يكون معدل الإيجابيات الخاطئة أقل من 1 في المائة؛ أي أنها لن تتمكن من اكتشاف أي ذكاء اصطناعي عندما يكون الحد الأدنى منخفضًا بما يكفي لتحقيق معدل إيجابيات خاطئة بنسبة 1 في المائة.

كيف يمكننا تقييم معدل النتائج الإيجابية الخاطئة في Pangram؟

يخضع برنامج Pangram لعملية صارمة للغاية من حيث الموافقة والاختبار قبل السماح بنشر أي نموذج جديد على لوحة التحكم وواجهة برمجة التطبيقات (API) الخاصة بنا.

في إطار عملية ضمان الجودة لدينا، نجري ثلاثة أنواع من الاختبارات للكشف عن النتائج الإيجابية الخاطئة، تحقق كل منها توازناً بين التقييم الكمي والنوعي. وتشمل تقييماتنا ما يلي:

1. مجموعات اختبار واسعة النطاق. تتراوح أعداد الأمثلة في كل مجموعة بين 10,000 و10,000,000 تقريبًا. وهي عبارة عن قواعد بيانات واسعة النطاق ومتاحة للجميع على الإنترنت تعود إلى ما قبل ظهور ChatGPT (2022)، وقد اخترنا منها مجموعة اختبار لم يتم تدريب النموذج عليها، وخصصناها حصريًّا لأغراض التقييم فقط.

2. مجموعات بيانات VIP متوسطة الحجم. تضم كل مجموعة حوالي 1,000 نموذج. وهي عبارة عن مجموعات بيانات جمعها المهندسون أو القائمون على التصنيف يدويًّا من مصادر موثوقة، وتم فحصها بصريًّا، والتحقق منها شخصيًّا للتأكد من أنها مكتوبة بواسطة البشر. ورغم أن الخبراء المدربين يجيدون اكتشاف المحتوى الذي أنشأته الذكاء الاصطناعي بالاعتماد على الملاحظة البصرية، إلا أنهم يرتكبون أخطاءً في بعض الأحيان؛ ولذلك فإننا نقوم بانتظام بمراجعة البيانات وتنقيحها لضمان دقتها.

3. مجموعات التحدي. تتضمن كل مجموعة ما يقارب 10 إلى 100 مثال. وتشمل هذه المجموعات حالات "النتائج الإيجابية الخاطئة" التي تم الإبلاغ عنها سابقًا، والحالات الصعبة التي أرسلها إلينا أصدقاؤنا، وبشكل عام، مجرد أمثلة مثيرة للاهتمام نرغب في معرفة مدى أدائنا في التعامل معها. نقوم أيضًا بجمع أمثلة للنصوص غير العادية، مثل الوصفات والشعر ونصوص الأفلام وغيرها من الأشكال المكتوبة التي لا يتم تمثيلها جيدًا في مجموعات تدريب نماذج اللغة الكبيرة، ونعتبرها مجموعات تحدي أيضًا، بالإضافة إلى كونها معيارًا عامًا لمدى جودة أداء نموذجنا عند وضعه "خارج التوزيع".

بالإضافة إلى هذه الأنواع الثلاثة من ضمان الجودة، لدينا أيضًا اختبارات الوحدة. وتهدف اختبارات الوحدة هذه، بعبارة عامية، إلى اختبار نموذجنا للتأكد من عدم حدوث ما نسميه «أخطاء محرجة». تتطلب مجموعة اختبارات الوحدة الحالية التي نستخدمها أن يتوقع النموذج أن يكون النص من تأليف بشري في وثائق مثل «إعلان الاستقلال»، والأبيات الشهيرة من الأدب، ونصوص موقعنا الإلكتروني ومنشورات مدونتنا. وإذا فشل أي اختبار من اختبارات الوحدة هذه، فإننا نوقف نشر النموذج الجديد ونعود إلى مرحلة التصميم. تتمثل إحدى فلسفاتنا التوجيهية للتقييم في توخي الحذر الشديد بشأن تتبع ومراقبة هذه "الإخفاقات المحرجة" حتى لا تتكرر أبدًا عند إصدار نموذج جديد.

رسم تخطيطي يوضح الأنواع الثلاثة لمجموعات التقييم المستخدمة في Pangram: مجموعات الاختبار الاحتياطية واسعة النطاق (أكثر من 10 ملايين مثال)، ومجموعات VIP متوسطة النطاق (أكثر من 1000 مثال)، ومجموعات التحدي (10-100 مثال)

قد يتساءل أولئك الذين يميلون إلى الرياضيات والعلوم: لماذا نحتاج إلى التقييم النوعي؟ أليس زيادة عدد العينات هو الخيار الأفضل دائمًا؟

وردي على ذلك هو: زيادة عدد العينات ليس دائمًا أفضل. وكما قال نبي حكيم ذات مرة، هناك أكاذيب، وأكاذيب لعينة، وإحصائيات. لكن بجدية تامة، نعتقد أنه عند إنشاء مجموعة بيانات ضخمة على نطاق واسع، فإنك ستقوم دائمًا بإدخال نوع من التحيز. وعندما يكون لديك مجموعة بيانات كبيرة جدًا بحيث لا يمكنك فحص كل مثال، فإنك لا تعرف ما إذا كان نموذجك قد تأقلم بشكل مفرط مع تحيز في مجموعة البيانات مما سيجعله يعمل بشكل جيد في الاختبار، ولكن بشكل سيئ في العالم الحقيقي. (على سبيل الملاحظة، نعتقد أن هذا هو السبب في وجود العديد من أجهزة الكشف عن الذكاء الاصطناعي عبر الإنترنت التي تبلغ عن "دقة بنسبة 99٪" ولكنها لا تقترب حتى من ذلك عندما تختبرها بالفعل).

هناك مثال مضحك يوضح أهمية هذه الأنواع المتعددة من مجموعات الاختبارات، وقد حدث في الأيام الأولى لـ Pangram، عندما أدخلنا ويكيبيديا لأول مرة إلى مجموعة التدريب. كانت إحدى محاولاتنا الأولى الفاشلة قد حققت نتائج رائعة على مجموعة الاختبار، لكنها كانت سيئة للغاية على مجموعة VIP، التي كانت تتألف من مقالات ويكيبيديا التي تم جمعها يدويًّا. ما توصلنا إليه في النهاية هو أنه في مجموعة بيانات Huggingface التي كنا نستخدمها، من الناحية البشرية، كان نطق الأسماء المعبَّر عنه بالأبجدية الصوتية الدولية يُعاد تنسيقه بطريقة غريبة جدًّا، مما أدى إلى إفراط النموذج في التكيُّف: كان النموذج ينظر فقط إلى تنسيق الاسم، ثم يستنتج بناءً على التنسيق ما إذا كان المستند من صنع الذكاء الاصطناعي أم من صنع الإنسان. كان ذلك رائعًا في مجموعة الاختبار، ولكنه كان سيئًا للغاية في العالم الحقيقي عندما لم يكن لدى النموذج تلك الدلالة المحددة! هذه هي أهمية وجود مجموعة اختبار تعكس بدقة نوع النص الذي سيراه Pangram في العالم الحقيقي.

قبل أن نقوم في Pangram بشحن أي نموذج إلى العملاء، نخضع لإجراءات اعتماد صارمة تشمل تقييمًا كميًا ونوعيًا، حيث نخضع النموذج لاختبارات تحمل ونفحص أداءه مقارنةً بالنموذج الحالي.

1. التقييم الكمي: يعني أنه لا ينبغي إجراء تحليل انحداري لمقاييس معدل الإيجابية الكاذبة في جميع العينات الاحتياطية ومجموعات VIP وحالات الاختبار.

2. التقييم النوعي: في معظم الحالات، تتحسن بعض الأمثلة، بينما تتراجع أخرى. وحيثما أمكن، نراجع عينياً الأمثلة المحددة التي شهدت تراجعاً، ونتأكد من أن حالات الفشل قابلة للتفسير. وغالباً ما يكون هذا الأمر دقيقاً ومرتبطاً بالفرضيات المحددة التي نختبرها، لكن بشكل عام، نريد التأكد من أن حالات الفشل لا تظهر نمطاً معيناً يمكن تعميمه على حالات الفشل في العالم الواقعي بعد النشر.

3. اختبار الاستجابة / فريق الاختبار: أخيرًا، بمجرد الانتهاء من التقييم الكمي والنوعي، نقوم ببساطة بـ"اختبار استجابة" النموذج عن طريق إرساله إلى الفريق وطلب منهم تجربته لبعض الوقت. وبالنسبة لبعض التحديثات، قد نطلب أيضًا من مختبرين داخليين أو عملاء في مرحلة الإصدار التجريبي اختبار النموذج قبل طرحه للجمهور على نطاق واسع (وعادةً ما نشجعهم على محاولة العثور على حالات تتسبب في تعطل النموذج!)

4. اختبار A/B بأثر رجعي: نجري استدلالات غير متصلة بالإنترنت على تنبؤاتنا القديمة، وننظر في الاختلافات بين النموذج القديم والنموذج الجديد. لا تتوفر لدينا دائمًا القيم الحقيقية للبيانات التي استنتجناها سابقًا، ولكننا نبحث، مرة أخرى، عن أنماط متسقة قد تكشف عن حالات فشل في الواقع العملي.

باختصار، على الرغم من أننا نتبع نهجًا دقيقًا وعلميًا للغاية في قياس أداء نموذجنا باستخدام المقاييس والإحصاءات، فإننا لا نعتمد فقط على الأرقام لتكوين صورة كاملة عن الوضع. بل نثق أيضًا في عيوننا وحدسنا وقدرتنا على التعرف على الأنماط لفحص النموذج بدقة واكتشاف أنماط الأخطاء التي ربما أغفلتها مقاييسنا. كما نعتمد على فريقنا من المختبرين وأعضاء "الفريق الأحمر" وعملاء الإصدار التجريبي لاكتشاف الثغرات التي ربما أغفلها الفريق.

ما هي التقنيات التي نستخدمها لتحقيق معدل إيجابي كاذب منخفض إلى هذا الحد؟

يعد الحفاظ على معدل منخفض للنتائج الإيجابية الخاطئة أمراً أساسياً في مهمتنا البحثية. وفيما يلي بعض التقنيات التي استخدمناها حتى الآن من أجل تحقيق أفضل معدل خطأ في فئته.

تغطية شاملة لبيانات التدريب

ورغم أن أجهزة الكشف عن الذكاء الاصطناعي المنافسة قد تكون "مصممة للأوساط الأكاديمية أو المدارس أو الفصول الدراسية أو المعلمين"، فإن ما قد يعنيه ذلك في الواقع هو أن مجموعة البيانات المستخدمة في تدريبها لا تتضمن سوى نصوصًا أكاديمية.

من ناحية أخرى، قمنا بتطوير Pangram للاستفادة من «الدرس المرير»: وهو أن خوارزميات التعلم العامة، التي يتم تدريبها على كميات ضخمة من البيانات المستمدة من مصادر متنوعة، تكون أكثر فعالية من النماذج المحددة التي يتم تدريبها على بيانات خاصة بمجال معين.

وهذا يعني أننا ندرب كاشف الذكاء الاصطناعي الخاص بنا على مجموعة واسعة من النصوص: الإبداعية، والتقنية، والعلمية، والموسوعية، والمراجعات، ومواقع الويب، ومنشورات المدونات... والقائمة تطول. والسبب في ذلك يشبه التعليم الشامل في مجال العلوم الإنسانية، حيث إن التعرض للعديد من التخصصات وأساليب الكتابة يساعد النموذج على الفهم والتعميم بشكل أفضل عندما يواجه حالات جديدة. تبعًا للاتجاه الأوسع نطاقًا في تدريب الذكاء الاصطناعي، لا يتم تدريب ChatGPT ونماذج اللغة الكبيرة الأخرى على بيانات محددة لحالات استخدام معينة، بل يتم تدريبها على بيانات نصية عامة واسعة النطاق حتى تتمكن من اكتساب ذكاء عام: نحن نؤمن بنفس الاستراتيجية لتدريب أجهزة الكشف عن الذكاء الاصطناعي التي تكون قوية في التعامل مع جميع أنواع النصوص العامة المختلفة التي قد تنتجها نماذج اللغة الكبيرة.

التعدين السلبي الصارم / التعلم النشط

لقد كتبنا كثيرًا عن خوارزمية التعلم النشط الخاصة بنا، والتي تستفيد من تقنية تُعرف باسم «استخراج النتائج السلبية الصعبة»، ونعتقد أن هذا هو السبب الرئيسي وراء تمكننا من خفض معدل النتائج الإيجابية الخاطئة إلى ما يقارب الصفر.

في جوهر الأمر، يعود نجاح هذه الطريقة إلى أن معظم الأمثلة الموجودة في الواقع هي «أمثلة سهلة» — فما أن يتعلم النموذج الأنماط الأساسية التي تميز بين ما هو من صنع الإنسان وما هو من صنع الذكاء الاصطناعي، يصبح من السهل جدًا التمييز بينهما في الغالبية العظمى من مجموعة البيانات. ومع ذلك، فإن هذا لا يصل بك إلا إلى دقة تبلغ حوالي 99٪. من أجل الحصول على آخر 0.1% من الدقة، يجب أن نجد أصعب الحالات لتدريب النموذج: يمكننا التفكير في هذه الحالات على أنها تلك التي يقرر فيها الإنسان الكتابة بطريقة مشابهة جدًا لنموذج لغة الذكاء الاصطناعي، ولكنه في الواقع يكتب بهذه الطريقة عن طريق الصدفة. للعثور على هذه الحالات السلبية الصعبة، نقوم بإجراء بحث واسع النطاق على مجموعات بيانات على نطاق الإنترنت مثل تلك المستخدمة لتدريب نماذج اللغة الكبيرة (LLMs)، ثم نقوم بعملية عكس اصطناعي لتوليد أمثلة للذكاء الاصطناعي ذات صوت مشابه. يمكن العثور على مزيد من التفاصيل على صفحة "كيف يعمل".

تخفيف الخسارة والإفراط في أخذ العينات

نصوغ هدف التحسين لدينا بحيث يعطي النموذج الأولوية للنتائج الإيجابية الخاطئة على النتائج السلبية الخاطئة خلال عملية التدريب نفسها. فعندما يخطئ النموذج في تصنيف مستند بشري، يتم «معاقبته» بعامل أشد بكثير مما لو أخطأ في تصنيف مستند من إنتاج الذكاء الاصطناعي. وهذا يجبر النموذج على توخي الحذر، وألا يتنبأ بأن مستندًا ما من إنتاج الذكاء الاصطناعي إلا إذا كان متأكدًا تمامًا.

المعايرة

يتعلق هذا الأمر باختيار عتبة التصنيف كما هو موضح في نظام RAID. ونقوم باختيار عتبتنا بناءً على تقييم ملايين الوثائق في مجموعات التقييم الخاصة بنا، بهدف تحقيق التوازن المناسب بين معدلات الإيجابيات الكاذبة والسلبيات الكاذبة. ومن خلال اختيارنا للعتبة، نسعى إلى تحقيق التوازن بين الحفاظ على معدل السلبيات الكاذبة في حدود معقولة دون المساس بمعدلات الإيجابيات الكاذبة.

النقاط الرئيسية

• يتميز برنامج Pangram بمعدل إيجابي كاذب أقل بكثير مقارنة بالمنافسين.
• يعود معدل الإيجابيات الخاطئة المنخفض للغاية في Pangram إلى مزيج من الحجم والتدريب وعمليات البحث.
• ونظراً للأهمية البالغة لمعدل النتائج الإيجابية الخاطئة في عمليات الكشف التي تعتمد على الذكاء الاصطناعي، فقد قمنا بإنشاء مجموعة شاملة للغاية من الاختبارات وإجراءات ضمان الجودة، كما طورنا عملية مراجعة نهائية دقيقة تجمع بين التقييم الإحصائي الدقيق والتقييم البشري النوعي الأكثر تعقيداً، بالإضافة إلى التقييمات القائمة على الحدس.

نحن نحب العمل مع الباحثين من أجل تحسين الدقة الإجمالية لبرامجنا، ونحرص بشدة على إجراء اختبارات الأداء المفتوحة والشفافية في مجال الكشف عن الذكاء الاصطناعي. إذا كانت لديك استفسارات حول العمل معنا أو التعاون معنا، أو أي أسئلة أخرى بشأن دقة Pangram، يرجى التواصل معنا عبر البريد الإلكتروني info@pangram.com.