الإعلان عن شراكة جديدة مع Proofig! تعرف على المزيد
أحد أهم جوانب عملنا في Pangram هو تقليل معدل الإيجابيات الخاطئة إلى أدنى حد ممكن. وهذا يعني تقليل احتمالية تمييز النصوص المكتوبة بواسطة البشر على أنها نصوص مكتوبة بواسطة الذكاء الاصطناعي إلى أقصى حد ممكن. اليوم، سنشرح معدلات الإيجابية الكاذبة في Pangram عبر العديد من أنواع الكتابة المختلفة، وكيف نقيس ونقيم نماذجنا لضمان أن يكون معدل الإيجابية الكاذبة منخفضًا قدر الإمكان، وأخيرًا، بعض التقنيات التي نستخدمها لبناء برنامج كشف الذكاء الاصطناعي بأقل معدل إيجابية كاذبة في الصناعة.
في سياق الكشف عن الذكاء الاصطناعي، يحدث الإيجابي الكاذب عندما يتنبأ جهاز الكشف خطأً بأن عينة أنشأها الإنسان هي عينة أنشأها الذكاء الاصطناعي. في المقابل، يحدث السلبي الكاذب عندما يتم التنبؤ خطأً بأن عينة أنشأها الذكاء الاصطناعي هي عينة أنشأها الإنسان.
النتائج الإيجابية الكاذبة والنتائج السلبية الكاذبة في الكشف عن الذكاء الاصطناعي
يوضح الرسم البياني أعلاه نوعي الخطأ. إذا كان اللون الأحمر يمثل الفئة السلبية واللون الأخضر يمثل الفئة الإيجابية، فإن علامة X الحمراء المتوقعة على أنها خضراء ستكون إيجابية خاطئة، وعلامة O الخضراء المتوقعة على أنها حمراء ستكون سلبية خاطئة.
في الإحصاء، يتم استخدام مصطلحي الخطأ من النوع الأول والخطأ من النوع الثاني: هذان المصطلحان يعنيان نفس الشيء تمامًا. الخطأ من النوع الأول هو إيجابية كاذبة، والخطأ من النوع الثاني هو سلبية كاذبة. يستخدم الإحصائيون، وخاصة أولئك الذين يعملون في العلوم الطبية، مصطلحي الحساسية والنوعية للتمييز بين هذين النوعين من الأخطاء. يستخدم علماء التعلم الآلي مصطلحي الدقة والاسترجاع. على الرغم من وجود بعض الاختلافات الفنية الطفيفة بين هذه المصطلحات، لأغراض تعليمية، سنلتزم في هذا المنشور بمصطلحي "الإيجابيات الخاطئة" و"السلبيات الخاطئة" لأنني أعتقد أن هذين المصطلحين هما الأكثر وضوحًا لهذين النوعين من الأخطاء.
في الكشف عن الذكاء الاصطناعي، يعتبر الإيجاب الخاطئ أسوأ بكثير من السلبي الخاطئ. إن تكرار اتهام الطلاب الذين يكتبون واجباتهم بأنفسهم دون مساعدة الذكاء الاصطناعي بالسرقة الأدبية باستخدام الذكاء الاصطناعي يقوض بشكل كبير الثقة بين الطالب والمعلم، ويمكن أن يسبب الكثير من القلق والتوتر للطالب. من ناحية أخرى، قد يعني السلبي الخاطئ أن الغشاش قد ينجو من العقاب من حين لآخر، وهو نتيجة ليست سيئة للغاية.
تجدر الإشارة إلى أنه في مشاكل الكشف الأخرى، يمكن أن تسبب النتائج السلبية الخاطئة ضررًا أكبر بكثير من النتائج الإيجابية الخاطئة: على سبيل المثال، من الأفضل بكثير في اختبار فحص السرطان أن يخطئ الاختبار في القول بأن المريض مصاب بالسرطان، بدلاً من أن يفوت الاختبار اكتشاف السرطان الفعلي لدى المريض تمامًا. إذا أشار الاختبار خطأً إلى إصابة المريض بالسرطان، فقد يكون من غير المريح للمريض أن يضطر إلى العودة مرة أخرى لإجراء متابعات وفحوصات وإجراءات إضافية، ولكن ذلك أفضل بكثير من عدم تشخيص الإصابة بالسرطان، الأمر الذي يشكل تهديدًا لحياة المريض.
بالعودة إلى الكشف عن الذكاء الاصطناعي، فإن النتائج الإيجابية الخاطئة تسبب ضررًا أكبر من النتائج السلبية الخاطئة، ولكن كلاهما مهم: فالتغاضي المستمر عن النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي والتوقع الخاطئ بأنها من صنع الإنسان يقوضان قيمة الأداة أيضًا. لذلك، في Pangram، نهجنا العام هو تقليل النتائج السلبية الخاطئة والإيجابية الخاطئة قدر الإمكان، مع إعطاء الأولوية للنواتج الإيجابية الخاطئة.
الجواب هو: هذا يعتمد!
بشكل عام، نقدر معدل الإيجابية الكاذبة لدينا بحوالي 1 من كل 10,000: أحيانًا يكون أعلى قليلاً، وأحيانًا أقل قليلاً، اعتمادًا على نوع الكتابة ومتغيرات أخرى.
نقيس معدل الإيجابية الكاذبة لـ Pangram على مجموعة متنوعة من النصوص: نسميها المجالات. على الرغم من أن القائمة التالية ليست شاملة، إلا أنها تتضمن أحدث معدلات الإيجابية الكاذبة التي نقيسها داخليًا في كل مجال:
| المجال | معدل الإيجابية الكاذبة |
|---|---|
| مقالات أكاديمية | 0.004% |
| مراجعات المنتجات (الإنجليزية) | 0.004% |
| مراجعات المنتجات (الإسبانية) | 0.008% |
| مراجعات المنتجات (اليابانية) | 0.015% |
| ملخصات علمية | 0.001% |
| وثائق الكود | 0.0% |
| محاضر جلسات الكونغرس | 0.0% |
| وصفات | 0.23% |
| الأوراق الطبية | 0.000% |
| تقييمات الأعمال التجارية الأمريكية | 0.0004% |
| نصوص أفلام هوليوود | 0.0% |
| ويكيبيديا (الإنجليزية) | 0.016% |
| ويكيبيديا (الإسبانية) | 0.07% |
| ويكيبيديا (اليابانية) | 0.02% |
| ويكيبيديا (باللغة العربية) | 0.08% |
| مقالات إخبارية | 0.001% |
| كتب | 0.003% |
| قصائد | 0.05% |
| الخطب السياسية | 0.0% |
| أسئلة وأجوبة حول وسائل التواصل الاجتماعي | 0.01% |
| الكتابة الإبداعية، القصص القصيرة | 0.009% |
| مقالات إرشادية | 0.07% |
بشكل عام، يعمل Pangram بشكل أفضل عندما تتوفر الشروط التالية:
نعتقد أن هذه العوامل هي السبب في أن Pangram يحقق أفضل أداء في المقالات والكتابة الإبداعية والمراجعات. في حين أن المقالات الإخبارية والأوراق العلمية ومقالات ويكيبيديا أكثر نمطية وتقنية، فإن البيانات متوفرة بكثرة في هذه المجالات، لذا أصبح Pangram جيدًا جدًا في التعرف على الأنماط الدقيقة في الكتابة. أخيرًا، تعتبر مجالات مثل الوصفات والشعر هي الأضعف، لأن النصوص فيها عادة ما تكون قصيرة، ولا تكتب بجمل كاملة (مما يقلل من فرصة LLM في إدخال أسلوبه الخاص في النص)، كما أنها أقل شيوعًا على الإنترنت مقارنة بالمجالات الأخرى.
ماذا يعني هذا من الناحية العملية؟ على الرغم من أن Pangram لا يزال موثوقًا نسبيًا في جميع المجالات، يمكنك أن تثق أكثر في دقة Pangram عندما يكون النص طويلًا، ويتكون من جمل كاملة، ويتطلب مزيدًا من الإدخال الأصلي من الكاتب. لهذا السبب، نوصي بعدم فحص أشياء مثل قوائم النقاط القصيرة والمخططات التفصيلية، والرياضيات، والردود القصيرة جدًا (مثل الجمل المفردة)، والنصوص النمطية للغاية مثل قوائم البيانات الطويلة، وجداول البيانات، والكتابة القائمة على القوالب، وكتيبات التعليمات.
لا يمكننا إجراء نفس المقارنة الشاملة على منافسينا، وذلك ببساطة لأن تكلفة القيام بذلك ستكون باهظة للغاية. ومع ذلك، يمكننا النظر إلى ما يقوله منافسونا عن معدل الإيجابيات الخاطئة لديهم.
معدل الإيجابية الكاذبة المبلغ عنه من Turnitin على موقعهم الإلكتروني
تشير أحدث ورقة بحثية صادرة عن Turnitin إلى معدل إيجابي خاطئ بنسبة 0.51٪ في الكتابة الأكاديمية، أو ما يقرب من 1 من كل 200، على مستوى المستند. وهذا يعني أن 1 من كل 200 من الأعمال التي يقدمها الطلاب سيتم وضع علامة عليها بشكل خاطئ على أنها من إنتاج الذكاء الاصطناعي.
معدل الإيجابية الكاذبة لدينا، المقاس على مجموعة بيانات مماثلة من المقالات الأكاديمية، هو 0.004٪، أي 1 من كل 25000.
هذا فرق كبير. في جامعة بحثية كبيرة، قد يتم تقديم 100,000 ورقة بحثية سنويًا. هذا هو الفرق بين 500 علامة خاطئة لـ Turnitin و 4 فقط لـ Pangram.
معدل الإيجابية الكاذبة المبلغ عنه من GPTZero على موقعهم الإلكتروني
يدعي GPTZero أن معدل الإيجابية الخاطئة لديه يبلغ 1٪، وهو أسوأ بمرتين من Turnitin وأسوأ بـ 250 مرة من Pangram.
لقد قمنا داخليًا بمقارنة GPTZero و Pangram على مجموعة أصغر من المستندات من مجموعتنا العامة VIP، من أجل إجراء مقارنة عادلة. ووجدنا أن نسبة الإيجابية الكاذبة أسوأ مما تم الإبلاغ عنه، حيث بلغت 2.01٪.
معدل الإيجابيات الخاطئة المبلغ عنه من قبل Copyleaks على موقعهم الإلكتروني
تدعي Copyleaks أن معدل الإيجابية الكاذبة يبلغ 0.2٪، أو 1 من كل 500، وهو ما سيكون أسوأ بـ 50 مرة من Pangram إذا كان صحيحًا.
علاوة على ذلك، فإن رقمًا مجردًا بمفرده مثل هذا لا يعطي الصورة الكاملة. فنحن لا نعرف من أين تأتي البيانات، وما هي التحيزات المحتملة التي قد تكون موجودة في التقييم. ولهذا السبب نقوم بإجراء مقارنات شاملة، وننشر هذا المقال الذي يشرح بالتفصيل عملية تقييم نموذجنا.
بالنظر إلى دراسة RAID التي نشرها ليام دوغان ومؤلفون مشاركون العام الماضي، وهي الدراسة رقم 2 في المقالة التي نشرناها حول ملخص الأبحاث، نود أن نلفت الانتباه إلى الرسم البياني التالي.
دراسة RAID لمعدلات الإيجابية الكاذبة عبر أجهزة الكشف
تقدم معظم أجهزة الكشف "عتبة"، وهي النسبة المئوية للثقة التي عند تجاوزها، يقول النموذج أن النص هو نتاج الذكاء الاصطناعي، وعند عدم تجاوزها، يقول النموذج أن النص هو نتاج بشري. من خلال تحريك العتبة، يمكن التوفيق بين الإيجابيات الكاذبة والسلبيات الكاذبة.
في هذا الرسم البياني، يظهر على المحور السيني معدل الإيجابية الكاذبة الناتج عن تحريك العتبة، ويظهر على المحور الصادي معدل الاسترجاع: وهو نسبة الوثائق التي يمكن تصنيفها على أنها ذكاء اصطناعي عند تقييمها عند تلك العتبة.
باختصار، فإن أجهزة الكشف التي يستخدمها منافسونا تفشل في العمل عندما يُفرض عليها معدل إيجابي كاذب أقل من 1 في المائة؛ أي أنها لن تتمكن من اكتشاف أي ذكاء اصطناعي عندما يكون الحد الأدنى منخفضًا بما يكفي لإنتاج معدل إيجابي كاذب بنسبة 1 في المائة.
تخضع Pangram لعملية صارمة للغاية للموافقة والاختبار قبل السماح بنشر أي نموذج جديد على لوحة التحكم وواجهة برمجة التطبيقات (API) الخاصة بنا.
خلال عملية ضمان الجودة، نجري ثلاثة أنواع من الاختبارات للكشف عن النتائج الإيجابية الخاطئة، والتي تحقق التوازن بين التقييم الكمي والنوعي. تشمل تقييماتنا ما يلي:
مجموعات حجج واسعة النطاق. ما يقرب من 10,000 إلى 10,000,000 مثال لكل مجموعة. هذه قواعد بيانات إنترنت واسعة النطاق ومفتوحة الوصول من ما قبل ChatGPT (2022)، وقد اخترنا منها مجموعة حجج لم يتم تدريبها عليها، وخصصناها لأغراض التقييم فقط.
مجموعات VIP متوسطة الحجم. حوالي 1000 مثال لكل مجموعة. هذه مجموعات بيانات جمعها المهندسون أو المُصنِّفون يدويًا من مصادر موثوقة، وفحصوها بالعين المجردة، وتحققوا شخصيًا من أنها مكتوبة بواسطة البشر. على الرغم من أن الخبراء المدربين يجيدون اكتشاف المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي بالعين المجردة، إلا أنهم يرتكبون أخطاء في بعض الأحيان، لذا فإننا نراجع البيانات بانتظام وننظفها للتأكد من دقتها.
مجموعات التحديات. ما يقرب من 10 إلى 100 مثال لكل مجموعة. هذه هي حالات الإيجابية الكاذبة التي تم الإبلاغ عنها سابقًا، والحالات الصعبة التي أرسلها لنا أصدقاؤنا، وبشكل عام، مجرد أمثلة مثيرة للاهتمام نريد أن نعرف كيف نؤدي فيها. نجمع أيضًا أمثلة على نصوص غير عادية، مثل الوصفات والشعر ونصوص الأفلام وغيرها من الأشكال المكتوبة التي لا يتم تمثيلها جيدًا في مجموعات تدريب نماذج اللغة الكبيرة، ونعتبرها أيضًا مجموعات تحديات، بالإضافة إلى معيار عام لمدى جودة أداء نموذجنا عند وضعه "خارج التوزيع".
بالإضافة إلى هذه الأنواع الثلاثة من ضمان الجودة، لدينا أيضًا اختبارات الوحدة. هذه الاختبارات، بشكل عام، تختبر نموذجنا لما نسميه "الأعطال المحرجة". تتطلب مجموعة اختبارات الوحدة الحالية لدينا أن نتنبأ بالبشر في وثائق مثل إعلان الاستقلال، والسطور الشهيرة من الأدب، ونسخ موقعنا الإلكتروني ومنشورات المدونة. إذا فشل أي من اختبارات الوحدة هذه، فإننا نمنع نشر نموذج جديد ونعود إلى لوحة الرسم. تتمثل إحدى فلسفاتنا التوجيهية للتقييم في توخي الحذر الشديد في تتبع ومراقبة هذه "الأعطال المحرجة" حتى لا تتراجع أبدًا عند إصدار نموذج جديد.
رسم بياني يوضح الأنواع الثلاثة لمجموعات التقييم المستخدمة في Pangram: مجموعات الحجب واسعة النطاق (أكثر من 10 ملايين مثال)، ومجموعات VIP متوسطة النطاق (أكثر من 1000 مثال)، ومجموعات التحدي (10-100 مثال).
قد يتساءل الأشخاص الذين يميلون إلى الرياضيات والعلوم: لماذا تحتاج إلى التقييم النوعي؟ أليس من الأفضل دائمًا الحصول على عينات أكثر؟
ردّي على هذا هو: المزيد من العينات ليس دائمًا أفضل. كما قال نبي حكيم ذات مرة، هناك أكاذيب، وأكاذيب لعينة، وإحصاءات. ولكن بجدية تامة، نعتقد أنه عندما تنشئ مجموعة بيانات كبيرة على نطاق واسع، فإنك ستضخ دائمًا نوعًا من التحيز. وعندما يكون لديك مجموعة بيانات كبيرة لدرجة أنك لا تستطيع فحص كل مثال، فإنك لا تعرف ما إذا كان نموذجك قد تماشى بشكل مفرط مع تحيز في مجموعة البيانات سيؤدي إلى أدائه الجيد في الاختبار، ولكنه سيؤدي إلى أدائه السيئ في العالم الحقيقي. (على جانب آخر، نعتقد أن هذا هو السبب في وجود العديد من أجهزة الكشف عن الذكاء الاصطناعي عبر الإنترنت التي تبلغ عن "دقة بنسبة 99٪" ولكنها لا تقترب حتى من ذلك عندما تختبرها بالفعل).
هناك مثال مضحك يوضح أهمية هذه الأنواع المتعددة من مجموعات الاختبارات، وقد حدث في الأيام الأولى لـ Pangram، عندما أدخلنا ويكيبيديا لأول مرة إلى مجموعة التدريب. انتهت إحدى محاولاتنا الفاشلة الأولى بنتيجة رائعة في مجموعة الاختبار، ولكنها كانت سيئة للغاية في مجموعة VIP، التي كانت عبارة عن مقالات ويكيبيديا تم جمعها يدويًا. ما توصلنا إليه في النهاية هو أن مجموعة بيانات Huggingface التي كنا نستخدمها، من الناحية البشرية، كانت نطق الأسماء المعبّر عنه في الأبجدية الصوتية الدولية يعاد تنسيقه بطريقة غريبة جدًا بحيث كان النموذج يتكيف بشكل مفرط: كان ينظر فقط إلى تنسيق الاسم، ثم يستنتج بناءً على التنسيق ما إذا كان المستند من صنع الذكاء الاصطناعي أم من صنع الإنسان. كان ذلك رائعًا في مجموعة الحفظ، ولكنه كان سيئًا في العالم الحقيقي عندما لم يكن النموذج يمتلك هذا الدليل المحدد! هذه هي أهمية وجود مجموعة اختبار تعكس بدقة نوع النص الذي ستراه Pangram في العالم الحقيقي.
قبل أن نشحن نموذجًا إلى العملاء في Pangram، نخضع لإجراءات اعتماد صارمة تتضمن تقييمًا كميًا ونوعيًا، حيث نختبر النموذج ونفحص أدائه مقارنةً بالنموذج الحالي.
التقييم الكمي: يعني أنه لا ينبغي إرجاع مقاييس معدل الإيجابية الكاذبة على جميع حالات الاستبعاد ومجموعات VIP وحالات التحدي.
التقييم النوعي: في معظم الحالات، سيتم تحسين بعض الأمثلة، بينما سيتم إرجاع بعض الأمثلة الأخرى. كلما أمكن ذلك، ننظر بعيننا إلى الأمثلة المحددة التي تم إرجاعها ونتأكد من أن حالات الفشل قابلة للتفسير. غالبًا ما يكون هذا الأمر دقيقًا ومحددًا بالنسبة للفرضيات المعينة التي نختبرها، ولكن بشكل عام، نريد أن نتأكد من أن حالات الفشل لا تظهر نمطًا معينًا يمكن تعميمه على الفشل في العالم الحقيقي بعد النشر.
فحص الأجواء / الفريق الأحمر: أخيرًا، بمجرد الانتهاء من التقييم الكمي والنوعي، نقوم ببساطة بـ"فحص الأجواء" للنموذج عن طريق إرساله إلى الفريق وطلب منهم تجربته لفترة من الوقت. بالنسبة لبعض التحديثات، قد نطلب أيضًا من المختبرين الداخليين أو عملاء الإصدار التجريبي اختبار النموذج قبل طرحه على نطاق واسع للجمهور (عادةً ما نشجعهم على محاولة العثور على الحالات التي تخل بالنموذج!).
اختبار A/B بأثر رجعي: نقوم بإجراء استنتاجات غير متصلة بالإنترنت على تنبؤاتنا القديمة، وننظر إلى الاختلافات بين النموذج القديم والنموذج الجديد. لا نمتلك دائمًا الحقيقة الأساسية للبيانات التي استنتجناها سابقًا، ولكننا نبحث مرة أخرى عن أنماط متسقة قد تظهر حالات فشل في العالم الحقيقي.
باختصار، على الرغم من أننا نتبع نهجًا دقيقًا وعلميًا للغاية في قياس أداء نموذجنا باستخدام المقاييس والإحصاءات، فإننا لا نعتمد فقط على الأرقام لتوضيح الصورة الكاملة. نحن نثق أيضًا في عيوننا وحدسنا وقدرتنا على التعرف على الأنماط لفحص النموذج والعثور على أنماط الأخطاء التي قد تكون مقاييسنا قد أغفلتها. كما نعتمد على فريق المختبرين وفريق الاختبار والعملاء التجريبيين للعثور على الثغرات التي قد يكون الفريق قد أغفلها.
الحفاظ على معدل إيجابي كاذب منخفض هو جوهر مهمتنا البحثية. فيما يلي بعض التقنيات التي استخدمناها حتى الآن من أجل تحقيق أفضل معدل خطأ في فئته.
في حين أن أجهزة الكشف عن الذكاء الاصطناعي المنافسة قد تكون "مصممة للأوساط الأكاديمية/المدارس/الفصول الدراسية/المعلمين"، فإن ما يعنيه ذلك في الواقع هو أن مجموعة التدريب الخاصة بها تحتوي فقط على كتابات أكاديمية.
من ناحية أخرى، قمنا ببناء Pangram للاستفادة من الدرس المرير: أن خوارزميات التعلم العامة، التي تم تدريبها على كميات كبيرة من البيانات من مصادر متنوعة، أكثر فعالية من النماذج المحددة التي تم تدريبها على بيانات خاصة بمجال معين.
وهذا يعني أننا ندرب كاشف الذكاء الاصطناعي الخاص بنا على مجموعة متنوعة من النصوص: الإبداعية والتقنية والعلمية والموسوعية والمراجعات والمواقع الإلكترونية ومنشورات المدونات... والقائمة تطول. والسبب في ذلك هو أنه مثل التعليم الليبرالي الشامل، فإن التعرض للعديد من التخصصات وأساليب الكتابة يساعد النموذج على الفهم والتعميم بشكل أفضل عندما يواجه حالات جديدة. وفقًا للاتجاه الأوسع في تدريب الذكاء الاصطناعي، لا يتم تدريب ChatGPT ونماذج اللغة الكبيرة الأخرى على بيانات محددة لحالات استخدام معينة، بل يتم تدريبها على بيانات نصية عامة واسعة النطاق حتى تتمكن من اكتساب ذكاء عام: نحن نؤمن بنفس الاستراتيجية لتدريب أجهزة الكشف عن الذكاء الاصطناعي التي تكون قوية في التعامل مع جميع أنواع النصوص العامة المختلفة التي قد تنتجها LLM.
لقد كتبنا بشكل مستفيض عن خوارزمية التعلم النشط التي نستخدمها، والتي تستفيد من تقنية تسمى التنقيب السلبي الصعب، ونعتقد أن هذا هو السبب الرئيسي الذي مكننا من خفض معدل الإيجابيات الخاطئة إلى ما يقرب من الصفر.
في جوهر الأمر، السبب في نجاح هذه الطريقة هو أن معظم الأمثلة في الواقع هي "أمثلة سهلة" - بمجرد أن يتعلم النموذج الأنماط الأساسية لما هو بشري وما هو ذكاء اصطناعي، يصبح من السهل جدًا التمييز بينهما في الغالبية العظمى من مجموعة البيانات. ومع ذلك، فإن هذا يمنحك دقة تبلغ حوالي 99٪ فقط. من أجل الحصول على آخر 9٪ من الدقة، يجب أن نجد أصعب الحالات لتدريب النموذج: يمكننا التفكير في هذه الحالات على أنها الحالات التي يقرر فيها الإنسان الكتابة بطريقة مشابهة جدًا لنموذج لغة الذكاء الاصطناعي، ولكنه في الواقع يكتب بهذه الطريقة عن طريق الصدفة. للعثور على هذه الحالات السلبية الصعبة، نقوم بإجراء بحث واسع النطاق على مجموعات بيانات على نطاق الإنترنت مثل تلك المستخدمة لتدريب نماذج اللغة الكبيرة (LLM)، ثم نقوم بإجراء عكس اصطناعي لتوليد أمثلة ذكاء اصطناعي مشابهة. يمكن العثور على مزيد من التفاصيل على صفحة كيفية عملها.
نحن نصوغ هدفنا في التحسين بحيث يعطي النموذج الأولوية للنتائج الإيجابية الخاطئة على النتائج السلبية الخاطئة أثناء عملية التدريب نفسها. عندما يخطئ النموذج في تقييم وثيقة بشرية، فإنه "يعاقب" بعامل أثقل بكثير مما لو أخطأ في تقييم وثيقة صادرة عن الذكاء الاصطناعي. وهذا يجبر النموذج على أن يكون متحفظًا وألا يتنبأ بأن وثيقة ما صادرة عن الذكاء الاصطناعي إلا إذا كان متأكدًا تمامًا من ذلك.
يتعلق هذا باختيار العتبة كما هو موضح في RAID. نختار عتبتنا بناءً على تقييم ملايين الوثائق في مجموعات التقييم لدينا من أجل تحقيق التوازن المناسب بين معدلات الإيجابية الكاذبة والسلبية الكاذبة. من خلال اختيار العتبة، نحاول تحقيق التوازن بين الحفاظ على معدل السلبيات الكاذبة في حدود معقولة دون المساس بالإيجابيات الكاذبة.
نحن نحب العمل مع الباحثين لتحسين الدقة الإجمالية لبرنامجنا، ونحن متحمسون للمقارنة المفتوحة والشفافية في الكشف عن الذكاء الاصطناعي. للاستفسارات حول العمل معنا أو التعاون معنا أو أي أسئلة أخرى حول دقة Pangram، يرجى التواصل معنا على info@pangram.com.
