ماذا تعني درجة الكشف عن الذكاء الاصطناعي الخاصة بك؟

تقوم بفحص مقال لطالب أو مقال لمحرر مستقل باستخدام أداة الكشف عن الذكاء الاصطناعي. فيظهر رقم كبير وواضح على الشاشة: 65% ذكاء اصطناعي. ماذا ستفعل بعد ذلك؟

لا تشبه درجات الكشف عن الذكاء الاصطناعي معايير التقييم التقليدية، حيث يكون "النجاح" و"الفشل" واضحين. فالفرق الدقيق بين "مُنتج بالكامل بواسطة الذكاء الاصطناعي" و"مُعدّل بواسطة الذكاء الاصطناعي" آخذ في التطور، وكذلك أنظمة الكشف لدينا في Pangram.

يشرح هذا الدليل النسب المئوية البسيطة بلغة واضحة ومفهومة. وسنستعرض كيف يحسب برنامج فحص النتائج القائم على الذكاء الاصطناعي هذه النسب، وماذا تعني فترات الثقة، وكيفية تحديد الحد الأدنى المناسب لكاشف الذكاء الاصطناعي لاتخاذ الإجراءات اللازمة.

ما الذي تشير إليه هذه النسبة المئوية في الواقع؟

إذا قمت بمسح مستند ضوئيًا باستخدام أداة الكشف عن الذكاء الاصطناعي، فستحصل على نتيجة بنسبة مئوية. على سبيل المثال، «50٪». هذه النسبة المئوية لا تعني أن 50٪ من المستند مزيف أو تم إنشاؤه بواسطة الذكاء الاصطناعي. بل تعني أنه، وفقًا لأداة فحص النسبة المئوية للذكاء الاصطناعي، فإن 50٪ من هذا المستند يحتوي على نص تم إنشاؤه بواسطة الذكاء الاصطناعي أو بمساعدة الذكاء الاصطناعي.

مثال على درجة الكشف باستخدام الذكاء الاصطناعي

لا تعامل أدوات الكشف المتقدمة القائمة على الذكاء الاصطناعي المستند على أنه كتلة نصية واحدة ضخمة. بل تقوم هذه الأدوات بتقسيم النص إلى مقاطع وجمل وفقرات. ويتم تقييم هذه الأجزاء الفردية باعتبارها مقاطع.

إذا حصلت على درجة 30٪ في ورقة من 10 صفحات، فهذا يعني على الأرجح أن ما يقارب ثلاث صفحات من النص تظهر الأنماط النموذجية لنظام اللغات الكبيرة (LLM). وتشمل هذه الأنماط أمورًا مثل عدم وجود تقلبات في وتيرة النص وبنية نحوية يمكن التنبؤ بها، من بين أمور أخرى. ولا تعني هذه النتيجة أن 30٪ من الوثيقة تم إنشاؤها بواسطة الذكاء الاصطناعي.

قراءة طيف درجات الذكاء الاصطناعي

إذا كنت تستخدم أداة كشف الذكاء الاصطناعي وحصل مستند معين على درجة منخفضة (على سبيل المثال، 30٪ من إنتاج الذكاء الاصطناعي)، فهذا يشير عادةً إلى أنه مستند مختلط. وعادةً ما يُكتب المستند المختلط بواسطة إنسان ثم يتم تحريره بمساعدة أداة تعمل بالذكاء الاصطناعي. من ناحية أخرى، تشير الدرجة العالية، مثل 85٪، بقوة إلى أن النص من إنتاج الذكاء الاصطناعي بالكامل.

مزيج من المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي والمحتوى الذي كتبه البشر

غالبًا ما تظهر درجة الكشف عن الذكاء الاصطناعي المنخفضة إلى المتوسطة عندما يقوم الكاتب بما يلي:

• يستخدم أدوات مثل Grammarly.
• يطلب من برنامج LLM، مثل ChatGPT، «تنقيح» الفقرات التي كتبها.
• يستخدم الذكاء الاصطناعي لترجمة لغتهم الأم إلى الإنجليزية.

غالبًا ما تظهر نسبة عالية في الكشف عن استخدام الذكاء الاصطناعي عندما يكون «الحمض النووي اللغوي» للنص منشأً بشكل ساحق بواسطة الذكاء الاصطناعي. وهذا يعني عادةً أن كاتب النص قد أدخل «موجهًا» في نموذج لغة كبيرة (LLM)، ثم قام بنسخ ولصق الناتج المباشر لهذا النموذج مع إجراء بعض التعديلات عليه.

هل أدوات التحقق من الدرجات التي تعمل بالذكاء الاصطناعي دقيقة؟

لا يمكننا التحقق من صحة نتائج الأدوات الأخرى، لكن أدوات الفحص التي تعمل بالذكاء الاصطناعي والمخصصة للشركات، مثل Pangram، تتمتع بدقة عالية (99.98%). وللمساعدة في تقييم دقتها، توفر معظم أدوات الفحص هذه "فاصل الثقة" الذي يوضح مدى ثقة النموذج في النسبة المئوية للكشف التي توصل إليها.

تكمن إجابة السؤال «هل برامج فحص الذكاء الاصطناعي دقيقة؟» في حقيقتين: تُستخدم النماذج الإحصائية لتحديد ما إذا كان النص قد تم إنشاؤه بواسطة الذكاء الاصطناعي، وتعمل هذه النماذج على أساس الاحتمالات وليس اليقين المطلق.

تعني علامة "ثقة عالية" أن النص يتطابق مع أنماط معروفة في بيانات تدريب نماذج اللغة الكبيرة (LLM). ونظرًا لأن النص يتطابق مع أنماط معروفة في بيانات تدريب نماذج اللغة الكبيرة (LLM)، فإن نسبة الكشف عن استخدام الذكاء الاصطناعي تعتبر معقولة. وهذا لا يعني أن نسبة الكشف عن استخدام الذكاء الاصطناعي دقيقة تمامًا، بل يعني أنها دقيقة على الأرجح.

تشير علامة "ثقة منخفضة" إلى أن النص يحتوي على بعض سمات الذكاء الاصطناعي، لكن النموذج لا يمتلك بيانات كافية لإصدار حكم قاطع. وتنتج العديد من علامات "الثقة المنخفضة" عن مقتطفات من النص تكون قصيرة جدًا بحيث يتعذر إجراء تقييم دقيق لها.

إذا كنت تستخدم أداة فحص للذكاء الاصطناعي تعتمد على تقييم ثنائي الأبعاد للمحتوى المكتوب، فإن أداة مثل Pangram يمكن أن تساعدك في تحديد الأجزاء المحددة التي تشير إلى كتابة بواسطة الذكاء الاصطناعي.

النتيجة "المختلطة"

الحقيقة الأكثر شيوعًا في سير العمل المعاصر هي المحتوى «المختلط» الذي يجمع بين الكتابة والتحرير البشريين والكتابة والتحرير بمساعدة الذكاء الاصطناعي. ولهذا السبب، تقوم أدوات مثل Pangram 3.0 بتصنيف النصوص وفقًا لمقياس يتراوح بين: «بشري بالكامل»، و«بمساعدة طفيفة من الذكاء الاصطناعي»، و«بمساعدة معتدلة من الذكاء الاصطناعي»، و«من إنتاج الذكاء الاصطناعي بالكامل».

نتائج متباينة في تقييم الذكاء الاصطناعي

يُعد تصنيف النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي على نطاق متدرج أمرًا مهمًا؛ لأن الطالب الذي يحصل على درجة 10٪ لنص "مدعوم قليلاً بالذكاء الاصطناعي" — لمجرد أنه استخدم أداة تدقيق إملائي — لا ينبغي معاملته بنفس الطريقة التي يُعامل بها الطالب الذي سلم مقالاً حصل على درجة 95٪ باعتباره "منشأ بالكامل بواسطة الذكاء الاصطناعي". ويُظهر لك التمييز الموضعي بالضبط الأجزاء التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

ما هي عتبات درجات الذكاء الاصطناعي التي تستدعي اتخاذ إجراء؟

لا يوجد «رقم سحري» عام يستدعي اتخاذ إجراءات تصحيحية، ولكن كأفضل ممارسة، غالبًا ما تشير درجات الكشف عن الذكاء الاصطناعي التي تقل عن 20% إلى استخدام أداة مساعدة رقمية عادية في الكتابة. أما الدرجات التي تزيد عن 60% فتستدعي غالبًا إجراء محادثة مباشرة حول أصالة كتابة الشخص المعني.

يجب عليك تحديد عتبة للكشف عن الذكاء الاصطناعي تعكس سياساتك المتعلقة بالذكاء الاصطناعي. على سبيل المثال، إذا كانت سياستك تسمح باستخدام «الذكاء الاصطناعي لتوليد الأفكار، ولكن ليس لصياغة النص نفسه»، فإن الحصول على نسبة 40٪ يستدعي إجراء تحقيق. أو، إذا كانت سياستك تنص على «عدم استخدام الذكاء الاصطناعي في أي جزء من عملية الكتابة»، فمن المرجح أن تستدعي حتى نسبة 15٪ إجراء تحقيق.

تعد درجة الكشف التي تحصل عليها من الذكاء الاصطناعي أداة تشخيصية. فإذا ظهرت درجة عالية، يمكنك الاستعانة بالمقاطع التي تم تمييزها في Pangram وتقرير«عبارات الذكاء الاصطناعي»للجلوس مع الكاتب وطلب توضيح طريقة صياغته للنص. وقد يؤدي ذلك إلى توضيح الأمور وتقديم التوجيه والوصول إلى النتيجة التي تسعى إليها أنت والكاتب على حد سواء.

الكشف عن الذكاء الاصطناعي ليس نظامًا ثنائيًا من نوع "نجح/فشل"

تُعد «بانغرام» أداة تحليلية دقيقة توفر رؤية واضحة للعمليات التي تشكل أسلوب الكتابة المعاصر. ومن خلال الفهم الدقيق لمعنى «درجة الذكاء الاصطناعي»، يمكن للمهنيين الحفاظ على معايير النزاهة بثقة مع معاملة الكُتّاب بإنصاف.

لا داعي للتخمين بشأن معنى الأرقام. احصل على رؤى تفصيلية ومفهومة للجميع حول مؤلفي النصوص من خلال تحليل الشرائح الذي يقدمه Pangram.

امسح مستندك ضوئيًا