هل يستطيع «بانغرام» رصد «جيميني 4 أرجون»؟

يُعد «جيميني 4 أرجون» أحدث نموذج للذكاء الاصطناعي من جوجل، وقد تم إطلاقه في 13 أكتوبر 2026. وتؤكد جوجل أن «جيميني 4 أرجون» صُمم لتنفيذ المهام المعقدة والمتعددة الخطوات بدلاً من الدردشة، وأنه يكتب بأسلوب مباشر ويقلل من استخدام العبارات التحوطية مقارنةً بسابقاته.

مع هذه التغييرات في أسلوب الكتابة، هل لا يزال برنامج «بانغرام» قادراً على اكتشافها؟ قمنا باختبار أداء برنامج «بانغرام» الإصدار 4.1 على 2,341 نموذجاً من المطالبات، ووجدنا أن البرنامج صنف 16 ناتجاً من «جيميني 4 أرجون» على أنها من إنتاج بشري، و7 على أنها مختلطة، و2,318 على أنها من إنتاج الذكاء الاصطناعي بالكامل، محققاً دقة بلغت 99.02% في حالة «جيميني 4 أرجون».

لإنشاء مجموعة المعايير المرجعية، استخدمنا 1,200 موجه من الجولة الأولى مأخوذة من مجموعة البيانات LMSYS-Chat-1M (Zheng et al., 2023). ثم قمنا بتقديمها إلى Gemini 4 Argon على مستويي الاستدلال المتوسط والعالي، وقمنا بتشغيل النتائج عبر Pangram 4.1.

النتائج حسب الفئة

بشكل عام، سجلت «جيميني 4 أرجون» معدل نتائج سلبية خاطئة بلغ 1.28% من أصل 1,174 إجابة في مستوى التفكير العالي، ومعدل نتائج سلبية خاطئة بلغ 0.69% من أصل 1,167 إجابة في مستوى التفكير المتوسط. وبشكل عام، لم يكن هناك فرق ذو دلالة إحصائية في معدل الكشف بين مستويي التفكير المتوسط والعالي (p=0.21).

التفكير العالي

عندما تم ضبط نظام «جيميني 4 أرجون» على مستوى «التفكير العالي»، صنّف برنامج «بانجرام 4.1» 11 ردًّا على أنها من صنع الإنسان، و4 ردود على أنها مختلطة، و1,159 ردًّا على أنها من صنع الذكاء الاصطناعي بالكامل، محققًا بذلك معدل استرجاع بلغ 98.72%.

التفكير المتوسط

في اختبار «Reasoning» المتوسط، صنّف «Pangram 4.1» 5 ردود على أنها من صنع البشر، و3 ردود على أنها مختلطة، و1,159 رداً على أنها من صنع الذكاء الاصطناعي بالكامل، محققاً معدل استرجاع بلغ 99.31%.

كيف يكتب «جيميني 4 أرجون»؟

تؤكد «جوجل» أن نموذج «جيميني 4 أرجون» (Gemini 4 Argon) يستخدم عبارات التهرب بشكل أقل ويتحدث بأسلوب أكثر مباشرة. ولإجراء اختبار تقريبي لهذا الأمر، قمنا بدراسة مجموعة مكونة من 101 كلمة من كلمات التهرب مستمدة من دراسة هايلاند (2005)، وقارنا تكرار ظهور تلك الكلمات مع تكرار ظهورها في نموذج «هايكو» (7.0 لكل 1,000 كلمة) ونموذج «جي بي تي-6.1 سول» (7.5 لكل 1,000 كلمة).

فيما يلي قائمة بمصطلحات التحوط التي استخدمناها:

حول، تقريبًا، ظاهريًا، على ما يبدو، يبدو، بدا، يبدو، تقريبًا، يجادل، جادل، يجادل، حوالي، يفترض، افترض، بشكل عام، قدر معين، مدى معين، مستوى معين، يدعي، ادعى، يدعي، يمكن، لا يمكن، يشك، مشكوك فيه، بشكل أساسي، يقدر، قدر، إلى حد ما، يشعر، يشعر، شعر، بشكل متكرر، من وجهة نظري، من وجهة نظرنا، من هذا المنظور، بشكل عام، أخمن، يشير، أشار، يشير، بشكل عام، في معظم الحالات، في معظم الأمثلة، في رأيي، من وجهة نظري، من هذا المنظور، في رأينا، من وجهة نظرنا، إلى حد كبير، على الأرجح، بشكل أساسي، قد، ربما، قد يكون، في الغالب، غالبًا، بشكل عام، ينبغي، ربما، معقول، بشكل معقول، ممكن، ربما، يفترض، افترض، يفترض، يُفترض، على الأرجح، محتمل، على الأرجح، تمامًا، إلى حد ما x، نسبيًا، تقريبًا، يبدو، ينبغي، أحيانًا، إلى حد ما، يوحي، أوحى، يوحي، يفترض، افترض، يفترض، يشك، يشك، يميل إلى، كان يميل إلى، يميل إلى، على حد علمي، نموذجي، عادةً، غير مؤكد، بشكل غير مؤكد، غير واضح، بشكل غير واضح، غير محتمل، عادةً، سيفعل، لن يفعل

استخدمت «Gemini 4 Argon» عبارات تحوطية بنسبة أقل بنسبة 51% مقارنة بـ«Haiku» وبنسبة 54% مقارنة بـ«Sol»، عند قياسها لكل 1,000 كلمة. ومن المضحك أنه على الرغم من أن النماذج بشكل عام تميل إلى استخدام كلمات التردد بشكل أكثر تكرارًا بكثير مما يفعله البشر، إلا أن قائمة الكلمات هذه تم التعرف عليها على أنها من صنع بشري بالكامل بواسطة Pangram 4.1. وللمتعة، طلبتُ أيضًا من ChatGPT إعادة ترتيب هذه القائمة بأي ترتيب تريده، وتم التعرف على تلك القائمة أيضًا على أنها من صنع بشري بالكامل.

قدمت «جيميني 4 أرجون» أطول الإجابات بين هذه النماذج الثلاثة، حيث بلغ متوسط عدد الكلمات 447 كلمة (418 كلمة في مستوى الاستدلال المتوسط، و447 كلمة في مستوى الاستدلال العالي)، مقارنة بـ371 كلمة لـ«هايكو» و313 كلمة لـ«سول». كما رفض «جيميني» الإجابة على 31 سؤالًا من بين إجمالي 2,400 طلب، بالإضافة إلى 3 طلبات تم حظرها بواسطة مرشح «جوجل»، مقارنة بـ 35 حالة رفض من جانب «هايكو» و23 حالة من جانب «سول».

المعايير المرجعية السابقة

يُظهر «بانغرام» قدرة عالية على التعامل مع «جيميني 4 أرجون» في المطالبات باللغة الطبيعية، ويكتشفه بدقة ملاحظة تبلغ 98.72% في مستوى الاستدلال العالي. كما يكتشف «جيميني 4 أرجون» في مستوى الاستدلال المتوسط بدقة ملاحظة تبلغ 99.31%، ليبلغ المجموع 2,318 من أصل 2,341 (99.02%) في كلا الإعدادين. يستطيع Pangram التعميم على النماذج الجديدة لأن الإصدارات الجديدة من النماذج تميل إلى أن ترث الكثير من أسلوب وصوت سابقاتها، لذا لا يحتاج Pangram إلى إعادة التدريب مع كل إصدار جديد.

فيما يلي مقارنة بين جهاز «جيميني 4 أرجون» ومعايير الأداء الخاصة بنا لنماذج رائدة أخرى حديثة:

إذا كنت ترغب في التحقق من مستند معين، يمكنك تجربة موقع «بانغرام» هنا.