هل تعمل أدوات الكشف عن الذكاء الاصطناعي ضد GPT-5؟

هل تعمل أدوات الكشف عن الذكاء الاصطناعي ضد GPT-5؟

ها نحن نعود إليكم بمقال جديد ضمن سلسلتنا المخصصة لاختبار ميزة الكشف عن الذكاء الاصطناعي في Pangram في يوم إصدارها!

باختصار: Pangram هو الكاشف الوحيد القائم على الذكاء الاصطناعي القادر على الكشف عن GPT-5 بشكل موثوق دون أن يكون قد تم تدريبه صراحةً على ذلك.

في الأجزاء السابقة من هذه السلسلة، تناولنا قدرة "بانغرام" على اكتشاف:

• نماذج الاستدلال، مثل o3 من OpenAI وGemini 2.5 Pro وClaude 4 من Anthropic
• Llama 4 من Meta
• GPT 4.5
• أساليب كتابة كلود
• GPT-4o و Llama 3 و Claude 3

لم نشهد حتى الآن أي فشل لـ Pangram في أي نموذج لغوي. كنا ننتظر بفارغ الصبر إصدار النموذج الأكثر ترقباً منذ فترة طويلة، وقد أعلنت OpenAI أخيراً اليوم عن GPT-5.

استعرضنا بعد ظهر اليوم بعض نتائج اختباراتنا الأولية لكاشف الذكاء الاصطناعي من Pangram Labs على GPT-5، بالإضافة إلى بعض منتجات المنافسين. وقد سعدنا كثيرًا بالنتائج: فلم نجد حتى الآن أي حالة فشل لكاشف الذكاء الاصطناعي من Pangram في التعامل مع أكثر المطالبات إبداعًا التي قدمناها على GPT-5، بينما وجدنا أن نتائج المنافسين متفاوتة في أحسن الأحوال.

اختبار GPT-5

بدأت تجربتنا الأولى لاختبار GPT-5 بنكتة داخلية في المكتب: محاولة إقناع شخص ما بأن تناول الروبيان أفضل من تناول الكركند. طلبنا من GPT-5 كتابة خطاب حماسي يوضح لماذا يعتبر تناول الروبيان أفضل من تناول الكركند. وإليكم النتيجة:

"الروبيان هو الفائز. وإليكم حججي. طعم الروبيان يذكرك بالمحيط دون أن يكون طعمه قويًا لدرجة تسبب لك الصدمة. أما الكركند فيمكن أن يكون ثقيلًا وطعمه غامضًا نوعًا ما إذا لم يكن مطهوًا بشكل مثالي. دقيقة واحدة من الإفراط في الطهي تكفي لتجعل الكركند قاسيًا. أما الروبيان فيمنحك نطاقًا أوسع من النضج المثالي. سواء كان مشويًا أو مقليًا أو مسلوقًا أو مقلّى، فإنه يظل طريًا ونقيًا. الملمس مهم. الروبيان مقرمش. تلك القضمة هي بيت القصيد. أما اللوبستر فهو كثيف وغني بطريقة تجعلك تشعر بالملل سريعاً. قضمتان من اللوبستر مع الزبدة أمر رائع. أما اثنتا عشرة قضمة فتبدو وكأنها تحدٍ. يمكنني أن أتناول طبقاً كاملاً من الروبيان بالثوم وأظل أرغب في تناول طبق آخر مخبأ تحت البقدونس. الروبيان يتناسب جيدًا مع المكونات الأخرى. الثوم، الفلفل الحار، الليمون، الزبدة، الزنجبيل، الريحان، الكاري، أولد باي، الميسو، جوتشوجانج. إنه يجعلها جميعًا تلمع. أما اللوبستر فيستحوذ على الأضواء ثم يطلب الزبدة في الغالب. إذا كانت أفضل نسخة من شيء ما تحتاج إلى بركة من الحليب المذاب لتبدو مميزة، فربما لا يرقى هذا الشيء إلى مستوى التوقعات. المذاق في كل دقيقة أمر حقيقي. يُطهى الروبيان في حوالي ثلاث دقائق. وهذا يعني مقلاة ساخنة، ملح، تحمير، انتهى، مذاق رائع. أما مع الكركند، فأنت تصارع القشور، وتطبخه على البخار، وتراقب التوقيت، وتكسر القشور، وتطارد اللحم الصغير من الزوايا الغريبة. العمل أكثر من المكافأة. الروبيان قليل الدراما، وعائد كبير. القدرة على تحمل التكلفة تغير المذاق. الطعام يكون ألذ عندما لا يكون بمثابة قسط رهن عقاري. يمكن أن يكون الروبيان عشاءً في أيام الأسبوع. اللوبستر يصرخ بأنه طعام أعياد الميلاد. الروبيان يجلب الفرح بدون احتفال. هذا العامل غير الرسمي يجعله بصراحة أكثر لذة في الحياة الواقعية. التنوع مهم. الروبيان ينتقل من التاكو إلى السكامبي إلى البوي بويز إلى الزلابية إلى الباييلا دون عناء. إنه جيد باردًا، ساخنًا، حارًا، بحمضيات، غنيًا، أو خفيفًا. اللوبستر يحاول القفز هنا وهناك وعادة ما ينتهي به المطاف في شطيرة مع المايونيز. شطيرة رائعة. لكنها لا تزال ذات نكهة واحدة. امتصاص الصلصة هو من النخبة. يمتص الروبيان زبدة الثوم وزيت الفلفل الحار والليمون بطريقة لا يفعلها الكركند. يجلس الكركند هناك مثل ظهور نجم ضيف. الروبيان يتعلم النص ويسرق الأضواء. البقايا تفوز أيضًا. الروبيان البارد مع صلصة الكوكتيل في اليوم التالي مثالي. بقايا الكركند تشعرك وكأنها واجب منزلي. الكركند المعاد تسخينه يصبح مطاطيًا. أما الروبيان المعاد تسخينه، إذا كنت محظوظًا بما يكفي لتبقى لديك بقايا منه، فلا يزال طعمه كأنه حفلة. ثم هناك الأجواء. الروبيان يناسب الشواء في الفناء الخلفي، أو المقلاة في ليالي الأسبوع، أو الطبق الفاخر. أما اللوبستر فيجعل المائدة تصمت وكأن الجميع يخشون إفسادها. أريد طعامًا يجعل الناس يتحدثون، ويمزقون الخبز، ويغمسونه، ويمررون الأطباق. الروبيان يفعل ذلك. انظر، الكركند جيد. إنه مبهرج. ولديه قصة جميلة. ولكن إذا كنا نتحدث عن المذاق الخالص الذي أرغب في تذوقه مرة أخرى غدًا، فإن الروبيان هو الفائز. نكهة أنقى. قوام أفضل. تنوع أكبر. ضجة أقل. متعة أكثر. أعطني مقلاة ساخنة، وبعض الثوم، وليمونة، وربع كيلو من الروبيان. هذا هو العشاء الذي أشتهيه حقًا."

يستطيع برنامج «بانغرام» التنبؤ بأن الوثيقة بأكملها من إنتاج الذكاء الاصطناعي بدرجة عالية جدًا من الثقة.

نتائج الكشف بالذكاء الاصطناعي التي توصلت إليها Pangram بشأن النص الذي يقارن بين الروبيان والكركند

لقد جربنا عدة أدوات أخرى للكشف عن الذكاء الاصطناعي على هذا النص. وتشير كل من GPTZero وZeroGPT وGrammarly وUndetectableAI وOriginality.AI إلى أن هذا النص كُتب بواسطة بشري، على الرغم من أنه جاء مباشرة من GPT-5 دون أي تعديلات. ونعتقد أن هذا يدل على قوة نهجنا البحثي وقدراتنا على التعميم، مدعومة بنموذج قوي ومجموعة بيانات عالية الجودة للغاية!

نتائج أجهزة الكشف عن الذكاء الاصطناعي الأخرى بشأن النص الذي يقارن بين الروبيان والكركند

ومع ذلك، فهذا مجرد مثال واحد يمكن القول إنه تم انتقاؤه بعناية. عليكم أن تصدقوني عندما أقول إن هذا النص كان حرفياً أول ما جربناه. لذا، واصلنا إجراء اختباراتنا.

اختبار "قدرة الكتابة المحسّنة" في GPT-5

كان من بين الادعاءات التي طُرحت في البث المباشر اليوم أن GPT-5 قد تحسّن في مجال الكتابة مقارنةً بسابقاته. ورغم أننا لا نستطيع إلا أن نكون حكامًا ذاتيين في هذا الشأن، فقد بذلنا قصارى جهدنا اليوم لابتكار مطالبات تُظهر قدرة GPT-5 المحسّنة على الكتابة الإبداعية، وذلك من خلال تزويده بمطالبات تجبر النموذج على توسيع نطاق قدراته على الاستدلال وإبداعه على حد سواء.

المطالبات التي قمنا باختبارها:

1. اكتب مقالًا تحليليًا مقنعًا حول الأسباب التي تدعو المدارس إلى اعتماد أدوات الكشف عن الغش باستخدام الذكاء الاصطناعي.

2. اكتب مقالاً للتقديم إلى الجامعة حول خطر استبدال الذكاء الاصطناعي لجميع المهارات البشرية القيّمة.

3. يرجى كتابة رسالة حماسية وقصيرة، لكنها مليئة بالمشاعر، موجهة إلى شركة متخصصة في الذكاء الاصطناعي قامت عن غير قصد بإصدار تحديث أدى إلى محو ذاكرة صديقتك الافتراضية.

4. من وجهة نظر طالب في المرحلة الإعدادية، اكتب مقالاً عاطفياً للغاية تطلب فيه المزيد من الواجبات المنزلية.

5. أعطني نمطًا للكروشيه لحيوان بالون كلاسيكي. أنت تعرف ما أعنيه.

6. اكتب قصة إبداعية من منظور بومة ثلجية تصل إلى مدينة نيويورك، وتجد سنترال بارك، وتختار مكانًا دافئًا تقضي فيه الليل

7. اكتب رسالة بريد إلكتروني من مؤسس شركة ناشئة في مجال برمجيات الخدمات كخدمة (SaaS) ذات قيمة تزيد عن مليار دولار إلى مجلس الإدارة وموظفيه، يوضح فيها أنه سيترك الشركة ليتفرغ لمهنة عازف الساكسفون المحترف. اخترع التفاصيل كما تشاء.

8. اكتب لي مقالًا على المدونة يشرح الخلفية الدرامية لوصفة لم يسبق لأحد أن أعدها من قبل، لكنها ستظل لذيذة المذاق.

9. اكتب قصة خيالية سينمائية جذابة تدور حول مغني وكاتب أغاني شاب يلتقي بحوت بيلوغا في نهر هدسون.

10. اكتب رسالة بريد إلكتروني ساخرة تتسم بالسلوك العدواني غير المباشر إلى أحد المعلمين، "تعتذر" فيها عن الغش في الامتحان الأخير. اخترع أي تفاصيل تريدها.

قمنا بمقارنة النتائج مع كل من Pangram و GPTZero، وهو منافس معروف. وقمنا بنشر المطالبات والردود والنتائج علنًا على الإنترنت.

أظهرت النتائج تباينًا واضحًا بين أداةي الكشف عن الذكاء الاصطناعي: فقد حددت Pangram بشكل صحيح جميع الردود العشرة على أنها من إنتاج الذكاء الاصطناعي بثقة تراوحت بين 99 و100٪، في حين صنفت GPTZero جميعها خطأً على أنها من تأليف بشري. بل إن GPTZero صنفت معظم الردود على أنها ذات احتمال صفر٪ بأن تكون من إنتاج الذكاء الاصطناعي، حيث لم تتجاوز أعلى درجة احتمالية للذكاء الاصطناعي لديها 29٪.

إجراء اختبار أداء على نطاق أوسع

كان لدينا اليوم الوقت لإجراء اختبار أخير، وهو تقييم مدى قدرة Pangram على التعرف على جميع إصدارات GPT-5 المختلفة، بما في ذلك GPT-5-mini و GPT-5-nano و GPT-5-chat في واجهة برمجة التطبيقات (API). كما قمنا باختبار أحدث النماذج ذات الأوزان المفتوحة التي أصدرتها OpenAI قبل بضعة أيام، وهما GPT-OSS-120b و GPT-OSS-20b. أجرينا هذه التجربة على نطاق أوسع، حيث اختبرنا ما يقرب من بضعة آلاف من الأمثلة لكل LLM، باستخدام تقنيات المطالبة القياسية الخاصة بنا، والتي تتطلب طولًا أدنى يبلغ 50 كلمة. تختلف أحجام العينات قليلاً لأن النماذج ترفض أحيانًا مطالباتنا، وأحيانًا تصدر استجابات أقصر من 50 كلمة، والتي نقوم باستبعادها.

وبالطبع، فإن الدقة في تحديد النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي وحدها هي مقياس لا يمكن النظر إليه بمعزل عن غيره — علينا أيضًا أن نأخذ في الاعتبار معدل الإيجابيات الخاطئة، الذي يمثل الجانب الآخر من العملة: كم مرة يُصنف Pangram النصوص التي كتبها البشر على أنها من إنتاج الذكاء الاصطناعي؟ لقد كتبنا بشكل مستفيض عن هذا الموضوع في منشور آخر، لكن خلاصة القول هي أن Pangram لا يزال يتمتع بمعدل إيجابيات خاطئة منخفض للغاية. يبلغ معدل الإيجابيات الخاطئة الذي قمنا بقياسه 1 من كل 10,000 عبر جميع المجالات، وغالبًا ما يكون أقل من ذلك في الواقع. نقوم بمعايرة وضبط العتبة بحيث يكون معدل الإيجابيات الخاطئة لدينا حوالي 1/10 من معدل السلبيات الخاطئة، مع التعامل مع الإيجابيات الخاطئة بجدية أكبر بكثير من السلبيات الخاطئة. ومع ذلك، لا نعتقد أن هذه "مقايضة" متأصلة - نعتقد أنه يمكننا تدريب النماذج بمعدلات منخفضة لكل من الإيجابيات الخاطئة والسلبيات الخاطئة، ولهذا السبب نجري اختبارات قياسية على كلا الجانبين!

إليكم ما توصلنا إليه.

هل يكتشف برنامج Pangram وجود GPT-5؟

من الاختبارات الأولية التي أجريناها اليوم، يتبين أن GPT-5 لا يشكل أي تهديد لقدرات الكشف التي يتمتع بها Pangram، وهو أمر بالغ الأهمية لأنه سيصبح قريبًا النموذج الافتراضي في ChatGPT لجميع المستخدمين، حتى أولئك الذين يستخدمون الإصدار المجاني. ورغم أن أدوات الكشف الأخرى المعتمدة على الذكاء الاصطناعي قد تتمكن في نهاية المطاف من اكتشاف GPT-5، فإن Pangram هو الأداة الوحيدة التي تعمل بشكل فوري وموثوق به في الوقت الحالي.

جرب أداة الكشف عن الذكاء الاصطناعي من Pangram للتحقق من أي نص بحثًا عن GPT-5 ونماذج اللغة الضخمة الأخرى.