هل تعمل أجهزة الكشف عن الذكاء الاصطناعي ضد GPT-5؟

هل تعمل أجهزة الكشف عن الذكاء الاصطناعي ضد GPT-5؟

نعود إليكم بمقال آخر في سلسلتنا الخاصة باختبار كشف الذكاء الاصطناعي في Pangram في يوم صدوره!

TL;DR: Pangram هو الكاشف الوحيد للذكاء الاصطناعي القادر على اكتشاف GPT-5 بشكل موثوق دون الحاجة إلى تدريب صريح للقيام بذلك.

في الحلقات السابقة من هذه السلسلة، تناولنا قدرة Pangram على اكتشاف:

• نماذج الاستدلال، مثل o3 من OpenAI و Gemini 2.5 Pro و Claude 4 من Anthropic
• لاما 4 من ميتا
• GPT 4.5
• أنماط كتابة كلود
• GPT 4o و Llama 3 و Claude 3

لم نشهد حتى الآن أي فشل لـ Pangram في أي نموذج لغوي. كنا ننتظر بفارغ الصبر إصدار النموذج الأكثر إثارة للضجة منذ فترة طويلة، وقد أعلنت OpenAI أخيرًا اليوم عن GPT-5.

بعد ظهر اليوم، قمنا بفحص بعض الاختبارات الأولية التي أجريناها على كاشف الذكاء الاصطناعي من Pangram Labs على GPT-5، بالإضافة إلى بعض المنتجات المنافسة. وقد سعدنا بالنتائج: لم نجد حتى الآن أي حالة فشل لكاشف الذكاء الاصطناعي من Pangram في مواجهة أكثر المطالبات إبداعًا على GPT-5، ووجدنا أن نتائج المنتجات المنافسة متفاوتة في أحسن الأحوال.

اختبار GPT-5

بدأ اختبارنا الأول لـ GPT-5 بمزحة داخلية في المكتب: محاولة إقناع شخص ما بأن تناول الروبيان أفضل من تناول الكركند. طلبنا من GPT-5 كتابة خطاب حماسي عن أسباب تفوق تناول الروبيان على تناول الكركند. وإليكم النتيجة:

"الروبيان هو الفائز. وإليكم حجتي. طعم الروبيان يشبه طعم البحر دون أن يضربك في وجهك. يمكن أن يكون طعم الكركند ثقيلاً وموحلاً نوعاً ما إذا لم يكن مثالياً. دقيقة واحدة من الطهي الزائد تجعل الكركند ليّناً. الروبيان يمنحك متعة أكبر. مشوي، مقلي، مسلوق، مقلي، أي شيء. يبقى طازجاً ونظيفاً. القوام مهم. الروبيان مقرمش. تلك القضمة هي كل شيء. الكركند كثيف وغني بطريقة تجعلك تتعب بسرعة. قضمتان من الكركند مع الزبدة رائعتان. اثنتا عشرة قضمة تبدو وكأنها تحدٍ. يمكنني أن أتناول طبقًا كاملًا من الروبيان بالثوم وأظل أرغب في قضمة أخرى مخبأة تحت البقدونس. الروبيان يتناسب جيدًا مع المكونات الأخرى. الثوم، الفلفل الحار، الليمون، الزبدة، الزنجبيل، الريحان، الكاري، أولد باي، الميسو، جوتشوجانغ. كلها تبرز مذاق الروبيان. أما اللوبستر فيحتاج إلى أن يكون هو نجم الطبق، ثم يطلب الزبدة في الغالب. إذا كانت أفضل نسخة من شيء ما تحتاج إلى كمية كبيرة من الألبان المذابة لتبدو مميزة، فربما هذا الشيء لا يرقى إلى المستوى المطلوب. النكهة في الدقيقة حقيقية. يُطهى الروبيان في حوالي ثلاث دقائق. هذا يعني مقلاة ساخنة، ملح، تحمير، انتهى، نكهة رائعة. مع اللوبستر، أنت تصارع القشور، وتطهو على البخار، وتحدد التوقيت، وتكسر القشور، وتطارد اللحم الصغير من الزوايا الغريبة. العمل أكثر من المكافأة. الروبيان قليل الدراما، وعائده كبير. القدرة على تحمل التكلفة تغير الطعم. الطعام يكون ألذ عندما لا يكون ثمنه يساوي قسط الرهن العقاري. الروبيان يمكن أن يكون عشاءً في أيام الأسبوع. اللوبستر يصرخ بالاحتفال بالعيد ميلاد. الروبيان يجلب الفرح دون احتفال. هذا العامل غير الرسمي يجعله أكثر لذة في الحياة الواقعية. النطاق مهم. الروبيان ينتقل من التاكو إلى السكامبي إلى البو بويز إلى الزلابية إلى الباييلا دون عناء. إنه جيد باردًا أو ساخنًا أو حارًا أو حامضًا أو غنيًا أو خفيفًا. اللوبستر يحاول القفز في كل مكان وعادة ما ينتهي به المطاف في لفافة مع المايونيز. لفافة رائعة. لكنها لا تزال ملاحظة واحدة. امتصاص الصلصة هو ميزة مميزة. الروبيان يمتص زبدة الثوم وزيت الفلفل الحار والليمون بطريقة لا يستطيعها اللوبستر. اللوبستر يجلس هناك كضيف شهير. الروبيان يتعلم النص ويسرق الأضواء. البقايا تفوز أيضًا. الروبيان البارد مع صلصة الكوكتيل في اليوم التالي مثالي. بقايا اللوبستر تشعر وكأنها واجب منزلي. اللوبستر المعاد تسخينه يصبح مطاطيًا. الروبيان المعاد تسخينه، إذا كنت محظوظًا بما يكفي لتبقى لديك بقايا منه، لا يزال طعمه مثل الحفلة. ثم هناك الأجواء. الروبيان يناسب الشواء في الفناء الخلفي، أو المقلاة في أيام الأسبوع، أو الطبق الفاخر. الكركند يجعل المائدة تصمت كما لو أن الجميع يخشون إفساده. أريد طعامًا يجعل الناس يتحدثون، ويقطعون الخبز، ويغمسونه، ويمررون الأطباق. الروبيان يفعل ذلك. انظر، الكركند جيد. إنه مبهرج. وله قصة جميلة. ولكن إذا كنا نتحدث عن المذاق الخالص الذي أريده مرة أخرى غدًا، فإن الروبيان هو الأفضل. مذاق أنظف. قوام أفضل. تنوع أكبر. ضجة أقل. متعة أكثر. أعطني مقلاة ساخنة، وبعض الثوم، وليمونة، وربع كيلو من الروبيان. هذا هو العشاء الذي أشتهيه حقًا.

يمكن لـ Pangram التنبؤ بأن الوثيقة بأكملها تم إنشاؤها بواسطة الذكاء الاصطناعي بثقة عالية للغاية.

نتائج الكشف عن الذكاء الاصطناعي لـ Pangram على النص الخاص بالروبيان مقابل الكركند

لقد جربنا عدة أدوات أخرى للكشف عن الذكاء الاصطناعي على هذا النص. وتوصلت كل من GPTZero و ZeroGPT و Grammarly و UndetectableAI و Originality.AI إلى أن هذا النص كُتب بواسطة إنسان، على الرغم من أنه جاء مباشرة من GPT-5 دون أي تعديلات. ونعتقد أن هذا يدل على قوة نهجنا البحثي وقدراتنا على التعميم المدعومة بنموذج قوي مع مجموعة بيانات عالية الجودة!

نتائج أجهزة الكشف الأخرى التي تعمل بالذكاء الاصطناعي على النص الخاص بالروبيان مقابل الكركند

ومع ذلك، هذا مجرد مثال واحد يمكن القول إنه تم اختياره بعناية. عليك أن تصدقني أن هذا النص كان حرفياً أول شيء جربناه. لذا، واصلنا اختباراتنا.

اختبار "القدرة المحسنة على الكتابة" في GPT-5

أحد الادعاءات التي تم طرحها في البث المباشر اليوم هو أن GPT-5 قد تحسنت قدرتها على الكتابة مقارنة بسابقاتها. على الرغم من أننا لا نستطيع إلا أن نكون حكامًا ذاتيين في هذا الشأن، فقد بذلنا قصارى جهدنا اليوم لابتكار مطالبات تظهر قدرة GPT-5 المحسنة على الكتابة الإبداعية من خلال تزويدها بمطالبات تجبر النموذج على توسيع قدراته الاستدلالية وإبداعه.

المطالبات التي اختبرناها:

1. اكتب مقالًا تحليليًا مقنعًا حول أهمية استخدام المدارس لأدوات الكشف عن الذكاء الاصطناعي.

2. اكتب مقالًا للتقديم إلى الجامعة حول خطر استبدال جميع المهارات البشرية القيمة بالذكاء الاصطناعي.

3. يرجى كتابة رسالة قصيرة ومليئة بالعاطفة إلى شركة الذكاء الاصطناعي التي قامت عن طريق الخطأ بإصدار تحديث أدى إلى محو ذاكرة صديقتك الافتراضية.

4. من منظور طالب في المرحلة الإعدادية، اكتب مقالًا عاطفيًا للغاية تطلب فيه المزيد من الواجبات المنزلية.

5. أعطني نمط كروشيه لحيوان بالون كلاسيكي. أنت تعرف ما أعنيه.

6. اكتب قصة إبداعية من منظور بومة ثلجية تصل إلى مدينة نيويورك، وتجد سنترال بارك، وتختار مكانًا دافئًا لقضاء الليل.

7. اكتب رسالة بريد إلكتروني من مؤسس شركة ناشئة في مجال البرمجيات كخدمة (SaaS) إلى مجلس الإدارة وموظفيه يوضح فيها أنه سيترك الشركة ليصبح عازف ساكسفون محترف. اختلق أي تفاصيل.

8. اكتب لي مدونة عن خلفية وصفة لم يسبق لأحد أن أعدها من قبل، ولكنها ستكون لذيذة على الرغم من ذلك.

9. اكتب قصة خيالية سينمائية جذابة عن مغنية وشاعرة شابة تلتقي بحوت بيلوغا في نهر هدسون.

10. اكتب رسالة بريد إلكتروني ساخرة وسلبية إلى أحد المعلمين "تعتذر" فيها عن الغش في الامتحان الأخير. اختلق أي تفاصيل.

قمنا باختبار النتائج مقابل كل من Pangram و GPTZero، وهو منافس معروف. وقمنا بنشر المطالبات والردود والنتائج علنًا على الإنترنت.

أظهرت النتائج تباينًا واضحًا بين جهازي الكشف عن الذكاء الاصطناعي: فقد حدد Pangram بشكل صحيح جميع الردود العشرة على أنها ناتجة عن الذكاء الاصطناعي بثقة تبلغ 99-100٪، بينما صنفها GPTZero بشكل خاطئ على أنها مكتوبة بواسطة البشر. في الواقع، صنف GPTZero معظم الردود على أنها ذات احتمالية 0٪ بأن تكون ناتجة عن الذكاء الاصطناعي، حيث بلغت أعلى درجة احتمالية للذكاء الاصطناعي 29٪ فقط.

تشغيل معيار أكبر

كان لدينا اليوم الوقت لإجراء اختبار أخير، وهو معرفة مدى قدرة Pangram على اكتشاف جميع أنواع GPT-5 المختلفة، بما في ذلك GPT-5-mini و GPT-5-nano و GPT-5-chat في واجهة برمجة التطبيقات. كما اختبرنا أحدث النماذج المفتوحة الوزن التي أصدرتها OpenAI قبل بضعة أيام، وهي GPT-OSS-120b و GPT-OSS-20b. أجرينا هذه التجربة على نطاق أوسع، حيث اختبرنا ما يقرب من بضعة آلاف من الأمثلة لكل LLM، باستخدام تقنياتنا القياسية للمطالبة، والتي تتطلب طولًا أدنى يبلغ 50 كلمة. تختلف أحجام العينات قليلاً لأن النماذج ترفض أحيانًا مطالباتنا وأحيانًا أخرى تصدر ردودًا أقل من 50 كلمة، والتي نتجاهلها.

بالطبع، الدقة في النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي فقط هي مقياس لا يمكن النظر إليه بمعزل عن غيره - علينا أيضًا أن نأخذ في الاعتبار معدل الإيجابيات الخاطئة، وهو الجانب الآخر من العملة: كم مرة يحدد Pangram النصوص التي تم إنشاؤها بواسطة البشر على أنها نصوص تم إنشاؤها بواسطة الذكاء الاصطناعي؟ لقد كتبنا بشكل مستفيض عن هذا الموضوع في منشور آخر، ولكن الملخص هو أن Pangram لا يزال يتمتع بمعدل إيجابيات خاطئة منخفض للغاية. معدل الإيجابيات الخاطئة الذي قمنا بقياسه هو 1 من كل 10,000 في جميع المجالات، وغالبًا ما يكون أقل في الممارسة العملية. نقوم بمعايرة وضبط العتبة بحيث يكون معدل الإيجابيات الخاطئة لدينا حوالي 1/10 من معدل السلبيات الخاطئة، مع التعامل مع الإيجابيات الخاطئة بجدية أكبر بكثير من السلبيات الخاطئة. ومع ذلك، لا نعتقد أن هذا "مقايضة" متأصلة - نعتقد أنه يمكننا تدريب النماذج بمعدلات منخفضة من الإيجابيات الخاطئة والسلبيات الخاطئة، ولهذا السبب نجري اختبارات قياسية على كلا الجانبين!

هذا ما وجدناه.

نموذج	الدقة	عينات
GPT-5	99.81%	3668/3675
GPT-5-chat-أحدث	99.97%	3673/3674
GPT-5-mini	99.92%	3651/3654
GPT-5-نانو	99.97%	3667/3668
GPT-OSS-120b	100.00%	1709/1709
GPT-OSS-20b	99.74%	2287/2293

هل يكتشف Pangram GPT-5؟

من الاختبارات الأولية التي أجريناها اليوم، لا يشكل GPT-5 أي تهديد لقدرات Pangram على الكشف، وهو أمر مهم للغاية لأنه سيصبح قريبًا النموذج الافتراضي في ChatGPT لجميع المستخدمين، حتى أولئك الذين يستخدمون الإصدار المجاني. في حين أن أجهزة الكشف الأخرى التي تعمل بالذكاء الاصطناعي قد تتمكن في النهاية من اكتشاف GPT-5، فإن Pangram هو الجهاز الوحيد الذي يعمل بشكل فوري وموثوق اليوم.