ما مدى فعالية Pangram في عمل كود الذكاء الاصطناعي؟

يتم كتابة المزيد والمزيد من الأكواد باستخدام الذكاء الاصطناعي كل يوم. وفقًا لسوندار بيتشاي، الرئيس التنفيذي لشركة Google، تمت كتابة أكثر من 25٪ من أكواد Google بواسطة الذكاء الاصطناعي في أواخر عام 2024. يقول الرئيس التنفيذي لشركة Robinhood أن معظم الأكواد التي يتم شحنها في Robinhood يتم كتابتها الآن بواسطة الذكاء الاصطناعي. دخل مصطلح "vibe coding" ( الذي شاع في تغريدة لأندريه كارباثي) إلى القاموس العام: وهو يعني عندما تستسلم تمامًا لـ"أجواء" البرمجة وتسمح للذكاء الاصطناعي بتولي زمام الأمور وكتابة الأكواد نيابة عنك.

تحاول شركات ناشئة مثل Cursor و Lovable و Replit إزالة الحواجز التي تحول دون دخول مجال البرمجة: بمعنى أن دخول مجال البرمجة أصبح سهلاً للغاية بحيث يمكن لأي شخص في الشركة إنتاج كود برمجي، أو حتى إنشاء موقع ويب أو تطبيق كامل دون أي معرفة بـ Python أو React.

يكشف استطلاع StackOverflow Developer Survey لعام 2025 مدى انتشار هذا الاتجاه. يستخدم 84٪ من المطورين أدوات الذكاء الاصطناعي أو يخططون لاستخدامها في سير عمل التطوير، حيث يستخدم 51٪ من المطورين المحترفين أدوات الذكاء الاصطناعي يوميًا. وهذا يمثل تحولًا كبيرًا في طريقة كتابة الأكواد في جميع أنحاء الصناعة.

ومع ذلك، يكشف الاستطلاع أيضًا عن صعوبات متزايدة في عصر التطوير المدعوم بالذكاء الاصطناعي. في حين أفاد 52٪ من المطورين أن أدوات الذكاء الاصطناعي أثرت بشكل إيجابي على إنتاجيتهم، انخفضت النظرة الإيجابية تجاه أدوات الذكاء الاصطناعي من 70٪+ إلى 60٪ في عام 2025. بعد فترة شهر العسل الأولية من استكشاف هذه الأدوات التي تم إنشاؤها بواسطة الذكاء الاصطناعي، يبدو أن المطورين يشعرون الآن بموقف أكثر حيادية تجاهها.

مصدر الإحباط واضح: 66٪ من المطورين يشعرون بالإحباط بسبب "حلول الذكاء الاصطناعي التي تكاد تكون صحيحة، ولكنها ليست كذلك تمامًا" ، و 45٪ يجدون أن تصحيح الأخطاء في الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي يستغرق وقتًا أطول من المتوقع. فقط 3٪ من المطورين "يثقون بشدة" في نتائج أدوات الذكاء الاصطناعي، بينما 46٪ لا يثقون في دقة أدوات الذكاء الاصطناعي.

وهذا يخلق مفارقة مثيرة للاهتمام: يعتمد المطورون بشكل متزايد على الذكاء الاصطناعي لكتابة الأكواد، لكنهم لا يثقون تمامًا في ما ينتجه. كما تشير الدراسة الاستقصائية، فإن 75٪ من المطورين لا يزالون يطلبون المساعدة من البشر عندما "لا يثقون في إجابات الذكاء الاصطناعي"، ويضعون أنفسهم في موقع "الحكام النهائيين للجودة والصحة". وفقًا لسيمون ويليسون، فإنه "لن يستخدم الأكواد التي تم إنشاؤها بواسطة الذكاء الاصطناعي في المشاريع التي يخطط لإطلاقها ما لم يراجع كل سطر منها. فليس هناك خطر الهلوسة فحسب، بل إن رغبة روبوت الدردشة في إرضاء المستخدمين قد تجعله يقول إن فكرة غير قابلة للتطبيق تعمل. وهذا يمثل مشكلة خاصة بالنسبة لنا نحن الذين لا نعرف كيفية تعديل الأكواد. فنحن نخاطر بإنشاء برامج بها مشاكل مدمجة".

أهمية الكشف عن الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي

على الرغم من أن الكود الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي سيظل موجودًا، إلا أن هناك بعض الحالات التي لا يزال من المنطقي فيها التحقق من أن الكود مكتوب بواسطة الإنسان.

1. في عملية التوظيف، عند توظيف مطور برمجيات، من المهم تقييم قدرة المبرمج على كتابة كود عالي الجودة دون مساعدة الذكاء الاصطناعي. بالإضافة إلى ذلك، من المهم أيضًا تقييم فهمهم للكود حتى يتمكنوا من تصحيح الأخطاء وتشخيص الكود الخاطئ الذي تم إنشاؤه بواسطة الذكاء الاصطناعي أو بمساعدة الذكاء الاصطناعي في عملهم.

2. في مجال التعليم، من المهم تعليم الطلاب كيفية البرمجة دون مساعدة الذكاء الاصطناعي. مع الإفراط في استخدام الذكاء الاصطناعي، قد يفوت الطلاب المفاهيم الأساسية ويتجاهلون تعلم المهارات التي يحتاجونها ليصبحوا مهندسي برمجيات ناجحين. على الرغم من أنه من المرجح أن يتمكن هؤلاء الطلاب من الوصول إلى الذكاء الاصطناعي أثناء عملهم، كما أشارت إليه دراسة StackOverflow للمطورين، إلا أنه بدون أساس متين، لن يتمكن الطلاب من إصلاح الأكواد الخاطئة التي أنشأها الذكاء الاصطناعي أو حتى فهم ما هو الخطأ في المقام الأول.

3. الامتثال والأمن. تعتبر العديد من أطر الامتثال أن الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي ينطوي على مخاطر أعلى بسبب احتمال حدوث أخطاء وخلل. هناك أيضًا اعتبارات مهمة تتعلق بالترخيص وحقوق النشر - فقد تقوم نماذج الذكاء الاصطناعي عن غير قصد بإعادة إنتاج كود بتراخيص غير متوافقة، مما يؤدي إلى انتهاكات للامتثال. بالإضافة إلى ذلك، هناك تساؤلات مفتوحة حول ما إذا كان الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي يمكن اعتباره ملكية خاصة أو خاضعًا لحقوق النشر.

4. تتبع المصدر والرمز. قبل ظهور الذكاء الاصطناعي، كانت أدوات مثل git blame تسهل تتبع من كتب كل سطر من الرمز ولماذا تم إجراء التغييرات. مع إنتاج الذكاء الاصطناعي لكميات كبيرة من الرموز، يصبح من الصعب على المطورين تذكر السياق والأسباب الكامنة وراء كل سطر. تساعد القدرة على اكتشاف وتتبع الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي في صيانة الكود وتصحيح الأخطاء وإدارة الموارد. يمكن للمديرين التقنيين وقادة الهندسة استخدام هذه المعلومات لتقييم فعالية نماذج الذكاء الاصطناعي المختلفة والتأكد من أن فرقهم تستخدم أفضل الأدوات المتاحة.

قدرة Pangram على اكتشاف الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي

بشكل عام، يستطيع Pangram الكشف بشكل متحفظ عن معظم الأكواد التي تم إنشاؤها بواسطة الذكاء الاصطناعي، خاصةً عندما يزيد طول الكود عن 40 سطرًا. يعتبر Pangram متحفظًا لأنه نادرًا ما يحدد الأكواد المكتوبة بواسطة البشر على أنها تم إنشاؤها بواسطة الذكاء الاصطناعي، ولكنه يفوت حوالي 8٪ من الأكواد التي تم إنشاؤها بواسطة الذكاء الاصطناعي، ويتنبأ خطأً بأنها مكتوبة بواسطة البشر.

عند النظر إلى جميع مقتطفات الكود، يفقد Pangram حوالي 20٪ من الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، لأن معظم مقتطفات الكود القصيرة التي تم إنشاؤها بواسطة الذكاء الاصطناعي هي نصوص نمطية لا يمكن تمييزها عن الكود البشري أو لا تحتوي على إشارات كافية ليتم اكتشافها.

دقة في الكود يزيد طوله عن 40 سطراً

دقة جميع مقتطفات الكود

مجموعة البيانات

نستخدم مجموعة بيانات GitHub لإجراء هذا التحليل. بالنسبة لرمز الذكاء الاصطناعي، نستخدم مرحلة انعكاس اصطناعية بسيطة من مرحلتين:

1. اطلب من LLM تقديم ملخص موجز عن مضمون القانون.
2. اطلب من LLM كتابة نموذج كود وفقًا للملخص الذي تم إرجاعه.

نستخدم GPT-4o و Claude Sonnet و Llama 405b و Mistral 7B و Gemini 1.5 Flash و Gemini 1.5 Pro لإنشاء مجموعة البيانات.

توصيات للكشف عن الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي

يصعب اكتشاف الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي أكثر من الكتابة التي تم إنشاؤها بواسطة الذكاء الاصطناعي لأن درجات الحرية أقل بكثير: فهناك خيارات أسلوبية أقل تعسفية يتخذها المبرمج مقارنة بالكاتب. نلاحظ في النتائج السلبية الخاطئة التي نراها أن العديد من الملفات لا تحتوي على مساحة كبيرة للإبداع أو المرونة، مثل الكود النمطي الذي يتم إنشاؤه تلقائيًا أو ملفات التكوين. كما أن اللغات منخفضة المستوى، مثل C و Assembly ورمز المُجمع، أكثر صرامة في صياغتها، وبالتالي هناك إشارات أقل تمكننا من معرفة متى يكون الكود من إنتاج الذكاء الاصطناعي.

إذا كنت تبحث عن علامات تشير إلى وجود كود تم إنشاؤه بواسطة الذكاء الاصطناعي، نوصي بما يلي:

• التعليقات: غالبًا ما يكون للرموز التي يتم إنشاؤها بواسطة الذكاء الاصطناعي طريقة محددة للغاية في كتابة التعليقات. كما نلاحظ أن الرموز التي يتم إنشاؤها بواسطة الذكاء الاصطناعي تحتوي على تعليقات أكثر بكثير مما يكتبها البشر عادةً.
• التشابه الداخلي: غالبًا ما يكون الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي مشابهًا للكود الآخر الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، خاصةً بالنسبة للمهام الفردية في فصل البرمجة. يتوفر MOSS، وهو مقياس تشابه البرامج الذي تم تطويره في جامعة ستانفورد، للاستخدام غير التجاري، وهو فعال في اكتشاف تشابه الكود ويمكنه غالبًا اكتشاف العديد من مهام البرمجة المشابهة التي تم إنشاؤها بواسطة الذكاء الاصطناعي.
• يمكن لـ Pangram اكتشاف جزء كبير من الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي دون نتائج إيجابية خاطئة، ولكن النتائج السلبية الخاطئة شائعة. يمكن الوثوق بـ Pangram كأداة فحص لاكتشاف بعض حالات الانتحال في الكود الذي تم إنشاؤه بواسطة الذكاء الاصطناعي في البداية، ولكن ليس كلها.