بانغرام مقابل تورنتيتين: أيهما أفضل في الكشف عن النصوص المكتوبة باستخدام الذكاء الاصطناعي؟

إذا كنت على دراية بمجال النزاهة الأكاديمية، فمن المرجح أنك تعرف برنامج «تيرنيتين». إنه الرائد في الأوساط الأكاديمية، ولأسباب وجيهة عندما يتعلق الأمر بالكشف عن الانتحال. 

تستخدم المدارس في جميع أنحاء البلاد برنامج «تيرنيتين» (Turnitin) للتحقق من أعمال الطلاب بحثًا عن أي انتحال أدبي — وقد يظن المرء أنه، نظرًا لأن هذا البرنامج يشكل بالفعل جزءًا كبيرًا من سير العمل، فإن الاستفادة من ميزات الكشف التي تعتمد على الذكاء الاصطناعي فيه ستكون الخطوة التالية الطبيعية. 

ولكن في حين أن نظام الكشف عن المحتوى المولد بالذكاء الاصطناعي في «تورنتيتين» قد يكون مفيدًا في حالات الضرورة، فإن المحتوى المولد بالذكاء الاصطناعي يتجاوز نطاق الفصل الدراسي بكثير جدًّا. فقد وجدنا أن 67% من القراء عبر الإنترنت قد صادفوا معلومات مضللة مولدة بالذكاء الاصطناعي — ومع ذلك، لا تزال هذه المجموعة نفسها تشعر بالقلق إزاء معدلات النتائج الإيجابية الخاطئة. 

تظل الدقة أمرًا مهمًا سواء داخل الفصل الدراسي أو خارجه. 

ولهذا السبب، عندما قمنا بمقارنة «بانغرام» و«تورنيتين» وجهاً لوجه، كانت الدقة هي العامل الأهم الذي قمنا بتقييمه. 

سأستعرض معكم اليوم نتائج بحثنا، الذي يغطي أداء الكشف، ومعدلات الإيجابيات الخاطئة، ودعم اللغات، وإمكانية الوصول، والأسعار، وخيارات النشر، وذلك لمعرفة أي منصة هي الأنسب لاحتياجاتكم. 

بانغرام مقابل تورنيتين: ملخص المقارنة

على الرغم من التشابه بينهما للوهلة الأولى، فإن كل من «بانغرام» و«تورنيتين» يتعاملان مع الكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي انطلاقًا من أولويات مختلفة جذريًّا. وتُعد «تورنيتين» نظامًا بيئيًّا أوسع نطاقًا قامت العديد من المؤسسات الأكاديمية بتطبيقه بالفعل، ويشتمل أيضًا على ميزات للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي. 

أما «بانغرام»، فقد تم تصميمه خصيصًا ليكون الكشف عن الذكاء الاصطناعي هو أولويته القصوى قبل أي شيء آخر. 

ما هو البانغرام؟

«بانغرام» هي منصة للكشف عن استخدام الذكاء الاصطناعي، تم إنشاؤها خصيصًا للمعلمين والناشرين وفرق القبول، بل وأي فرد أو مؤسسة تحتاج إلى تقييم مصدر نص ما. إذا كنت ترغب في معرفة ما إذا كان الذكاء الاصطناعي قد استُخدم في إنشاء محتوى ما، فيمكننا مساعدتك. 

إن أساليبنا هي ما يميزنا عن أجهزة الكشف الأخرى. فقد كانت أدوات الكشف المبكرة القائمة على الذكاء الاصطناعي تركز بشكل مفرط على القياسات السطحية مثل «التشوش» و«التقلب». 

ولهذا السبب، قمنا بتطوير «بانغرام» لمعالجة مشكلتين من أكبر المشكلات في مجال الكشف عن الذكاء الاصطناعي، وهما: النتائج الإيجابية الخاطئة والمحتوى الذي يبدو وكأنه من صنع الإنسان. 

يتم تدريب نماذجنا على ملايين الأمثلة من النصوص المكتوبة بواسطة البشر وتلك التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مما يتيح لها التعرف بدقة على النصوص المولدة دون الإبلاغ الخاطئ عن الأعمال التي كتبها البشر. 

والنتيجة؟ جهاز كشف مصمم لفحص الوثيقة بأكملها بدلاً من التركيز على عدد قليل من الإشارات المنفصلة. 

تدعم «بانغرام» اليوم الكشف عن الأخطاء في 24 لغة، وتوفر منصة ويب، وملحقًا لمتصفح «كروم»، وعمليات تكامل مع أنظمة إدارة التعلم (LMS)، وواجهة برمجة تطبيقات (API) مخصصة للمؤسسات التي تحتاج إلى التحقق من المحتوى على نطاق واسع.

ما هو Turnitin؟

إذا كنت قد درست في أي جامعة خلال العقدين الماضيين، فلا بد أنك تعرف هذا الاسم! «تورنتيتين» هي منصة مخصصة للنزاهة الأكاديمية تشتهر ببرنامجها الخاص بالكشف عن الانتحال. وقد أطلقت الشركة أحدث منتجاتها في عام 2023، عندما وسعت نطاق خدماتها لتشمل الكشف عن النصوص المكتوبة باستخدام الذكاء الاصطناعي (وهي خطوة كانت منطقية للغاية). 

كانت العديد من المدارس تستخدم بالفعل برنامج «تيرنيتين» (Turnitin) لمقارنة الأعمال التي يقدمها الطلاب بقاعدة بيانات ضخمة تضم الأعمال المنشورة والمقدمة سابقًا. وأتاحت إضافة ميزة الكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي للمؤسسات التعليمية تقييم كل من حالات الانتحال والكتابة التي تم إنتاجها بواسطة الذكاء الاصطناعي جنبًا إلى جنب.

وبالتالي، غالبًا ما يتم اعتماد «تورنتين» كجزء من برنامج أوسع نطاقًا للنزاهة الأكاديمية، وليس كأداة مستقلة للكشف عن الانتحال باستخدام الذكاء الاصطناعي.

ولا يزال جمهورها الرئيسي هو المدارس من مرحلة رياض الأطفال حتى الصف الثاني عشر والجامعات التي تحتاج إلى أنظمة مركزية لإدارة النزاهة الأكاديمية على نطاق واسع.

الدقة

بالنسبة لأي شخص يقوم بتقييم أداة للكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي، فإن الدقة هي المقياس الأساسي الذي يجب الاهتمام به. ولحسن الحظ، لا داعي للتخمين بشأن الدقة عندما يتعلق الأمر بأي من هاتين الأداتين. فقد نشرت كل من Pangram وTurnitin تقارير فنية، مما يتيح لنا مقارنة الأرقام مباشرةً. 

قبل أن ندخل في تفاصيلها، يجدر بنا توضيح معنى «الدقة» في هذا السياق، لأن هذا المصطلح يُستخدم بكثرة في مجال الكشف عن الذكاء الاصطناعي. ولا يوجد في الواقع سوى مقياسين ذوي صلة بهذا الموضوع، لذا فإن الأمر سهل الفهم. 

• معدل الدقة: ما مدى دقة الكاشف في تحديد المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي؟ 

• معدل الإيجابيات الكاذبة: ما مدى تكرار قيام جهاز الكشف بتصنيف الكتابة البشرية خطأً على أنها ناتجة عن الذكاء الاصطناعي؟

معظم أدوات الكشف عن الذكاء الاصطناعي المتوفرة في السوق حالياً تميل بشكل مفرط إلى أحد الجانبين. من السهل تحقيق النجاح في أحد المجالين، لكن تحقيق النجاح في كليهما أمر أصعب بكثير. ولحسن الحظ، فإن كل من Pangram وTurnitin يحققان أداءً جيداً إلى حد ما في هذا المجال. 

بفضل التقرير الفني الصادر عن Turnitin، نعلم أن الباحثين توصلوا إلى معدل استرجاع بلغ 76.8% لمحتوى GPT-4 عند اختبار أداتهم. وهذا يعني أنه في التجارب الفنية، فاتت Turnitin اكتشاف واحدة من كل أربع مشاركات تم إنشاؤها بواسطة الذكاء الاصطناعي.

وبالمثل، خلص التقرير الفني لشركة «بانغرام» إلى أن نسبة الكشف التي حققتها «بانغرام» تجاوزت 99.9% في نفس عائلة النماذج. وبالنسبة للمؤسسات التي تراجع كميات كبيرة من أعمال الطلاب، فإن هذه فجوة كبيرة جدًّا بين الأداتين، حيث تكتشف «بانغرام» نسبة أكبر بكثير من المحتوى المُولَّد. 

لا تكون ادعاءات الدقة مثل تلك التي نوقشت أعلاه مفيدة إلا إذا كانت قابلة للتدقيق وخاضعة للاختبار والمراجعة بانتظام. ولهذا السبب ننشر بيانات المقارنة المعيارية وندعم التقييم المستقل من خلال الشراكات الأكاديمية وبرامج إتاحة الوصول للباحثين. وقد قامت دراسات عديدة أجرتها جهات خارجية بقياس أداء «بانغرام» بشكل مباشر. 

وتصبح القصة أكثر إثارة للاهتمام عندما ننظر إلى حالات الإيجابية الكاذبة. تشير «تورنتين» إلى أن معدل الإيجابية الكاذبة يبلغ حوالي 0.51٪، أو ما يعادل وثيقة واحدة من كل 200 وثيقة. أما اختبارات «بانغرام» المعيارية، فتشير إلى أن معدل الإيجابية الكاذبة يبلغ 1 من كل 10,000 بشكل عام، مع أداء أفضل للمقالات الأكاديمية حيث يبلغ المعدل حوالي 1 من كل 25,000.

عندما أقارن بين بيانات الاختبارات المعيارية المتاحة، يتضح جليًّا الفائز في مجال الدقة. فبرنامج «بانغرام» يكتشف نسبة أكبر من المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، مع إنتاج عدد أقل بكثير من النتائج الإيجابية الخاطئة.

معدل النتائج الإيجابية الخاطئة

إن فقدان نص تم إنشاؤه بواسطة الذكاء الاصطناعي أمر مثير للإحباط، لكن اتهام طالب بالغش دون وجه حق في قضية تتعلق بالنزاهة الأكاديمية هو، في رأيي، أمر أسوأ بكثير.

سواء في الفصل الدراسي أو غرفة التحرير أو مكان العمل، يمكن أن تترتب على «النتيجة الإيجابية الخاطئة» عواقب حقيقية. فقد يُتهم طالب بالغش الأكاديمي، أو قد يتم التشكيك في عمل كاتب ما، أو قد يفقد محرر ثقته في مادة مقدمة بشكل شرعي. وإذا لم يتمكن المستخدمون من الوثوق بالنتائج، فإن دقة أداة الكشف تفقد الكثير من أهميتها.

وفقًا لـ«تورنتيتين»، تشير المنصة إلى أن معدل «النتائج الإيجابية الخاطئة» يبلغ 0.51٪، أو ما يعادل 1 من كل 200 تقريبًا. وهذا يعني أنه يتم الإبلاغ عن وثيقة أصلية واحدة بشكل خاطئ تقريبًا لكل 200 وثيقة يتم تقييمها.

تشير تقارير الاختبارات المعيارية التي نشرتها شركة «بانغرام» إلى أن معدل النتائج الإيجابية الخاطئة يبلغ 1 من كل 10,000 حالة بشكل عام. أما في مجموعة بيانات تتضمن مقالات أكاديمية مماثلة لتلك التي تُستخدم في تقييم «تورنيتين»، فإن هذا المعدل ينخفض أكثر ليصل إلى 1 من كل 25,000 حالة.

وقد تم التحقق من هذه الأرقام بشكل مستقل من قبل جامعة شيكاغو، ولهذا السبب يمكننا أن نؤيدها عندما تستخدم المؤسسات برنامج «بانغرام» لاتخاذ قرارات بشأن أعمال الطلاب.

تحيز ESL

أحد الشواغل الرئيسية المستمرة فيما يتعلق بالكشف عن الذكاء الاصطناعي هو ما إذا كان الكُتّاب غير الناطقين باللغة الإنجليزية أكثر عرضةً للتصنيف الخاطئ على أنهم يستخدمون الذكاء الاصطناعي. ونظرًا لأن غير الناطقين باللغة الإنجليزية غالبًا ما يكتبون بطرق تنتج درجات «التشوش» (perplexity) أقل، فقد يبدو الكتابة البشرية أحيانًا مشابهة إحصائيًا للنصوص التي يُنتجها الذكاء الاصطناعي.

يدعي كل كاشف يعتمد على الذكاء الاصطناعي أن الحد من التحيز تجاه اللغة الإنجليزية كلغة ثانية (ESL) يمثل أولوية. لكن السؤال الحقيقي هو: هل تدعم الأرقام هذا الادعاء؟

خلال تقييمنا لنظام ESL، حافظ النموذج على معدلات إيجابية خاطئة منخفضة للغاية في كل من مجموعات البيانات الخاصة بنظام ESL وتلك غير الخاصة به:

تتوافق هذه النتائج مع النهج الأوسع نطاقاً الذي يتبعه «بانغرام» في الكشف عن الذكاء الاصطناعي، والذي يقيّم الأنماط على مستوى الوثيقة بدلاً من الاعتماد على اختيارات المفردات الفردية أو قوالب الكتابة الجامدة.

إذا كنت ترغب في إلقاء نظرة أعمق على البحث الذي استند إليه هذا المقال، فيُرجى الاطلاع على تحليلنا لدقة الكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي في مجال الكتابة للناطقين بغير اللغة الإنجليزية (ESL)، وعلى قدراتنا المتعددة اللغات في الكشف عن النصوص المكتوبة بواسطة الذكاء الاصطناعي.

التوافر

ورغم أن هذا الأمر قد يبدو بديهياً، إلا أن أداة الكشف عن الذكاء الاصطناعي لا تفيد في شيء إذا لم تتمكن من استخدامها! وهذا هو أحد أكبر الفروق بين Pangram وTurnitin، ومن الجدير ذكره هنا لأن العديد من المعلمين يحتاجون فعلاً إلى حل فردي.

Pangram متاح للجميع. سواء كنت معلمًا فرديًا، أو ناشرًا، أو جزءًا من فريق قانوني، أو مراجع محتوى في مؤسسة، أو أي جهة أخرى. قم بإنشاء حساب وابدأ في استخدام المنصة على الفور، بما في ذلك أربع عمليات فحص مجانية يوميًا. انطلق وجربها الآن إذا لم تكن قد جربتها بعد. 

أما «تيرنيتين» (Turnitin)، فمن الصعب الوصول إليها ما لم يتم منح الترخيص على مستوى المؤسسة التعليمية. ولا يحظى المعلمون الأفراد في الغالب بأي فرصة في هذا الصدد. ويقتصر الوصول إلى «تيرنيتين» على أولئك الذين يمتلكون ترخيصًا مؤسسيًّا، والذي عادةً ما تديره المدرسة أو الجامعة.

إلا أن «بانغرام» لا يقتصر استخدامه على الأفراد فقط. فالمجامع الجامعية والمناطق التعليمية يمكنها أيضًا نشر «بانغرام» على نطاق واسع من خلال الترخيص المؤسسي، مما يتيح لأعضاء هيئة التدريس والموظفين وصولاً غير محدود إلى المنصة، إلى جانب إمكانية التكامل مع أنظمة إدارة التعلم (LMS).

بعبارة أخرى، يتوفر برنامج «بانغرام» للاستخدام الفردي، مع استمرار دعمه لعمليات النشر المؤسسية التي صُمم برنامج «تيرنيتين» من أجلها. 

الأسعار

وعلى نفس المنوال، تتسم «تورنيتين» بنفس القدر من الغموض فيما يتعلق بأسعارها. فإذا لم تكن مؤسسة، فلن تتوفر لك أي معلومات عن الأسعار. 

تسهّل منصة «بانغرام» الاطلاع على أسعارنا ومقارنتها. يمكن للمستخدمين الأفراد البدء مجانًا بأربع عمليات مسح يوميًا، بينما تبدأ الباقات المدفوعة من 15 دولارًا شهريًّا لتشمل ما يصل إلى 600 عملية مسح بالذكاء الاصطناعي. كما تتوفر تراخيص مؤسسية للمدارس والمنظمات التي تحتاج إلى وصول أوسع نطاقًا، حتى نتمكن من تلبية جميع أنواع الاحتياجات.

إلا أن «تيرنيتين» لا تنشر أسعارها علنًا. تتوفر التراخيص المؤسسية بناءً على عرض أسعار، وعادةً ما يتم التفاوض على الأسعار مباشرةً مع المؤسسات التعليمية. ولا توجد باقة فردية ولا خيار الخدمة الذاتية لمن يرغب في تقييم أداة الكشف قبل اتخاذ قرار الشراء، لذا لا يمكننا التحدث بشكل كامل عن أسعارها.

اللغات المدعومة 

يُعد الدعم اللغوي أحد أهم الاختلافات العملية بين المنصتين.

يدعم برنامج Pangram 24 لغة، منها الإنجليزية، والعربية، والصينية، والهولندية، والتشيكية، والفرنسية، والألمانية، واليونانية، والهندية، والمجرية، والإيطالية، واليابانية، والكورية، والفارسية، والبولندية، والبرتغالية، والرومانية، والروسية، والإسبانية، والسويدية، والتركية، والأوكرانية، والأردية، والفيتنامية.

أما Turnitin، فهي تدعم ثلاث لغات: الإنجليزية واليابانية والإسبانية. ومع ذلك، فإن قدراتنا في إعادة صياغة النصوص باستخدام الذكاء الاصطناعي وتجاوز أنظمة الكشف متاحة فقط للمواد المقدمة باللغة الإنجليزية.

بالنسبة للمؤسسات التي تخدم أعدادًا كبيرة من الطلاب الدوليين، أو فرق العمل في الشركات التي تراجع المحتوى بعدة لغات، فإن هذه الفجوة تُعد ذات أهمية كبيرة. فالأداة التي لا تدعم سوى ثلاث لغات تخلق «نقاط عمياء»، مما يترك المحتوى الذي يُنتج بواسطة الذكاء الاصطناعي باللغات غير المدعومة خارج نطاق المراجعة.

كيف يمكنني استخدام Pangram؟

تتمثل إحدى مزايا Pangram مقارنةً بـ Turnitin في المرونة. فبدلاً من الاقتصار على مسار عمل واحد، يمكن استخدام Pangram بعدة طرق مختلفة اعتمادًا على الطريقة التي تراجع بها المحتوى:

• لوحة التحكم: يمكنك استخدام لوحة التحكم المجانية من Pangram للصق النصوص أو تحميل المستندات والتحقق من احتوائها على محتوى تم إنشاؤه بواسطة الذكاء الاصطناعي. ومن خلال لوحة التحكم، يمكنك الاطلاع على تقرير مفصل عن النصوص المكتوبة بواسطة الذكاء الاصطناعي، بما في ذلك رسم بياني يوضح الأماكن التي تم العثور فيها على محتوى الذكاء الاصطناعي، بالإضافة إلى تمييز العبارات الشائعة التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

• ملحق Chrome: يمكنك استخدام ملحق Pangram لـ Chrome للتحقق من وجود محتوى مُولَّد بالذكاء الاصطناعي في أي نص، وذلك عن طريق تحديده واختيار «التحقق من وجود محتوى مُولَّد بالذكاء الاصطناعي» من قائمة النقر بزر الماوس الأيمن. تعمل هذه الميزة في أي مكان على الإنترنت، بما في ذلك أداة Speedgrader في Canvas ومنتديات المناقشة. كما يضيف الملحق زرًا في Google Docs للتحقق فورًا من وجود محتوى مُولَّد بالذكاء الاصطناعي في المستند.

• التكامل مع أنظمة إدارة التعلم (LMS): توفر Pangram خيارات تكامل متنوعة، بما في ذلك Canvas وGoogle Classroom. ولا تتوفر هذه الخيارات إلا من خلال الترخيص المؤسسي 

اعثر على منصة الكشف القائمة على الذكاء الاصطناعي المناسبة لفريقك

بشكل عام، قدم كل من «بانغرام» و«تورنيتين» أدلة قوية تدعم ادعاءاتهما بشأن الدقة، لكن «بانغرام» يتفوق على «تورنيتين» بدقة تفوقه بمقدار مرتبتين مقارنةً ببرامج الكشف الأخرى التي تعتمد على الذكاء الاصطناعي.

إذا كنت ترغب في رؤية الفرق بنفسك، فيمكنك تجربة Pangram مجانًا. قم بإجراء أول فحص باستخدام أداة الكشف التي تعمل بالذكاء الاصطناعي، أو استخدم ملحق Chrome للتحقق من المحتوى أثناء التصفح، أو استكشف واجهة برمجة التطبيقات (API) الخاصة بالمؤسسات لمعرفة كيفية عملها.