نظرية المعلومات التي تفسر سبب رداءة الكتابة التي تنتجها الذكاء الاصطناعي

إفصاح: تم استخدام نموذج لغوي يعمل بالذكاء الاصطناعي خلال عملية التحرير لكتابة مسودات الأوصاف الفنية واقتراح تحسينات على البنية والأسلوب. وقد أُدرجت عدة اقتراحات من الذكاء الاصطناعي في النسخة النهائية من المقالة.

لقد قرأت كمية هائلة من الروايات، ولا سيما روايات الخيال العلمي. كما أنني أستخدم كل نموذج رائد من نماذج الذكاء الاصطناعي التي يتم إصدارها في إطار عملي في هندسة البرمجيات.

تركت هاتان التجربتان لديّ شعوراً مزعجاً بأن «صوت» الذكاء الاصطناعي يتسم بتجانس مذهل مقارنةً بمؤلف بشري متميز.

كل من يحب الأدب قد شعر بما أعنيه. لقد قرأت قصصًا لحوالي خمسة آلاف كاتب مختلف، لكنني أعتقد بصدق أنه حتى لو كنت قد قرأت لستة كتاب فقط، فستلاحظ أن لكل كاتب أسلوبه الخاص به.

بالمقارنة مع الأصوات الفريدة للكتاب البشريين، تبدو كتابات الذكاء الاصطناعي متشابهة بشكل لافت للنظر. وتبين أن هناك سببًا وجيهًا وراء ذلك، وهو يتعلق بنظرية المعلومات.

الصوت باعتباره توزيعًا احتماليًا

«الصوت» الفريد للمؤلف ليس عشوائياً، ولا هو عادي. إنه توزيع احتمالي محدد — دعونا نسميه P_author. فعندما يكتب المؤلف، فإنه يستقي عينات من عملية تتميز بدرجة عالية من الخصوصية. ولديه احتمالات شرطية محددة تتعلق بكيفية تطبيقه للمفاهيم، وتيرة السرد، والمفردات، والأدوات الأسلوبية الأخرى.

ما يجعل الصوت مميزًا هو الخيارات ذات التردد المنخفض والتأثير الكبير التي يتخذها المؤلف باستمرار (الجزء الطويل من التوزيع). إذا قلت «تيد تشيانغ»، فسوف تفكر على الفور في مدى بساطة جمله من الناحية النحوية وكثافتها من الناحية الدلالية (إنه أسلوب أحترمه، لكن كما توضح هذه الجملة الواردة بين قوسين، لا أستطيع محاكاته). إذا قلت "أورسولا ك. لي غوين"، فستفكر في مدى وضوحها وواقعيتها مع إضفاء طابع شاعري في الوقت نفسه — لا أستطيع وصف أسلوبها جيدًا، لكن قراء لي غوين يعرفون ما أعنيه.

في النهاية، ما أريد الوصول إليه هو أن الطريقة الصحيحة لقياس مدى "شبه النص بالذكاء الاصطناعي" لا تكمن في التحقق مما إذا كان النص قابلاً للتنبؤ بشكل عام — فمعظم النصوص الجيدة تكون قابلة للتنبؤ إلى حد ما — بل في قياس انحراف KL بين توزيع مخرجات النموذج وتوزيع مؤلف معين: D_KL(P_author || Q_model). بالنسبة لأولئك الذين ليسوا على دراية بتباين KL، فإن هذا يقيس مدى فشل توزيع النموذج في تغطية اختيارات المؤلف (على وجه التحديد، يقيس التكلفة الإضافية المتوقعة للمعلومات لترميز العينات من P باستخدام رمز مُحسّن لـ Q). عندما يكون هذا التباين كبيرًا ومنظمًا، تسمع صوتًا.

مصيدة RLHF و"لهجة إجماع المُعلِّق"

خلال مرحلة ما قبل التدريب، يقوم نموذج لغوي ضخم بإنشاء خريطة للتوزيع العام للنصوص البشرية. ويتميز هذا التوزيع الأساسي، Q_base، بنطاق واسع للغاية. ويحتوي في فضاءه الكامن على القدرة على تقريب أي P_author تقريبًا.

الفخ الذي أشير إليه يبدأ بمسألة التوافق. ولجعل النموذج آمنًا ومفيدًا، تطبق المختبرات تقنيات مثل «التعلم المعزز من ردود فعل البشر» (RLHF) وغيرها. وتختلف التفاصيل، لكن خلاصة القول هي أن النموذج يتم تحسينه لإنتاج مخرجات تحصل على درجات جيدة مقابل إشارة مكافأة مستمدة من تفضيلات البشر (أو الذكاء الاصطناعي).

وهذا لا يدفع النموذج نحو المتوسط الإحصائي للغة الإنجليزية. بل يدفعه نحو شيء له توزيع احتمالي مختلف — دعونا نسمي هذا «لهجة إجماع المُعلِّمين».

والآلية التي تؤدي إلى ذلك هي التالية: عندما يقوم الحكام (سواء كانوا عمالاً مؤقتين تم توظيفهم لتقييم النتائج، أو خبراء، أو أي جهة أخرى) بتقييم النتائج، فإن أسلوب الكتابة الفريد من نوعه يؤدي إلى تباين كبير في التقييمات. قد يحصل أسلوبي في الكتابة على 5/5 من أحد المقيمين و2/5 من آخر. لكن الرد الجاف والمتناسق والمتحفظ للغاية قد يحصل على 4/5 من الجميع. تنص خوارزمية التحسين على أن الطريقة الأكثر أمانًا لتعظيم المكافأة المتوقعة هي تقليص التباين. إنه المكافئ الحواري لديكور ردهة الفندق.

قد تقول: «جو، هذا وصف غير عادل! فالتقنيات الحديثة للمواءمة مصممة صراحةً للحفاظ على التنوع!». ورغم صحة ذلك، فإن الأساليب الحديثة لا تزال تهدف إلى تحسين النتيجة «المفضلة»، وهو ما لا يزال يعاقب على المجازفة التي تنطوي على تباين كبير مقارنةً بالنصوص الآمنة والمقبولة على نطاق واسع.

هذه فرضية قابلة للاختبار (لم أختبرها بنفسي، لكنها قابلة للاختبار). إذا قمت بقياس انحراف كليمنس-لي (KL) بين مخرجات النموذج المُحاذاة ومجموعة نصوص، على سبيل المثال، من "الاتصالات المؤسسية" مقابل "الأدب الخيالي"، فإن توقعي هو أن توزيع النموذج سيكون أقرب بكثير إلى "المركز المؤسسي". على حد علمي، لم ينشر أحد هذا القياس بالضبط، لكن حسابات التحسين تتنبأ بذلك بقوة.

وهم التمويه (لماذا تفشل المطالبة بتحديد النمط)

أعرف ما يدور في ذهنك: نعم، لكن يمكنك توجيه النموذج للخروج عن هذه اللهجة. "اكتب بأسلوب روايات البوليس الصارمة في عشرينيات القرن الماضي" أو ما شابه (جزء مني يرغب في معرفة كيف سيبدو هذا المقال لو طلبت من النموذج إعادة كتابته على غرار كلمات أغاني لوب فياسكو). وهذا ينتج بالفعل نصًا يبدو مختلفًا عن «لهجة إجماع المُعلِّق»، لكنه لا يزال يبدو متجانسًا بشكل مثير للريبة.

وذلك لأن هناك فرقًا رياضيًا بين إزاحة متوسط التوزيع وإعادة إنتاج بنية التباين فيه.

عندما تطلب من نموذج ما أن يقلد أسلوب كاتب ما، فإنه يغير مركز ثقله. فهو يحسب المتوسط الإحصائي لمفردات الكاتب المستهدف، وبنية جمله، وغيرها من السمات الأسلوبية، ثم يتحرك نحو ذلك. لكنه يطبق على هذا الموقع الجديد نفس آليات «تقليص التباين» التي كنا نتحدث عنها.

يعتمد الأسلوب البشري على «الانحراف المنظم». فلكاتب ما إيقاع أساسي، لكنه يكسره عن قصد من خلال أمور مثل الانتقال المفاجئ إلى جملة مجزأة، أو استخدام فعل غير معتاد، أو تشابك الجملة لتحقيق تأثير عاطفي. وتمتلك علم قياس الأسلوب الحاسوبي أدوات لقياس ذلك: فمعاملات هيرست على السلاسل الزمنية لطول الجمل يمكن أن تكشف عن تبعيات بعيدة المدى في الكتابة البشرية تفتقر إليها النصوص التي تنتجها الذكاء الاصطناعي. ويقوم المؤلفون البشريون بتنظيم تنوعهم المعجمي بطرق لا تفعلها النماذج.

ما أعنيه من هذا هو أنه عندما تطلب الكتابة بأسلوب معين، فإن النموذج يستوعب سمات الأسلوب المستهدف، لكنه يخفف من حدة التقلبات. إنه ينتج صورة كاريكاتورية لما طلبته.

فشل "تيمبيراتور" وأصدقاؤه

إذا كان نطاق توزيع الذكاء الاصطناعي ضيقًا جدًّا، فلماذا لا نوسعه ببساطة؟

النهج الأكثر شيوعًا هو «تحجيم درجة الحرارة». فعندما ترفع درجة الحرارة T، تقوم بقسمة قيم اللوجيت الأولية للنموذج على T قبل حساب الاحتمالات، مما يؤدي إلى تسطيح التوزيع بأكمله ويجبر النموذج على اختيار كلمات أقل احتمالية. لكنه يقوم بذلك بشكل عشوائي. فغرابة أسلوب الكاتب البشري ترتبط بظروف محددة للغاية. فالبشر يخرقون القواعد بطرق محددة ومتسقة للغاية، في حين أن «تحجيم درجة الحرارة» لا يؤدي سوى إلى إدخال ضوضاء عشوائية.

آمل أن يكون هذا واضحًا بشكل بديهي — ففي النهاية، تؤدي زيادة درجة الحرارة إلى الانتقال من حالة "السلاسة المشبوهة" إلى حالة "العشوائية المشبوهة" دون المرور بحالة "البشرية" على الإطلاق.

أعلم أن هناك استراتيجيات فك تشفير أكثر تطوراً. فكل من أخذ العينات من أعلى p (النواة)، والتصفية من أعلى k، وعقوبات التكرار، والتوجيه بدون مصنف، كلها تحاول تحقيق إعادة توزيع أكثر استهدافاً. وهي تساعد بالفعل في بعض الجوانب، لكن لا تحل أي منها المشكلة الأساسية المتمثلة في أن هذه تدخلات تتم في وقت الاستدلال وتعمل على نموذج تشكلت فلسفته التشغيلية الكاملة (إن جاز التعبير) خلال مرحلة المواءمة.

وهناك أيضًا فارق دقيق مهم أشار إليه أحد أصدقائي مؤخرًا: فالتوافق لا يمحو القدرة الكامنة للنموذج الأساسي على التباين الأسلوبي. فالأوزان المُدرَّبة مسبقًا لا تزال تحفظ معظم ثراء Q_base، طالما كان لديك ما يكفي من الأوزان. هناك تقنيات توجيهية ناشئة في وقت الاستدلال مثل هندسة التمثيل (Representation Engineering) التي يمكنها استعادة التباين المكبوت جزئيًا من خلال الوصول إلى الفضاء الكامن الأساسي. لكن هذه مجالات بحثية وليست متوفرة في منتجات الذكاء الاصطناعي العامة.

وبالمثل، يمكن أن يُحقق التعلم في سياق طويل نتائج أفضل قليلاً، لكن آليات الانتباه تضعف عندما يصبح السياق كبيراً بما يكفي (وستبدأ في العودة تدريجياً إلى التوزيع المتساوي مع تزايد حجم السياق).

وماذا في ذلك؟

النقطة الأساسية هنا هي أن خيارات التصميم التي تُستخدم في التقنيات المرتبطة بتقنية RLHF ستجعل هذه «الأصوات» التي تولدها الذكاء الاصطناعي قابلة للكشف لفترة أطول بكثير مما يرغب أي شخص في الاعتراف به.

كما أنه من المفيد التفكير في أسلوب الكاتب باعتباره توزيعًا احتماليًا محددًا عالي الأبعاد، وأدعوكم إلى محاولة تحديد بعض انحراف KL بأنفسكم في المرة القادمة التي تقرؤون فيها لأحد مؤلفيكم المفضلين. من أين تأتي صوت الكاتب؟ إنه تمرين ممتع قد يزيد من استمتاعكم بالنص، كما أن عملية التدريب الصعبة واستيعاب المعرفة الجديدة هي عملية جيدة يمكن القيام بها في هذه الأيام التي تشهد ضمورًا في المهارات بسبب نموذجات اللغة الكبيرة (LLM).