التعلم من المكافأة

الوعد الذي قطعه الدرس 1.2

سمّى الدرس 1.2 ثلاثة أنواع من تعلُّم الآلة، وقال عن الثالث إن «التعلم المعزَّز مختلف اختلافًا جوهريًا عن التعلم الخاضع للإشراف وغير الخاضع للإشراف على حدٍّ سواء». ثم وضع هذا النوع الثالث جانبًا. وكل وحدة بعده كانت عن مجموعة بيانات ثابتة: صفوف جُمِعت قبل أن تأتي، ونموذج مهمته أن يربط كل صف بجواب. هذه الوحدة تعود إلى ذلك الوعد.

التحوُّل ليس عائلة نماذج جديدة، بل صياغة جديدة للمشكلة. لا توجد مجموعة بيانات. يوجد موقف، ومجموعة من الأشياء التي يجوز لك فعلها، ورقم يصل بعد ذلك ليخبرك بمدى نجاح ما فعلته. وعليك أن تستنتج من هذا الرقم وحده ما ينبغي فعله — والطريقة الوحيدة لمعرفة ما يدفعه فعل لم تجرّبه هي أن تجرّبه.

المرجع القياسي لكل ما في هذه الوحدة هو كتاب ساتون وبارتو Reinforcement Learning: An Introduction (الطبعة الثانية، 2018). والترميز المستخدم هنا هو ترميزهما، حتى يُقرأ الكتاب امتدادًا لهذه الدروس الأربعة لا تمرينًا في الترجمة.

الحلقة: ست كلمات تُعرّف الصياغة

للتعلم المعزَّز رسمٌ واحد، وهو حلقة بمربّعَين. الوكيل هو الذي يقرر. والبيئة هي كل ما عداه — العالم الذي يعمل فيه الوكيل، بما في ذلك أجزاؤه التي لا يستطيع رؤيتها. وتدور الحلقة في خطوات زمنية منفصلة.

في كل خطوة يرصد الوكيل حالة S_t، وهي وصف للموقف الآن. ثم يختار فعلًا A_t من الأفعال المتاحة في تلك الحالة. تستجيب البيئة بـمكافأة R_t+1، وهي عدد قياسي واحد، وبحالة تالية S_t+1. ثم تدور الحلقة من جديد. والحلقة الواحدة هي تشغيلة واحدة من حالة البداية إلى حالة نهائية — مباراة واحدة، أو رحلة توصيل واحدة، أو محادثة واحدة. وبعض المشكلات لا حالة نهائية لها أصلًا، وتُسمّى مستمرة.

القاعدة التي يتبعها الوكيل هي سياسته. السياسة الحتمية تسمّي فعلًا واحدًا لكل حالة؛ والسياسة الاحتمالية تمنح كل فعل احتمالًا. والتعلم في هذه الصياغة يعني تغيير السياسة حتى يتجاوز مجموعُ المكافآت التي تجمعها ما كان عليه قبلًا.

لا خاضع للإشراف ولا غير خاضع له — لسببين لا سبب واحد

التفسير المعتاد أن التعلم المعزَّز بلا تسميات. هذا صحيح، وهو النصف الأسطح. التعلم الخاضع للإشراف يُخبَر بالفعل الصحيح الذي يتخذه؛ أما التعلم المعزَّز فلا يُخبَر إلا بقيمة الفعل الذي اتخذه، ولا شيء عن الأفعال التي لم يتخذها. مكافأة قيمتها 3 لا تقول إن كان 10 متاحًا. هذا هو الفرق بين التغذية الراجعة الإرشادية والتغذية الراجعة التقييمية، وهو سبب اضطرار الوكيل إلى التجريب بدلًا من مجرد الملاءمة.

أما النصف الأعمق فيُترك عادةً دون ذكر: توزيع البيانات يعتمد على السياسة. في التعلم الخاضع للإشراف مجموعة التدريب ثابتة، وكل افتراض في الدورة حتى الآن يقوم على ذلك — تقسيم التدريب والاختبار، والتحقق المتقاطع، وحتى معنى فرط التخصيص. أما في التعلم المعزَّز فسياسة الوكيل الحالية هي التي تقرر أي الحالات يزورها، وبالتالي أي خبرة يجمعها. حسّن السياسة فيتحرك توزيع البيانات. مشكلة التعلم هنا غير مستقرة بحكم البناء، وعدم استقرارها ناتج عن شيء فعله المتعلم نفسه.

ويتبع ذلك نتيجتان فورًا. الأولى: السياسة التي لا تزور منطقة من فضاء الحالات لا تجمع عنها أي معلومة، فيمكن أن تكون خاطئة فيها خطأً تعسفيًا إلى الأبد دون أن يناقضها شيء. والثانية: حلقة التحسين قد تتغذى على نفسها، فسياسة أفضل قليلًا تزور حالات مختلفة قليلًا، وهذا يغيّر ما يُتعلَّم لاحقًا. ومعظم الصعوبة العملية في التعلم المعزَّز — ومعظم سمعته في عدم الاستقرار — سببها هذا الاقتران، لا غياب التسميات.

وليس هذا تعلمًا غير خاضع للإشراف كذلك. فالتجميع وتقليل الأبعاد في الوحدة 5 يبحثان عن بنية في بيانات موجودة سلفًا. أما هنا فهناك هدف مصوغ كرقم، والوكيل يُحاكَم عليه. ويقول ساتون وبارتو الشيء نفسه: التعلم المعزَّز نموذج ثالث، لا حالة خاصة من أحد النموذجين الآخرين.

المكافأة المتأخرة ومشكلة إسناد الفضل

لو كان كل فعل يدفع فوريًا، لكانت المشكلة مجرد جدول بحث. لكنه لا يدفع فوريًا. فالنقلة التي خسّرت مباراة الشطرنج ربما جاءت قبل الخسارة بأربعين نقلة. والتوصية التي دفعت مستخدمًا إلى إلغاء اشتراكه شوهدت قبل ثلاثة أسابيع. المكافأة متأخرة، والنتيجة صورةٌ من مشكلة إسناد الفضل التي حلّها الدرس 6.3 لطبقات الشبكة — لكنها هنا في الزمن لا في العمق.

ويجدر وضع الحالتين جنبًا إلى جنب. الانتشار الخلفي يُسند الفضل عبر رسم حسابي معروف وقابل للتفاضل، وكل مسار في ذلك الرسم متاح للفحص. أما إسناد الفضل الزمني فلا رسم كهذا لديه: للوكيل تسلسل واحد من الحالات والأفعال والمكافآت، وعليه أن يقرّر إلى أي الأفعال السابقة تنتمي المكافأة المتأخرة. ولا يستطيع إعادة تشغيل التاريخ مع تغيير فعل واحد.

وبقية هذه الوحدة كلها آلياتٌ لهذه المشكلة الواحدة. الدرس 14.2 يعرّف الكمية التي تحلّها من حيث المبدأ — قيمة الحالة، أي المكافأة التي يمكن توقعها من هنا وصاعدًا. والدرس 14.3 يبيّن كيف تُقدَّر تلك الكمية من الخبرة خطوةً بخطوة. والدرس 14.4 يذهب إلى السياسة مباشرة.

الاستكشاف مقابل الاستغلال: أصغر مثال حقيقي

جرِّد الصياغة حتى لا تبقى فيها إلا صعوبة واحدة، فتحصل على الآلة متعددة الأذرع (multi-armed bandit): حالة واحدة، وk أفعال، ومكافأة تُسحب من توزيع مجهول مرتبط بالفعل الذي اخترته. لا شيء تخطّط له، لأن لا شيء تفعله يغيّر الموقف الذي أنت فيه. والسؤال الوحيد الباقي هو أي ذراع تسحب تاليًا، وهذا السؤال صعب أصلًا. طرحه روبنز (1952) بهذه الصورة في أدبيات الإحصاء، تحت عنوان التصميم المتسلسل للتجارب؛ ويفتتح ساتون وبارتو كتابهما به لنفس السبب الذي يجعله يظهر هنا.

اعمل حالة بذراعين يدويًا. سحبتَ الذراع A ثلاث مرات فحصلت على المكافآت 1 و0 و1؛ وسحبتَ الذراع B مرة واحدة فحصلت على 0. والتقدير البديهي لقيمة كل ذراع هو متوسط المكافأة التي دفعتها حتى الآن.

الوكيل الجَشِع الخالص يختار الآن الذراع ذات التقدير الأعلى، وهي A، فيحصل على مكافأة أخرى، ويحدّث Q(A)، ثم يختار A من جديد. وسيختار A إلى آخر الزمان. وإذا كانت الذراع B تدفع في الحقيقة 0.8 في المتوسط وكان ذلك الصفر الواحد مجرد حظ سيئ، فلن يكتشف الوكيل ذلك أبدًا، لأن اكتشافه يقتضي سحب ذراع قرّر سلفًا أنها أسوأ. هذه هي معضلة الاستكشاف والاستغلال بكاملها: استغلال المعرفة الحالية هو السبيل الوحيد لجمع مكافأة الآن، والاستكشاف هو السبيل الوحيد إلى معرفة أفضل تستغلها لاحقًا. وكل خطوة تصرف الميزانية على أحدهما.

وأبسط جواب عملي هو الجَشِع مع ε: اتخذ الفعل الأعلى تقديرًا في معظم الأحيان، وباحتمال صغير ε اختر عوضًا عن ذلك اختيارًا عشوائيًا منتظمًا.

إعادة حساب المتوسط من الصفر بعد كل سحبة تعني تخزين كل مكافأة. وهذا غير لازم: يمكن الاحتفاظ بالمتوسط خطوةً بخطوة، والصورة التي يتخذها هي صورة كل قاعدة تحديث تقريبًا في هذه الوحدة.

التلاعب بالمكافأة: تحصل على ما قِسته

كل ما سبق يفترض أن المكافأة تقول ما قصدتَه. وتحديدها هو أصعب مهمة هندسية في التعلم المعزَّز التطبيقي، وهي صعبة على نحو محدَّد: الوكيل مُحسِّنٌ لا يكلّ للرقم الحرفي، وهو لا يشاركك افتراضاتك غير المعلنة عن الكيفية التي يُفترض أن يرتفع بها ذلك الرقم.

كافئ روبوت تنظيف على كمية الغبار التي يجمعها فقد يتعلّم أن يقلب السلة ويجمعها مرة أخرى. وكافئ نظام توصيات على النقرات فسيتعلّم أي العناوين أصعب على المقاومة، وهذا ليس نفس السؤال عن أي المقالات تستحق القراءة. وكافئ عدّاءً محاكيًا على السرعة الأمامية فقد يجد وضعية تستغل خللًا في محرّك الفيزياء بدلًا من أن يتعلّم الجري. وفي كل حالة لم يفعل الوكيل شيئًا خاطئًا: لقد عظّم الدالة الهدف التي أُعطيت له.

أين يستحق التعلم المعزَّز كلفته فعلًا

التعلم المعزَّز هو الأداة الخطأ أكثر بكثير مما هو الأداة الصحيحة. وهو يستحق كلفته حين تتحقق ثلاثة أمور معًا: أن تكون القرارات متسلسلة، بحيث يغيّر ما تفعله الآن ما تواجهه لاحقًا؛ وأن تكون التغذية الراجعة تقييمية ومتأخرة، فلا يستطيع أحد أن يسلّمك أفعال صحيحة مُسمّاة؛ وأن تكون الخبرة رخيصة بما يكفي لجمعها، من نظام حقيقي أو من محاكٍ جيد. وإن اختلّ أحد الثلاثة، فالتعلم الخاضع للإشراف عادةً أسرع وأرخص وأسهل في التنقيح.

وهذه أربع بيئات يناسبها فعلًا:

والحدود الصادقة موضعها هنا أيضًا، وسيذكرها الدرس 14.4 كما ينبغي: التعلم المعزَّز جائع للعيّنات، وحسّاس لتحديد المكافأة، ومُتعِب في إعادة الإنتاج، وكثيرًا ما تهزمه الفجوة بين المحاكي والواقع. وليس في ذلك سبب لتجاوز الوحدة — بل سبب للتعرّف على هذه الصياغة عندما تكون فيها حقًا.