طرق السياسة
درّب تعلّم القيمة Q قيمًا ثم قرأ سياسةً منها. كانت السياسة ناتجًا ثانويًا. هذا الدرس يدرّب السياسة نفسها — وينتهي بأين يُستخدم التعلّم المعزَّز فعلًا، وأين لا يُستخدم.
تعلّم السياسة مباشرة
- الأفعال المتصلة — maxa Q على زاوية توجيه هو تحسين بنفسه، داخل كل تحديث
- الأمثلية العشوائية — أفضل سياسة في حجر-ورقة-مقص عشوائية؛ وargmax لا تقول ذلك
- النعومة — تغيّر قيمة ضئيل يقلب argmax؛ أما الاحتمالات فتتحرك بلطف
تدرّج السياسة
اجعل الأفعال الجيدة أكثر احتمالًا، بنسبة جودتها. ولاحظ الغائب: لا حدّ يفاضل البيئة، فيبقى هذا خاليًا من النموذج. وهذه هي الصيغة غير المخصومة — فمع الخصم يحمل الحدُّ عند الخطوة t وزنًا مقداره γt، وهو ما يُسقَط عمليًا. ساتون وبارتو (2018)، فصل تدرّج السياسة.
REINFORCE
أبسط تمثيل. العب حلقة؛ واستخدم العائد Gt الذي تبع كل خطوة فعلًا بدلًا من Q. صعود تدرّجي — الإشارة موجَبة، لأن المكافأة تُعظَّم لا الخسارة تُصغَّر.
غير متحيزة، ومشوّشة بلا حدّ
تجمع Gt كل مكافأة بعد الفعل، فتمتصّ كل حادث عشوائي تبعه. فعلان متطابقان قد يسحبان عائدين مختلفين جذريًا — أحدهما يُعزَّز بقوة والآخر يُثبَّط بقوة.
خطوط الأساس والأفضلية
اطرح أي شيء يعتمد على الحالة لا على الفعل: يبقى التدرّج غير متحيز، ويهبط التباين. استخدم V(s) وتحصل على الأفضلية — فتصير الدرجات المطلقة نسبية.
الفاعل والناقد
الفاعل هو السياسة ويتبع تدرّج السياسة. والناقد يقدّر V(s) بانحدار فرق زمني عادي — استنهاض الدرس 14.3، مُعادًا استخدامه. ومع ناقد تصبح الأفضلية خطأ الفرق الزمني، فلا حاجة إلى حلقة منتهية.
الدالة الهدف المقصوصة لـPPO
خطوة واحدة مفرطة الحجم تُخرّب السياسة — والسياسة تولّد البيانات، فلا تستطيع التعافي. يقصّ PPO نسبة الاحتمال rt(θ) في [1−ε، 1+ε]. ولأنه يأخذ الأصغر، يستوي عائد الدفع أكثر.
مُمِلّ، ويعمل
- الرتبة الأولى فقط — طرق منطقة الثقة الأسبق احتاجت معلومات انحناء؛ وقصٌّ وأصغر يعطيان أثرًا مقاربًا
- وسائط فائقة قليلة — مدى قصّ، ومعدل تعلّم، وعدد دورات
- إعادة استخدام البيانات — القصّ هو ما يجعل عدة دورات على حزمة واحدة آمنة
- الخصائص التي دعا إليها شولمان وآخرون — وأوضحُ مكان يلتقي فيه معظم الناس به هو RLHF (الشريحة التالية)
- ملاحظة: ε هذه مدى قصّ، لا علاقة لها بإبسيلون الاستكشاف
RLHF
لا توجد دالة مكافأة لـ«جواب مفيد»، لذا تُتعلَّم. أرسى كريستيانو وآخرون (2017) هذا؛ وطبّقه أويانغ وآخرون (2022) على نماذج اللغة.
- بيانات التفضيل — البشر يرتّبون الأزواج، لا يمنحونها درجات
- نموذج المكافأة — ملاءمة مُشرَفة على تلك الترتيبات
- ضبط دقيق بـPPO — مع عقوبة على الانحراف عن النموذج الأصلي
حدود صريحة
- عدم كفاءة العيّنات — ملايين الحلقات لمهام يتعلمها الإنسان في دقائق
- تحديد المكافأة — الوكيل يُحسّن ما كتبتَه، لا ما قصدتَه
- المحاكاة إلى الواقع — السياسة المدرَّبة في محاكٍ تعلّمت المحاكي، بأخطائه
- قابلية إعادة الإنتاج — بذور مختلفة، منحنيات مختلفة جدًا. تشغيل واحد ليس دليلًا
إلى أين يمضي هذا
طرق السياسة تدرّب πθ مباشرة، وهو ما لا تستطيعه القيم مع الأفعال المتصلة أو العشوائية فعلًا. REINFORCE غير متحيزة ومشوّشة؛ وخط الأساس يعطي الأفضلية؛ والناقد يجعل التحديثات بخطوة واحدة ممكنة؛ وPPO يقصّ الخطوة لينجو التشغيل. وRLHF هو تلك الطبقات كلها موجَّهةً إلى التفضيل البشري. وإذا كانت لديك أمثلة مُسمّاة للسلوك الصحيح، فاستخدم التعلّم المُشرَف بدلًا منه.