التعزيز التدريجي
الغابات العشوائية تبني أشجارًا بالتوازي، كل منها مستقلة. التعزيز التدريجي يبنيها بالتسلسل — كل شجرة جديدة تصحح الأخطاء التي تركتها الأشجار السابقة. استراتيجية دقيقة وقوية.
تصحيح البواقي
ابدأ بتنبؤ بسيط. احسب البواقي — ما أخطأت فيه. درّب الشجرة التالية لتتنبأ بتلك البواقي. أضفها إلى نموذجك. كرر حتى تصل إلى نتيجة جيدة.
مجموعة تسلسلية
النموذج النهائي هو مجموع جميع الأشجار، كل منها مُقيَّدة بمعدل تعلم η.
النزول التدرجي في فضاء الدوال
كل شجرة تلائم التدرج السلبي لدالة الخسارة بالنسبة للتنبؤات الحالية. لخسارة MSE، هذا يساوي تمامًا البواقي. وللخسارات الأخرى يتعمم بأناقة.
معدل التعلم
تُضاف كل شجرة بوزن صغير η (عادةً 0.01–0.3). هذا الانكماش يمنع أي شجرة من الهيمنة. η صغير = أشجار أكثر، لكن تعميم أفضل. η كبير = أشجار أقل، خطر الإفراط في الملاءمة.
أشجار ضحلة
يستخدم التعزيز أشجارًا ضحلة — عادةً عمق 3–6. هذه "متعلمون ضعفاء" يتحسنون قليلًا فوق التخمين العشوائي. عديد من المتعلمين الضعفاء مجتمعين تسلسليًا يُشكّلون نموذجًا قويًا جدًا.
XGBoost / LightGBM
أضاف XGBoost (2014) التنظيم والمعالجة المتوازية وبناء أشجار أذكى للتعزيز التقليدي. وأضاف LightGBM (2017) النمو الورقي والتقسيمات المستندة إلى المدرج التكراري لتسريع ×10–100. معًا يهيمنان على مسابقات Kaggle.
دالة هدف منظَّمة
يُقلّل XGBoost دالة هدف منظَّمة تتضمن عقوبة على التعقيد لكل شجرة، مما يمنع الإفراط في الملاءمة بطبيعته.
ضبط التعزيز التدريجي
- n_estimators — عدد الأشجار (استخدم الإيقاف المبكر)
- learning_rate (η) — حجم الخطوة لكل شجرة (0.01–0.3)
- max_depth — عمق الشجرة (3–6 لمعظم المسائل)
- subsample — نسبة العينات لكل شجرة (0.6–0.9)
- colsample_bytree — نسبة الميزات لكل شجرة
- reg_lambda / reg_alpha — تنظيم L2 / L1
الإيقاف المبكر
راقب خسارة التحقق في كل جولة تعزيز. أوقف إضافة الأشجار عند بدء ارتفاع خسارة التحقق. لا حاجة للبحث الشبكي عن n_estimators — فقط اضبطها عاليًا ودع الإيقاف المبكر يجد العدد الصحيح تلقائيًا.
التعزيز مقابل التحزيم
- الغابات العشوائية بالتوازي، التعزيز بالتسلسل
- الغابات تقلل التباين، التعزيز يقلل الانحياز
- الغابات أصعب إفراطًا، التعزيز يحتاج تنظيمًا
- التعزيز يفوز عادةً في الدقة مع الضبط الصحيح
- الغابات أسرع في التدريب وأسهل في التوازي
- التعزيز يهيمن على مسابقات البيانات الجدولية
أهم النقاط
- التعزيز التدريجي يدرّب الأشجار تسلسليًا، كل منها تلائم بواقي السابقة
- تُقيَّد كل شجرة بمعدل تعلم η — η أصغر = تعميم أفضل
- يستخدم أشجار ضحلة "متعلم ضعيف" بعمق 3–6
- XGBoost / LightGBM يضيفان تنظيمًا وسرعة
- استخدم الإيقاف المبكر لإيجاد n_estimators الأمثل تلقائيًا
- غالبًا الطريقة الأعلى دقةً على البيانات الجدولية
الوحدة 4: الشبكات العصبية
الأشجار تتعامل مع البيانات الجدولية ببراعة. لكن للصور والنصوص والصوت — يتجه العالم إلى الشبكات العصبية: طبقات من العُقد المترابطة التي تتعلم تمثيلات هرمية مباشرةً من البيانات الخام.