أشجار القرار
ماذا لو استطاع نموذجك أن يفكر كالإنسان — يطرح سلسلة من أسئلة نعم/لا حتى يصل إلى إجابة؟ هذا بالضبط ما تفعله أشجار القرار.
بنية الشجرة
شجرة القرار هي مخطط انسيابي من القرارات الثنائية. كل عقدة داخلية تسأل عن ميزة. كل فرع هو إجابة. كل ورقة هي التنبؤ النهائي.
شائبة جيني
تقيس شائبة جيني مدى احتمال التصنيف الخاطئ لعنصر مختار عشوائيًا. العقدة النقية (فئة واحدة) لها جيني = 0. العقدة المختلطة تمامًا لها جيني = 0.5.
الانتروبيا وكسب المعلومات
الانتروبيا تقيس الفوضى في العقدة. نختار التقسيم الذي يعظّم كسب المعلومات — أي يقلل الانتروبيا بعد التقسيم. كلا المعيارين ينتجان أشجارًا متشابهة.
بناء الشجرة
- ١. ابدأ من الجذر بكل بيانات التدريب
- ٢. ابحث عن أفضل ميزة وعتبة للتقسيم
- ٣. قسّم البيانات إلى عقدتين فرعيتين
- ٤. كرّر بشكل تعاودي على كل فرع
- ٥. توقف عند استيفاء شرط الإيقاف
الإفراط في التخصيص
الشجرة المكتملة النمو تحفظ بيانات التدريب، محققةً خطأ تدريب صفري لكن تعميمًا ضعيفًا. الشجرة تعلّمت الضوضاء، لا النمط.
تقليم الشجرة
يحذف التقليم الفروع التي تضيف قدرة تنبؤية قليلة. التقليم المسبق يوقف النمو مبكرًا. التقليم اللاحق ينمّي الشجرة كاملًا ثم يحذف الفروع الضعيفة.
عناصر التحكم
- max_depth — أقصى عمق للشجرة
- min_samples_split — أدنى عينات لتقسيم عقدة
- min_samples_leaf — أدنى عينات في الورقة
- max_features — ميزات تُؤخذ بالحسبان في كل تقسيم
- criterion — gini أو entropy
لماذا تتألق الأشجار
- قابلة للتفسير: يمكن عرض وشرح كل قرار
- لا تحجيم مطلوب: الميزات لا تحتاج تطبيعًا
- بيانات مختلطة: تتعامل مع الرقمية والفئوية
- غير خطية: تلتقط حدود قرار معقدة
- استدلال سريع: مجرد اجتياز الشجرة
حدود الأشجار
- غير مستقرة: تغييرات صغيرة تغيّر الشجرة جذريًا
- موازية للمحاور: الحدود القطرية تتطلب تقسيمات كثيرة
- جشعة: التقسيمات المحلية الأمثل ليست عالميًا
- إفراط في التخصيص: سهل حفظ بيانات التدريب
مثال بسيط
تصنيف ما إذا يجب لعب التنس بحسب الطقس. الجذر يسأل عن المنظر، ثم الفروع تسأل عن الرطوبة أو الرياح.
ما تعلّمته اليوم
أشجار القرار تقسّم البيانات بأسئلة عن الميزات، موجّهةً بشائبة جيني أو الانتروبيا. تفسيرية ومرنة لكن عرضة للإفراط — تُعالج بالتقليم. التالي: الغابات العشوائية تجعلها أكثر قوة.