التنظيم | ML-101

مشكلة الإفراط في التخصيص

في الدرس السابق عن الانحدار الخطي، رأينا أن الميزات متعددة الحدود تتيح لنا ملاءمة المنحنيات. لكن هناك فخ خطير: كثير الحدود بدرجة عالية يمكن أن يمر عبر كل نقطة تدريب — محققًا خطأ تدريب صفريًا — بينما ينتج تنبؤات خاطئة تمامًا على بيانات جديدة. النموذج حفظ الضوضاء بدلًا من تعلم النمط.

السبب الجذري؟ أوزان كبيرة. عندما تنمو الأوزان بلا قيود، يصبح النموذج شديد الحساسية — تغيرات صغيرة في المدخلات تسبب تقلبات هائلة في المخرجات. التنظيم يحل هذا بإضافة عقوبة تثبط الأوزان الكبيرة.

دالة التكلفة المنظَّمة

الفكرة أنيقة: عدّل دالة التكلفة بحيث يتوجب على المحسّن أن يوازن بين هدفين متنافسين. ملاءمة البيانات جيدًا (تقليل MSE) وإبقاء الأوزان صغيرة (تقليل العقوبة). معامل التنظيم λ يتحكم في التوازن — λ أعلى يعني تنظيمًا أقوى.

تنظيم L2: انحدار ريدج

انحدار ريدج يضيف مجموع مربعات الأوزان لدالة التكلفة. هذه العقوبة تنمو تربيعيًا كلما زاد أي وزن، مما يخلق ضغطًا قويًا لإبقاء جميع الأوزان صغيرة وموزعة بالتساوي.

دالة تكلفة ريدج

J(\mathbf{w}) = \frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i - y_i)^2 + \lambda \sum_{j=1}^{p} w_j^2

MSE زائد λ مضروبًا في مجموع مربعات الأوزان. العقوبة تقلّص الأوزان نحو الصفر لكن لا توصلها للصفر تمامًا أبدًا.

لريدج حل بصيغة مغلقة يوسّع المعادلة العادية. حد λI يضمن أن المصفوفة قابلة للعكس دائمًا — حتى عندما يكون لديك ميزات أكثر من نقاط البيانات.

حل ريدج

\mathbf{w} = (\mathbf{X}^T \mathbf{X} + \lambda \mathbf{I})^{-1} \mathbf{X}^T \mathbf{y}

حد λI ينظّم عكس المصفوفة، مما يضمن حلًا وحيدًا حتى في المسائل سيئة الاشتراط.

تنظيم L1: انحدار لاسو

انحدار لاسو (عامل الانكماش المطلق الأدنى والاختيار) يضيف مجموع القيم المطلقة للأوزان. الفرق الجوهري عن ريدج: L1 يمكنه دفع الأوزان إلى الصفر تمامًا، مما يزيل فعليًا الميزات غير ذات الصلة من النموذج.

دالة تكلفة لاسو

J(\mathbf{w}) = \frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i - y_i)^2 + \lambda \sum_{j=1}^{p} |w_j|

عقوبة القيمة المطلقة تنتج حلولًا متناثرة — كثير من الأوزان تصبح صفرًا تمامًا، مما يؤدي اختيارًا تلقائيًا للميزات.

لماذا يصفّر L1 الأوزان؟

الهندسة تفسر ذلك. منطقة قيد L2 هي دائرة ناعمة — خطوط تساوي الخسارة عادة تلمسها عند نقاط غير محورية (كل الأوزان غير صفرية). منطقة قيد L1 هي ماسة بزوايا حادة على المحاور — خطوط تساوي الخسارة تلمسها غالبًا عند زاوية حيث وزن واحد أو أكثر صفر تمامًا.

الشبكة المرنة: دمج L1 وL2

ماذا لو أردت اختيار الميزات (L1) واستقرار ريدج (L2)؟ الشبكة المرنة تجمع العقوبتين. هذا مفيد بشكل خاص عندما تكون الميزات مترابطة — لاسو يميل لاختيار واحدة عشوائيًا من مجموعة ميزات مترابطة، بينما الشبكة المرنة تحتفظ بها معًا.

الشبكة المرنة

J(\mathbf{w}) = \text{MSE} + \lambda_1 \sum |w_j| + \lambda_2 \sum w_j^2

تجمع عقوبتي L1 (التناثر) وL2 (الاستقرار). معاملان فوقيان: λ₁ يتحكم في التناثر، λ₂ يتحكم في الانكماش.

اختيار λ

قوة التنظيم λ هي معامل فوقي — لا يُتعلم من البيانات؛ يجب أن تختاره أنت. صغير جدًا والإفراط في التخصيص يستمر. كبير جدًا والنموذج يبسّط بإفراط، متجاهلًا البيانات لصالح أوزان قريبة من الصفر.

الطريقة المعيارية هي التحقق المتقاطع: جرّب نطاقًا من قيم λ (عادة على مقياس لوغاريتمي: 0.001, 0.01, 0.1, 1, 10, 100)، قيّم كلًا منها بالتحقق المتقاطع k-fold، واختر التي تعطي أقل خطأ تحقق.

المنظور البايزي

للتنظيم تفسير احتمالي جميل. إضافة عقوبة تعادل رياضيًا وضع توزيع قبلي على الأوزان قبل رؤية البيانات. تنظيم L2 يقابل توزيعًا غاوسيًا قبليًا (نعتقد أن الأوزان موزعة طبيعيًا حول الصفر). L1 يقابل توزيع لابلاس قبليًا (مدبب بحدة عند الصفر، مما يجعل الأصفار الدقيقة محتملة). البيانات تُحدّث هذه الاعتقادات.

إرشادات عملية

استخدم ريدج عندما تعتقد أن كل الميزات تساهم وتريد تنبؤات مستقرة. استخدم لاسو عندما تشك أن ميزات كثيرة غير ذات صلة وتريد اختيارًا تلقائيًا للميزات. استخدم الشبكة المرنة عندما تكون الميزات مترابطة. حجّم الميزات دائمًا قبل تطبيق التنظيم — وإلا فإن العقوبة تعاقب الميزات ذات المقاييس الأكبر بشكل غير عادل.

مع النماذج الخطية والتنظيم في جعبتك، أنت مستعد لنهج مختلف جذريًا — أشجار القرار، التي تتعلم قواعد بدلًا من معادلات، وأساليب التجميع التي تدمج كثيرًا من المتعلمين الضعفاء في متنبئين أقوياء.

النقاط الرئيسية

التنظيم يحارب الإفراط في التخصيص بإضافة عقوبة للأوزان الكبيرة لدالة التكلفة، يتحكم فيها λ.
L2 (ريدج) يضيف مربعات الأوزان — يقلّص كل الأوزان نحو الصفر لكن لا يصل بها للصفر أبدًا. له حل بصيغة مغلقة.
L1 (لاسو) يضيف القيم المطلقة للأوزان — يدفع الأوزان غير المهمة للصفر تمامًا، مؤديًا اختيارًا تلقائيًا للميزات.
الشبكة المرنة تجمع L1 وL2، مقدمة التناثر والاستقرار معًا للميزات المترابطة.
اختر λ عبر التحقق المتقاطع. التنظيم يعادل وضع توزيع قبلي بايزي على الأوزان.