ML 101
M02 · L03
الوحدة ٢

ترويض التعقيد

نموذجك يناسب بيانات التدريب تمامًا — لكنه يفشل مع بيانات جديدة. هذا هو الإفراط في التخصيص. التنظيم يضيف عقوبة لإبقاء الأوزان صغيرة، مقايضًا قليلًا من دقة التدريب بتعميم أفضل بكثير.

01 / 13
ML 101
M02 · L03
المشكلة

فخ الإفراط في التخصيص

كثير الحدود بدرجة عالية يمكن أن يمر عبر كل نقطة تدريب — خطأ تدريب صفري. لكن بين تلك النقاط يتذبذب بشكل جامح، منتجًا تنبؤات رهيبة على بيانات جديدة.

السبب الجذري
عندما تكبر الأوزان، يصبح النموذج شديد الحساسية لتغيرات المدخلات الصغيرة. التنظيم يُبقي الأوزان صغيرة.
02 / 13
ML 101
M02 · L03
الفكرة

معاقبة الأوزان الكبيرة

أضف حد عقوبة لدالة التكلفة. الآن يجب على المحسّن أن يوازن بين ملاءمة البيانات وإبقاء الأوزان صغيرة. المعامل λ يتحكم في التوازن.

الحدس
λ صغير ← عقوبة ضعيفة (خطر الإفراط). λ كبير ← عقوبة قوية (خطر التبسيط المفرط).
03 / 13
ML 101
M02 · L03
عقوبة L2

انحدار ريدج

تنظيم L2 يضيف مجموع مربعات الأوزان للتكلفة. يقلّص كل الأوزان نحو الصفر — بسلاسة وتناسب — لكن لا يصل بها أبدًا للصفر تمامًا.

تكلفة ريدج
J(\mathbf{w}) = \frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i - y_i)^2 + \lambda \sum_{j=1}^{p} w_j^2
04 / 13
ML 101
M02 · L03
الصيغة المغلقة

حل ريدج

مثل الانحدار الخطي العادي، لريدج حل بصيغة مغلقة. حد λI يجعل المصفوفة قابلة للعكس دائمًا — حتى عندما يتجاوز عدد الميزات عدد العينات.

المعادلة العادية لريدج
\mathbf{w} = (\mathbf{X}^T \mathbf{X} + \lambda \mathbf{I})^{-1} \mathbf{X}^T \mathbf{y}
05 / 13
ML 101
M02 · L03
عقوبة L1

انحدار لاسو

تنظيم L1 يضيف مجموع القيم المطلقة للأوزان. قوته الخارقة: يدفع الأوزان غير المهمة إلى الصفر تمامًا — اختيار تلقائي للميزات.

تكلفة لاسو
J(\mathbf{w}) = \frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i - y_i)^2 + \lambda \sum_{j=1}^{p} |w_j|
06 / 13
ML 101
M02 · L03
الهندسة

الدائرة مقابل الماسة

منطقة قيد L2 هي دائرة (ناعمة، بلا زوايا). منطقة قيد L1 هي ماسة (زوايا حادة على المحاور). خطوط تساوي الخسارة تصطدم بزوايا الماسة — حيث يكون أحد الأوزان صفرًا تمامًا.

L2 (ريدج)
يقلّص الكل
L1 (لاسو)
يصفّر البعض
07 / 13
ML 101
M02 · L03
أفضل ما في الاثنين

الشبكة المرنة

لماذا تختار؟ الشبكة المرنة تجمع عقوبتي L1 وL2. تقوم باختيار الميزات كـلاسو مع الحفاظ على استقرار ريدج عندما تكون الميزات مترابطة.

الشبكة المرنة
J(\mathbf{w}) = \text{MSE} + \lambda_1 \sum |w_j| + \lambda_2 \sum w_j^2
08 / 13
ML 101
M02 · L03
الضبط

اختيار λ

صغير جدًا ← إفراط في التخصيص. كبير جدًا ← تبسيط مفرط. استخدم التحقق المتقاطع: جرّب نطاقًا من قيم λ، واختر التي تعطي أقل خطأ تحقق.

الاستراتيجية الشائعة
ابحث في λ = 0.001, 0.01, 0.1, 1, 10, 100 على مقياس لوغاريتمي. التحقق المتقاطع بـ ٥ طيّات هو المعيار.
تفاعلي: حرّك λ وشاهد التباين يهبط والانحياز يرتفع — مُولَّد بالذكاء الاصطناعي، بالإنجليزية
09 / 13
ML 101
M02 · L03
نظرة أعمق

التوزيع القبلي البايزي

التنظيم يعادل وضع اعتقاد مسبق على الأوزان. L2 = توزيع غاوسي قبلي (الأوزان على الأرجح قريبة من الصفر). L1 = توزيع لابلاس قبلي (الأوزان على الأرجح صفر تمامًا). البيانات تُحدّث هذا الاعتقاد.

قبلي L2
غاوسي
قبلي L1
لابلاس
10 / 13
ML 101
M02 · L03
عمليًا

متى تستخدم ماذا

ابدأ ببساطة. إذا حدث إفراط في التخصيص، أضف التنظيم:

  • ريدج — ميزات كثيرة، كلها قد تكون مفيدة
  • لاسو — تشك أن ميزات كثيرة غير ذات صلة
  • الشبكة المرنة — ميزات مترابطة + حاجة للتناثر
  • دائمًا حجّم الميزات قبل التنظيم
11 / 13
ML 101
اختبار سريع

تحقّق ممّا ثبت

أربعة أسئلة من هذا الدرس. أجب لترى السبب — يظهر الشرح سواء أصبتَ أم أخطأت. ولا شيء يُسجَّل أو يُحفَظ.

السؤال 1 من 0
النتيجة 0/0

12 / 13
ML 101
ملخص
مراجعة

ما تعلمته

التنظيم يحارب الإفراط في التخصيص بمعاقبة الأوزان الكبيرة. L2 (ريدج) يقلّص كل الأوزان. L1 (لاسو) يصفّر غير المهمة. الشبكة المرنة تجمع الاثنين. λ يتحكم في القوة.

الوحدة التالية
← أشجار القرار
كل الدروس اقرأ المقالة
13 / 13