LA 101
M08 · L02
الوحدة 8: صلات حساب المتجهات
التحسين بالجبر الخطي
يتنقل نزول التدرج في مناظر الخسارة خطوة بخطوة، ويستخدم أسلوب نيوتن الانحناء لتقارب أسرع، وتفرض مضاعفات لاغرانج القيود — معًا يجعل الجبر الخطي محرك التحسين الحديث.
01 / 11
LA 101
M08 · L02
نزول التدرج
خطوات في سلبي التدرج
قاعدة التحديث
\mathbf{x}_{k+1} = \mathbf{x}_k - \alpha\,\nabla f(\mathbf{x}_k)
اختيار معدل التعلم α
صغير جدًا: تقارب بطيء. كبير جدًا: تذبذب أو اختلاف. مثالي: α = 1/L حيث L ثابت ليبشيتز للتدرج. للمسائل المحدبة التربيعية يتقارب هندسيًا.
02 / 11
LA 101
M08 · L02
مشهد الخسارة
توبوغرافيا التحسين
- الدوال المحدبة: وادٍ واحد — أي حد أدنى محلي هو العالمي
- الدوال غير المحدبة: حدود دنيا محلية متعددة + نقاط سرج
- نقطة السرج: ∇f = 0 لكنها ليست حدًا أدنى — شائعة في الشبكات العميقة
- الانبعاج: منطقة مستوية تُبطئ نزول التدرج
- رقم التكييف κ: λ_max/λ_min — يقيس "استطالة" مشهد الخسارة
03 / 11
LA 101
M08 · L02
طريقة نيوتن
استغلال الانحناء
خطوة نيوتن
\mathbf{x}_{k+1} = \mathbf{x}_k - H(\mathbf{x}_k)^{-1}\nabla f(\mathbf{x}_k)
تقارب تربيعي قرب الحد الأدنى: عدد الأرقام الصحيحة يتضاعف كل تكرار. الثمن: O(n²) ذاكرة و O(n³) عمليات لحساب H وحلّ النظام.
04 / 11
LA 101
M08 · L02
الإيجابية المحددة والتحدب
الهيسيان موجب التعريف ← محدب
شرط التحدب
f(\lambda\mathbf{x}+(1-\lambda)\mathbf{y})\leq\lambda f(\mathbf{x})+(1-\lambda)f(\mathbf{y})
الأهمية العملية
للدوال المحدبة: الحد الأدنى المحلي = العالمي. ضمانات تقارب قوية. اختبار الرتبة الثانية: ∇f = 0 و H موجب التعريف ← حد أدنى صارم.
05 / 11
LA 101
M08 · L02
الأشكال التربيعية
الحل المغلق للتحسين
الحد الأدنى للشكل التربيعي
\mathbf{x}^* = -\tfrac{1}{2}A^{-1}\mathbf{b},\quad 2A\mathbf{x}+\mathbf{b}=\mathbf{0}
التطبيقات
المربعات الصغرى: A = XᵀX، b = −2Xᵀy. الطاقة الكهربائية/الميكانيكية. تقدير الإحصاء الباييزي الغاوسي. نيوتن على الأشكال التربيعية: يتقارب في خطوة واحدة.
06 / 11
LA 101
M08 · L02
مضاعفات لاغرانج
التحسين المقيّد
دالة لاغرانج
\mathcal{L}(\mathbf{x},\boldsymbol{\lambda})=f(\mathbf{x})-\boldsymbol{\lambda}^T\mathbf{g}(\mathbf{x})
شروط KKT
∂ℒ/∂x = 0: استواء تام. g(x*) = 0: جدوى أصلية. λ · g = 0: أهلية تكميلية. معًا: شروط ضرورية للمثالية المقيّدة.
07 / 11
LA 101
M08 · L02
مقارنة الخوارزميات
نزول التدرج مقابل نيوتن
O(n)
تكلفة نزول التدرج/تكرار
O(n³)
تكلفة نيوتن/تكرار
O(n²)
تكلفة L-BFGS/تكرار
L-BFGS
يُقرّب H⁻¹ بكفاءة دون حسابه صراحةً. أفضل ما بين الطريقتين للمسائل الكبيرة المتوسطة الحجم.
08 / 11
LA 101
M08 · L02
التطبيقات
أين يظهر التحسين؟
- تدريب الشبكات العصبية: SGD وAdam على دالة الخسارة
- المربعات الصغرى: β* = (XᵀX)⁻¹Xᵀy — شكل تربيعي محدب
- محافظ ماركويتز: تصغير wᵀΣw مع قيود على العائد
- التحكم التنبؤي MPC: تربيعي مقيّد يُحل في الوقت الفعلي
- تدريب SVM: برمجة تربيعية بشروط KKT
- تصميم الفلاتر التكيفية: LMS ∝ نزول تدرج عشوائي
10 / 11
LA 101
M08 · L02
الوحدة 8 · الدرس 2 مكتمل
التحسين: الجبر الخطي في العمل
نزول التدرج يسير ببطء لكن بتكلفة منخفضة. نيوتن يقفز لكن بثمن باهظ. لاغرانج يُحول القيود إلى جبر. معًا يجعلون الجبر الخطي المحرك الحقيقي لكل التحسين الحديث.
استمر في التعلم
11 / 11