النماذج الخطية
من الانحدار إلى آلات المتجهات الداعمة، أقوى الأفكار في تعلم الآلة هي تعبيرات عن الجبر الخطي. مصفوفة التصميم X هي العمود الفقري لكل نموذج خطي — نظّم البيانات فيها، والباقي حساب مصفوفات.
مصفوفة التصميم
بناءً على n مثالاً بـ p ميزة لكل منها، رتّبها في مصفوفة تصميم X بأبعاد n×p. يتنبأ النموذج بالمخرجات كـ y = Xβ + ε. إيجاد β يعني حل مسألة المربعات الصغرى — تصغير المسافة التربيعية من y إلى فضاء أعمدة X.
الانحدار هو إسقاط
حل OLS هو الإسقاط العمودي لـ y على col(X). ضبط تدرج ‖y−Xβ‖² على الصفر يعطي المعادلات الاعتيادية XᵀXβ = Xᵀy، بالحل الوحيد:
البواقي r = y − ŷ عمودية على كل أعمدة X: Xᵀr = 0.
انحدار ريدج
عندما تكون XᵀX سيئة التهيئة، التغيرات الصغيرة في y تسبب تأرجحاً كبيراً في β̂. ريدج يضيف λI لضمان إمكانية العكس وتقليص المعاملات نحو الصفر:
عبر SVD: كل مكوّن σₖ يُقلَّص بـ σₖ²/(σₖ²+λ). λ الأكبر يعني تقليصاً أكبر.
لاسو والضآلة
استبدل عقوبة L2 بـ L1: ‖β‖₁ = Σ|βⱼ|. كرة L1 هي متعدد الوجوه — نقاطها المتطرفة تقع على المحاور الإحداثية. الحل الأمثل يقع في أغلب الأحيان عند ركن، يضع كثيراً من المعاملات إلى الصفر بالضبط. لاسو يُجري اختيار المتغيرات تلقائياً.
اختيار منظّم
- ريدج: حل مغلق، جميع المعاملات تتقلص دون أن تصل للصفر، جيد حين تهمّ جميع الميزات
- لاسو: لا حل مغلق، كثير من المعاملات تصل للصفر بالضبط، جيد لاختيار الميزات
- Elastic Net: يجمع كلاهما — ضآلة مع استقرار
- كلاهما محدب — الحد الأدنى العالمي مضمون
ضربات داخلية بدون تعيين
عيّن x → φ(x) إلى فضاء ميزات أغنى، لكن لا تحسب φ بشكل صريح. استخدم فقط النواة k(xᵢ,xⱼ) = φ(xᵢ)ᵀφ(xⱼ). أي خوارزمية تعتمد فقط على الضربات الداخلية يمكن نوّاتها — باستبدال XᵀX بمصفوفة النواة K.
المستوى ذو الهامش الأقصى
تجد SVM المستوى الفاصل wᵀx + b = 0 بـ أكبر هامش 2/‖w‖. تعظيم الهامش = تصغير ‖w‖². هذا برنامج تربيعي:
المتجهات الداعمة والثنائية
تعتمد الثنائية Lagrangian لـ SVM-QP فقط على الضربات الداخلية xᵢᵀxⱼ — مما يجعل النوّاتة فورية. w الأمثل = Σᵢ αᵢ yᵢ xᵢ هو تركيب ضئيل: فقط المتجهات الداعمة (نقاط التدريب عند حد الهامش حيث αᵢ > 0) تُسهم.
النقاط الرئيسية
- الانحدار الخطي = إسقاط عمودي: β̂ = (XᵀX)⁻¹Xᵀy
- ريدج (عقوبة L2): يستقر XᵀX السيئة التهيئة، يقلّص عبر σ²/(σ²+λ)
- لاسو (عقوبة L1): هندسة متعدد الوجوه تُنتج ضآلة دقيقة — اختيار تلقائي للميزات
- حيلة النواة: استبدل الضربات الداخلية بـ k(xᵢ,xⱼ) — نموذج غير خطي بدون تعيين صريح
- SVM: QP ذات هامش أقصى، ثنائيتها تعتمد فقط على الضربات الداخلية — قابلة للنوّاتة طبيعياً
الوحدة 11-الدرس 2: تحليل المصفوفة
رأينا كيف يُشغّل الجبر الخطي الانحدار والتصنيف. القادم: نستكشف كيف يتعلّم تحليل المصفوفة — NMF، التصفية التعاونية بـ SVD، والتحليل الدلالي الكامن — البنية المخفية في مصفوفات البيانات الكبيرة.