أساس التعلم الآلي
الانحدار الخطي هو أبسط نماذج التعلم الآلي وأكثرها استخدامًا. يجد أفضل خط مستقيم يناسب نقاط البيانات — بمعطيات مجموعة من المدخلات، يتنبأ بمخرج مستمر. رغم بساطته، فإن المفاهيم الجوهرية التي ستتعلمها هنا — دوال التكلفة، والنزول التدرجي، والتحسين — تنطبق مباشرة على الشبكات العصبية ذات ملايين المعاملات.
إذا فهمت الانحدار الخطي بعمق، فقد فهمت المحرك الذي يقود كل التعلم الخاضع للإشراف.
النموذج الخطي
في جوهره، الانحدار الخطي خط مستقيم: بمعطى مدخل x، تنبأ بمخرج ŷ. للنموذج معاملان قابلان للتعلم — وزن (الميل، يتحكم في مدى تأثير x على التنبؤ) وانحياز (نقطة تقاطع المحور y، أي التنبؤ عندما يكون x يساوي صفرًا).
الانحدار الخطي المتعدد
نادرًا ما تعتمد المسائل الواقعية على مدخل واحد. أسعار المنازل تعتمد على المساحة وعدد غرف النوم والموقع والعمر وغيرها. يوسّع الانحدار الخطي المتعدد النموذج للتعامل مع أي عدد من الميزات — كل ميزة تحصل على وزنها الخاص، ويتعلم النموذج مدى أهمية كل ميزة.
في التدوين المصفوفي، يصبح الانحدار المتعدد ŷ = Xw، حيث X هي مصفوفة البيانات وw هو متجه الأوزان. هذه الصيغة المختصرة تجعل التنفيذ فعالًا وهي الطريقة التي تحسبه بها مكتبات مثل NumPy عمليًا.
دالة التكلفة: متوسط مربع الخطأ
كيف نعرف إن كان خطنا جيدًا؟ نحتاج طريقة لقياس مدى خطأ تنبؤاتنا. المقياس الأكثر شيوعًا هو متوسط مربع الخطأ (MSE) — يحسب متوسط مربعات الفروقات بين القيم المتنبأ بها والقيم الفعلية.
لماذا التربيع؟ يجعل كل الأخطاء موجبة (لا إلغاء بين التنبؤات الزائدة والناقصة)، وهو قابل للاشتقاق (مطلوب للتحسين)، ويعاقب الأخطاء الكبيرة أكثر من الصغيرة.
سطح الخسارة
إذا رسمت MSE كدالة لقيم الأوزان، تحصل على سطح بشكل وعاء (رياضيًا، قطع مكافئ محدب). قاع الوعاء هو مجموعة الأوزان التي تقلل الخطأ — الحل الأمثل. بالنسبة للانحدار الخطي، هذا الوعاء له حد أدنى عام واحد فقط. لا مصائد حدود دنيا محلية، ولا نقاط سرج — فقط نزول سلس ونظيف نحو أفضل إجابة.
إيجاد أفضل الأوزان: النزول التدرجي
النزول التدرجي هو المحرك الأساسي لتحسين التعلم الآلي. تخيل أنك تقف على جانب ذلك الوعاء في ضباب. لا ترى القاع، لكن تشعر بالاتجاه المنحدر. اخطُ خطوة في ذلك الاتجاه. اشعر بالميل مجددًا. اخطُ مرة أخرى. كرر حتى تصل للقاع.
معدل التعلم α يتحكم في حجم الخطوة. كبير جدًا وتتجاوز الحد الأدنى، متذبذبًا ذهابًا وإيابًا أو حتى متباعدًا. صغير جدًا والتدريب يستمر للأبد، زاحفًا نحو الحل ببطء شديد. إيجاد معدل التعلم المناسب هو أحد المهارات العملية الأساسية في التعلم الآلي.
المعادلة العادية: حل مباشر
بالنسبة للانحدار الخطي تحديدًا، هناك اختصار. بدلًا من التكرار، يمكننا حساب الأوزان المثلى بالضبط في خطوة واحدة باستخدام التفاضل — نضع التدرج مساويًا للصفر ونحل.
استخدم المعادلة العادية عندما يكون لديك أقل من ~١٠٬٠٠٠ ميزة — فهي دقيقة ولا تحتاج لضبط معاملات فوقية. استخدم النزول التدرجي لمجموعات الميزات الأكبر — عكس المصفوفة بتعقيد O(n³)، وهو مكلف جدًا للبيانات عالية الأبعاد.
تحجيم الميزات
عندما تكون الميزات على مقاييس مختلفة جذريًا — مثل المساحة (٠–٥٬٠٠٠) وعدد غرف النوم (٠–١٠) — يصبح سطح الخسارة قطعًا ناقصًا ممدودًا بدلًا من وعاء مستدير. النزول التدرجي يتعرج بشكل غير فعال على طول الاتجاه الضيق.
الحل بسيط: نطبّع الميزات إلى نطاقات متشابهة. الطرق الشائعة تشمل تحجيم الحد الأدنى-الأقصى (تعيين إلى [٠,١]) والتوحيد المعياري (طرح المتوسط، قسمة على الانحراف المعياري). بعد التحجيم، يتقارب النزول التدرجي بسرعة أكبر بشكل ملحوظ — غالبًا بعدد تكرارات أقل بـ ٢٠ ضعفًا.
الانحدار متعدد الحدود
ماذا لو لم تكن العلاقة خطية؟ الخط المستقيم لا يستطيع التقاط نمط على شكل U أو نمط أُسّي. الحيلة: أنشئ ميزات متعددة الحدود — أضف x²، x³، إلخ. — وطبّق الانحدار الخطي على مجموعة الميزات الموسعة.
كن حذرًا: كثيرات الحدود ذات الدرجات العالية تناسب بيانات التدريب تمامًا لكنها تعمم بشكل سيئ على بيانات جديدة. هذا هو الإفراط في التخصيص — وهو يمهد الطريق لموضوعنا التالي: التنظيم، الذي يتحكم في تعقيد النموذج لمنعه.
- الانحدار الخطي يناسب خطًا (أو مستوى فائق) عن طريق تقليل متوسط مربع الخطأ — متوسط مربعات أخطاء التنبؤ.
- النزول التدرجي يعدّل الأوزان تكراريًا باتباع أشد اتجاه انحدارًا لسطح الخسارة.
- المعادلة العادية تعطي الأوزان المثلى مباشرة — لكنها لا تتناسب مع مجموعات الميزات الكبيرة جدًا بسبب عكس المصفوفة بتعقيد O(n³).
- تحجيم الميزات يطبّع المدخلات إلى نطاقات متشابهة، مما يسرّع تقارب النزول التدرجي بشكل ملحوظ.
- الانحدار متعدد الحدود يناسب المنحنيات بإضافة ميزات متعددة الحدود لنفس الإطار الخطي — لكن احذر من الإفراط في التخصيص.