الانحدار اللوجستي | ML-101

من الانحدار إلى التصنيف

الانحدار الخطي يتنبأ بعدد مستمر — سعر، درجة حرارة، درجة. لكن كثيرًا من المسائل الواقعية تطرح سؤالًا مختلفًا: أي فئة؟ هل هذا البريد الإلكتروني مزعج أم لا؟ هل هذا الورم حميد أم خبيث؟ هل سيتوقف العميل عن الخدمة أم سيبقى؟ هذه مسائل تصنيف، وتحتاج نموذجًا ينتج احتمالات، لا أعدادًا غير محدودة.

دالة السيجمويد

الفكرة الجوهرية: خذ ناتج النموذج الخطي (الذي يتراوح من −∞ إلى +∞) واضغطه في النطاق (٠، ١) باستخدام دالة السيجمويد. النتيجة تُفسَّر على أنها احتمال أن المدخل ينتمي للفئة ١.

دالة السيجمويد

\sigma(z) = \frac{1}{1 + e^{-z}}

تحوّل أي عدد حقيقي إلى (٠، ١). المدخلات الموجبة الكبيرة → قريبة من ١. المدخلات السالبة الكبيرة → قريبة من ٠. عند z = 0، الناتج بالضبط ٠٫٥.

نموذج الانحدار اللوجستي ببساطة هو: احسب z = w·x + b (تركيبة خطية)، ثم طبّق σ(z) للحصول على الاحتمال المتنبأ به.

النموذج اللوجستي

P(y=1|\mathbf{x}) = \sigma(\mathbf{w}^T \mathbf{x} + b)

احتمال أن المدخل x ينتمي للفئة ١، بدلالة الأوزان w والانحياز b.

حد القرار

لاتخاذ تنبؤ، نطبّق عتبة: إذا كان P(y=1|x) ≥ 0.5، نتنبأ بالفئة ١؛ وإلا نتنبأ بالفئة ٠. مجموعة النقاط حيث σ(z) = 0.5 (أي ما يعادل z = 0) تشكّل حد القرار — خط مستقيم (أو مستوى فائق) في فضاء الميزات يفصل بين الفئتين.

خسارة الإنتروبيا المتقاطعة

لماذا لا نستخدم MSE للتصنيف؟ لأن MSE مع السيجمويد ينشئ سطح خسارة غير محدب مليء بالحدود الدنيا المحلية. بدلًا من ذلك، نستخدم الإنتروبيا المتقاطعة الثنائية (وتُسمى أيضًا خسارة اللوغاريتم)، وهي محدبة ومصممة خصيصًا للمخرجات الاحتمالية.

الإنتروبيا المتقاطعة الثنائية

-\frac{1}{n}\sum_{i=1}^{n}\left[y_i \log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)\right]

عندما y=1، فقط −log(ŷ) يهم. عندما y=0، فقط −log(1−ŷ) يهم. التنبؤات الخاطئة الواثقة تُعاقَب بشدة.

لماذا تعمل الإنتروبيا المتقاطعة

إذا كان التصنيف الحقيقي ١ وتنبأت بـ ٠٫٩٩، فالخسارة هي −log(0.99) ≈ 0.01 — ضئيلة. لكن إذا تنبأت بـ ٠٫٠١ فالخسارة هي −log(0.01) ≈ 4.6 — هائلة. الإنتروبيا المتقاطعة تدمّر الإجابات الخاطئة المفرطة في الثقة، وهذا بالضبط ما نريده للتصنيف.

التصنيف متعدد الفئات

التصنيف الثنائي يغطي فئتين. لأكثر من فئتين (K > 2)، يوجد نهجان. واحد مقابل الباقي يدرّب K مصنفات ثنائية منفصلة، كل منها يسأل “هل هي الفئة k أم لا؟” انحدار سوفتماكس أكثر أناقة: يعمّم السيجمويد إلى K فئة، منتجًا توزيعًا احتماليًا على جميع الفئات مجموعه يساوي ١.

دالة سوفتماكس

P(y=k|\mathbf{x}) = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}}

تحوّل K درجات خام (لوجت) إلى توزيع احتمالي. كل فئة تحصل على احتمال؛ ومجموعها يساوي ١.

التنظيم في التصنيف

الانحدار اللوجستي يمكن أن يفرط في التخصيص أيضًا — خاصة مع كثير من الميزات أو البيانات القابلة للفصل خطيًا (الأوزان تنمو إلى ±∞ في محاولة لفصل الفئات بشكل مثالي). أضف عقوبات L1 أو L2 لخسارة الإنتروبيا المتقاطعة، تمامًا كما في الانحدار الخطي. معظم المكتبات تستخدم المعامل C = 1/λ: قيمة C كبيرة تعني تنظيمًا أقل، وقيمة C صغيرة تعني تنظيمًا أكثر.

في الدرس التالي، سنتعمق في التنظيم — L1 وL2 والشبكة المرنة — ونفهم لماذا يُعد معاقبة الأوزان الكبيرة من أهم التقنيات في التعلم الآلي بأكمله.

النقاط الرئيسية

الانحدار اللوجستي يطبّق دالة السيجمويد على نموذج خطي، محوّلًا المخرجات غير المحدودة إلى احتمالات بين ٠ و١.
حد القرار هو حيث P(y=1|x) = 0.5، مشكّلًا مستوى فائقًا في فضاء الميزات.
خسارة الإنتروبيا المتقاطعة تحل محل MSE — فهي محدبة وتعاقب بشدة التنبؤات الخاطئة الواثقة.
سوفتماكس توسّع الانحدار اللوجستي لمسائل التصنيف متعدد الفئات، منتجة توزيعًا احتماليًا على جميع الفئات.
التنظيم (L1/L2) يمنع الإفراط في التخصيص بمعاقبة الأوزان الكبيرة، ويُتحكم فيه بالمعامل C = 1/λ.