ML 101
M02 · L02
الوحدة ٢

الانحدار اللوجستي

الانحدار الخطي يتنبأ بالأرقام. لكن ماذا لو كانت الإجابة نعم أو لا؟ بريد عشوائي أم لا؟ ورم حميد أم خبيث؟ الانحدار اللوجستي يحوّل الخط المستقيم إلى احتمال.

01 / 13
ML 101
M02 · L02
التحوّل

من الأرقام إلى القرارات

الانحدار الخطي يُخرج أي رقم من −∞ إلى +∞. التصنيف يحتاج احتمالًا بين ٠ و ١. نحتاج دالة تضغط أي مدخل ضمن هذا النطاق.

الانحدار
−∞ إلى +∞
التصنيف
٠ إلى ١
02 / 13
ML 101
M02 · L02
الجسر

دالة السيجمويد

دالة السيجمويد σ(z) تُحوّل أي عدد حقيقي إلى المجال (٠، ١). عدد موجب كبير ← قريب من ١. عدد سالب كبير ← قريب من ٠. صفر ← بالضبط ٠٫٥. إنها منحنى S الذي يحوّل النموذج الخطي إلى مصنّف.

دالة السيجمويد
\sigma(z) = \frac{1}{1 + e^{-z}}
03 / 13
ML 101
M02 · L02
النموذج

التنبؤ بالاحتمال

الانحدار اللوجستي = نموذج خطي + سيجمويد. نحسب z = w·x + b، ثم نمرره عبر σ(z) للحصول على احتمال أن المدخل ينتمي للفئة ١.

النموذج اللوجستي
P(y=1|\mathbf{x}) = \sigma(\mathbf{w}^T \mathbf{x} + b)
04 / 13
ML 101
M02 · L02
التصنيف

حد القرار

حيث σ(z) = ٠٫٥، أي z = ٠، يكون حد القرار. النقاط على جانب تُصنَّف كـ ١، والجانب الآخر كـ ٠. إنه خط مستقيم (أو مستوى فائق) في فضاء الميزات.

العتبة
نتوقع الفئة ١ إذا كان P(y=1|x) ≥ ٠٫٥. يمكن تعديل العتبة لموازنة مختلفة بين الدقة والاسترجاع.
05 / 13
ML 101
M02 · L02
الخسارة الصحيحة

لماذا ليس MSE؟

MSE + السيجمويد يُنشئ سطح خسارة غير محدب — مليء بالحدود الدنيا المحلية حيث يعلق النزول التدرجي. نحتاج دالة خسارة مصممة للاحتمالات: محدبة وتعاقب بشدة التنبؤات الخاطئة الواثقة.

الفكرة الأساسية
إذا تنبأت بـ ٠٫٩٩ للفئة ١ لكن التسمية الحقيقية هي ٠، يجب أن تكون العقوبة هائلة. MSE يعطي ٠٫٩٨ معتدلة. الإنتروبيا المتقاطعة تعطي ∞.
06 / 13
ML 101
M02 · L02
دالة الخسارة

خسارة الإنتروبيا المتقاطعة

الإنتروبيا المتقاطعة الثنائية تقيس الفجوة بين الاحتمالات المتوقعة والتسميات الحقيقية. إنها محدبة (حد أدنى عام واحد) وتعاقب الأخطاء الواثقة بشدة.

الإنتروبيا المتقاطعة الثنائية
J = -\frac{1}{n}\sum_{i=1}^{n}\left[y_i \log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)\right]
07 / 13
ML 101
M02 · L02
التدريب

الانحدار التدريجي

نفس الخوارزمية كالانحدار الخطي — نحسب التدرج، ونخطو نزولًا. للتدرج شكل أنيق: الخطأ (ŷ − y) مضروبًا في المدخل x. لا يوجد حل بصيغة مغلقة، لكن النزول التدرجي يتقارب دائمًا لأن الخسارة محدبة.

قاعدة التحديث
w ← w − α · Xᵀ (σ(Xw) − y) / n
08 / 13
ML 101
M02 · L02
ما بعد الثنائي

سوفتماكس متعدد الفئات

أكثر من فئتين؟ سوفتماكس يعمّم السيجمويد: يحوّل K درجة خام إلى توزيع احتمالي مجموعه ١. كل فئة تحصل على احتمال.

دالة سوفتماكس
P(y=k|\mathbf{x}) = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}}
09 / 13
ML 101
M02 · L02
الاستراتيجية

واحد مقابل الباقي للتصنيف

بديل عن سوفتماكس: تدريب K مصنّف ثنائي منفصل، كل منها يجيب "هل ينتمي للفئة k أم لا؟" عند التنبؤ، نختار الفئة ذات الثقة الأعلى.

سوفتماكس
نموذج واحد، K مخرجات
واحد مقابل الباقي
K نموذج، مخرج واحد
10 / 13
ML 101
M02 · L02
الوقاية

التصنيف المنظَّم

تمامًا كالانحدار الخطي، الانحدار اللوجستي يمكن أن يفرط في التخصيص — خاصة مع كثرة الميزات. أضف عقوبات L1 أو L2 لخسارة الإنتروبيا المتقاطعة. المعامل C = 1/λ يتحكم في الموازنة في معظم المكتبات.

  • L2 — حدود قرار ناعمة
  • L1 — أوزان متناثرة، اختيار الميزات
  • C كبير — تنظيم أقل
  • C صغير — تنظيم أكثر
11 / 13
ML 101
اختبار سريع

تحقّق ممّا ثبت

أربعة أسئلة من هذا الدرس. أجب لترى السبب — يظهر الشرح سواء أصبتَ أم أخطأت. ولا شيء يُسجَّل أو يُحفَظ.

السؤال 1 من 0
النتيجة 0/0

12 / 13
ML 101
ملخص
مراجعة

ما تعلمته

الانحدار اللوجستي يطبّق السيجمويد على نموذج خطي لإخراج الاحتمالات. خسارة الإنتروبيا المتقاطعة تحل محل MSE. سوفتماكس يمتد لتعدد الفئات. نفس النزول التدرجي، دالة خسارة مختلفة.

الدرس التالي
← التنظيم
كل الدروس اقرأ المقالة
13 / 13