STAT 101
M07 · L04
الوحدة 7 · الدرس 4
ما بعد الانحدار الخطي
افترض الخطّ المستقيم نتيجةً مستمرة طبيعية. لكن النتائج الحقيقية تنحني، أو تكون نعم/لا، أو أعداداً. يعمّم هذا الدرس الانحدار — حتى باب تعلّم الآلة.
01 / 11
STAT 101
M07 · L04
حيث ينكسر الخطّ
نموذج واحد لم يكفِ
- علاقات منحنية — الخطّ يُقصّر في الملاءمة
- نتائج ثنائية (نعم/لا) — الخطّ يتنبّأ بأقل من 0 وأكثر من 1
- أعداد — غير سالبة، وينمو تباينها مع المتوسّط
ثلاثة حلول، ثم إطار واحد يجمعها.
02 / 11
STAT 101
M07 · L04
منحنيات، لكنها خطية
الانحدار متعدّد الحدود
أضف قوى x
y = \beta_0 + \beta_1 x + \dots + \beta_k x^k
لا يزال خطياً في المعاملات، فتنطبق المربعات الصغرى وكل تشخيص. لكن الدرجات العالية تفرط في الملاءمة — تكفي الدرجة 2 أو 3 عادةً.
03 / 11
STAT 101
M07 · L04
نتائج ثنائية
الانحدار اللوجستي
رابط اللوجيت
\ln\!\dfrac{p}{1-p} = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p
قراءته
السيني يُبقي p في (0, 1). وeβ نسبة أرجحيّة. يُلاءَم بالأرجحيّة العظمى لا بالمربعات الصغرى.
04 / 11
STAT 101
M07 · L04
نتائج عدّية
بواسون للأعداد
رابط اللوغاريتم
\ln \mathbb{E}[Y] = \mathbf{x}^\prime\boldsymbol{\beta}
رابط اللوغاريتم يُبقي المتوسّط موجباً؛ وeβ عامل معدّل ضربي. تباين > متوسّط؟ استخدم ذا الحدّين السالب.
05 / 11
STAT 101
M07 · L04
الفكرة الجامعة
النموذج المعمّم
دالة الرابط g
g\big(\mathbb{E}[Y]\big) = \mathbf{x}^\prime\boldsymbol{\beta}
اختر عائلة توزيع ورابطاً g. إطار واحد، وطريقة ملاءمة واحدة (الأرجحيّة العظمى).
06 / 11
STAT 101
M07 · L04
عائلة واحدة، ثلاثة أعضاء
إنه نموذج واحد
- خطي — عائلة غاوسية، رابط الهويّة
- لوجستي — عائلة ذات الحدّين، رابط اللوجيت
- بواسون — عائلة بواسون، رابط اللوغاريتم
الانحدار الاعتيادي هو الـ GLM الذي لا يفعل رابطه شيئاً.
07 / 11
STAT 101
M07 · L04
ترويض النماذج الكبيرة
ريدج ولاسو
ريدج — جزاء L2
\min\ \text{RSS} + \lambda \textstyle\sum_j \beta_j^2
لاسو — جزاء L1
\min\ \text{RSS} + \lambda \textstyle\sum_j |\beta_j|
ريدج يُقلّص بسلاسة؛ ولاسو يُصفّر المعاملات (اختيار سمات)؛ والشبكة المرنة تمزجهما. وتُضبط λ بالتحقّق المتقاطع.
08 / 11
STAT 101
M07 · L04
حيث يلتقي الإحصاء وتعلّم الآلة
الجسر إلى تعلّم الآلة
- الانحدار اللوجستي هو مصنِّف خطي
- التنظيم أداة مكافحة فرط الملاءمة الشاملة
- اختيار خسارة + رابط هو كيف تُحدَّد النماذج الحديثة
09 / 11
STAT 101
ملخص
مراجعة
ما تعلّمته
- متعدّد الحدود يُحني الملاءمة لكنه يبقى مربعات صغرى — احذر فرط الملاءمة
- اللوجستي يُنمذج لوغاريتم أرجحيّة نتيجة ثنائية؛ eβ نسبة أرجحيّة
- بواسون يُنمذج لوغاريتم عدد؛ eβ عامل معدّل
- الـ GLM يجمع الثلاثة: عائلة + رابط، g(E[Y]) = Xβ
- ريدج/لاسو/الشبكة المرنة تقايض التحيّز بالتباين؛ λ بالتحقّق المتقاطع
- هذه هي الجسر من الانحدار إلى تعلّم الآلة
11 / 11