ما بعد الانحدار الخطي | STAT-101

نموذج واحد لم يكن كافياً قط

بنت الدروس الثلاثة قبل هذا النموذج الخطي Y = β₀ + β₁X₁ + … + ε وشخّصته وأصلحته. وهو حصان العمل في الإحصاء، لكنه يفترض افتراضين يكسرهما العالم الحقيقي روتينياً: أن العلاقة خطّ مستقيم، وأن الاستجابة كمية مستمرة بأخطاء طبيعية تقريباً ثابتة التباين. اطلب منه أن يتنبّأ بنجاة مريض، أو بعدد المكالمات في الساعة، أو بمنحنى ينحني، فإنه يتعثّر أو يفشل تماماً.

يعمّم هذا الدرس النموذج الخطي في اتجاهين. أولاً نُبقي المربعات الصغرى لكن نسمح لـالمتنبّئات بالانحناء. ثم نُبقي المتنبّئ الخطي لكن نغيّر ما يتّصل به — احتمالاً، أو عدداً، أو معدّلاً — عبر النموذج الخطي المعمّم. وأخيراً نضيف جزاءً يُبقي النماذج الكبيرة أمينة، وهي الفكرة التي تنقل الانحدار مباشرةً إلى تعلّم الآلة.

الانحدار متعدّد الحدود: منحنيات، لكنها خطية

أسرع طريق لتجاوز افتراض الخطّ المستقيم هو إضافة قوى للمتنبّئ أعمدةً جديدة — x² وx³ وهكذا — وملاءمتها بالمربعات الصغرى الاعتيادية:

الانحدار متعدّد الحدود

y = \beta_0 + \beta_1 x + \beta_2 x^2 + \dots + \beta_k x^k + \varepsilon

متعدّد حدود من الدرجة k. والمهمّ أنه لا يزال خطياً في المعاملات β، لذا تنطبق المربعات الصغرى وR² وكل تشخيص من الدرس السابق دون تغيير — فقط مصفوفة التصميم اكتسبت أعمدة إضافية.

والمصيدة هي فرط الملاءمة: فمتعدّد حدود عالي الدرجة سيلاحق كل تموّج في العيّنة ويتأرجح بعنف بين نقاط البيانات وخارجها، خصوصاً عند الأطراف. عملياً تكفي الدرجة 2 أو 3 دائماً تقريباً؛ وما هو أعلى مؤشّرٌ على أنك تريد طريقة لا خطية فعلاً (المنحنيات المتعدّدة splines في الوحدة 8) لا متعدّد حدود أطول.

الانحدار اللوجستي: نمذجة احتمال

حين تكون النتيجة ثنائية — نجا أم لا، نقر أم لا، تعثّر أم لا — فإن ملاءمة خطّ مستقيم للاستجابة 0/1 عبثٌ: إذ يتنبّأ باحتمالات فوق 1 وتحت 0، وأخطاؤه ليست طبيعية ولا ثابتة التباين. يُصلح الانحدار اللوجستي ذلك بنمذجة لا النتيجة بل لوغاريتم أرجحيّة النتيجة دالةً خطية:

رابط اللوجيت

\operatorname{logit}(p) = \ln\!\left(\dfrac{p}{1-p}\right) = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p

اللوجيت — اللوغاريتم الطبيعي للأرجحيّة p/(1−p) — يُنمذَج خطياً. وعكسه يعطي المنحنى اللوجستي (السيني) على شكل S وهو p = 1/(1 + e^−x′β)، المحصور في (0, 1) كما يجب أن يكون الاحتمال.

ولأن النموذج خطيّ في لوغاريتم الأرجحيّة، لكل معامل قراءةٌ نظيفة: e^β_j هو نسبة الأرجحيّة (odds ratio) لتغيّر وحدة واحدة في x_j. وتُلاءَم المعاملات بـالأرجحيّة العظمى (maximum likelihood) لا بالمربعات الصغرى، وتُختبَر الدلالة باختبارات z (والد) واختبارات نسبة الأرجحيّة بدل اختبار F. والانحدار اللوجستي هو في آنٍ حصان عمل علم الأوبئة وتقييم الائتمان، وأبسط مصنِّف في تعلّم الآلة — المعادلة نفسها مقروءةً من تقليدين.

انحدار بواسون: نمذجة الأعداد

الأعداد — حوادث لكل تقاطع، رسائل لكل ساعة، عيوب لكل دفعة — أعداد صحيحة غير سالبة ينمو تباينها مع متوسّطها، فهي أيضاً تكسر النموذج الخطي. يُنمذج انحدار بواسون لوغاريتم العدد المتوقّع دالةً خطية:

رابط اللوغاريتم

\ln\big(\mathbb{E}[Y \mid \mathbf{x}]\big) = \mathbf{x}^\prime\boldsymbol{\beta}, \qquad Y \sim \text{Poisson}(\lambda)

يُبقي رابط اللوغاريتم المتوسّط المُلائَم موجباً ويحوّل الآثار الضربية إلى معاملات جمعية: e^β_j هو العامل الذي يتضاعف به العدد المتوقّع لكل وحدة من x_j. وحين يتجاوز التباين المتوسّط (فرط التشتّت) يكون نموذج ذي الحدّين السالب الخطوة التالية المعتادة.

الفكرة الجامعة: النماذج الخطية المعمّمة

ليست انحدارات متعدّد الحدود واللوجستي وبواسون ثلاث حيل غير مترابطة. بل هي ثلاثة أمثلة على إطار واحد، النموذج الخطي المعمّم (GLM)، الذي يُبقي المتنبّئ الخطي المألوف β₀ + β₁x₁ + … ويربطه بمتوسّط الاستجابة عبر دالة رابط g:

النموذج الخطي المعمّم

g\big(\mathbb{E}[Y]\big) = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p

يُختار الـ GLM بتسمية شيئين: عائلة التوزيع للاستجابة، ودالة الرابط g التي تُسقط متوسّطها على المتنبّئ الخطي.

إطار واحد، ثلاثة أعضاء مألوفين

الانحدار الخطي — عائلة طبيعية (غاوسية)، رابط الهويّة g(μ) = μ. فالنموذج الاعتيادي هو ببساطة الـ GLM الذي لا يفعل رابطه شيئاً.

الانحدار اللوجستي — عائلة ذات الحدّين، رابط اللوجيت g(μ) = ln(μ/(1−μ)). للنتائج الثنائية.

انحدار بواسون — عائلة بواسون، رابط اللوغاريتم g(μ) = lnμ. للأعداد.

ورؤيتها عائلةً واحدة هي المقصد: اختر التوزيع الذي يطابق بياناتك والرابط الذي يُبقي التنبّؤات في المدى، فتنتقل معك آلة الملاءمة نفسها (الأرجحيّة العظمى) وأسلوب الاستدلال نفسه.

التنظيم: ريدج، لاسو، والشبكة المرنة

مع متنبّئات كثيرة — خصوصاً حين تكون مترابطة أو تقارب عددَ المشاهدات — تفرط المربعات الصغرى في الملاءمة وتصير معاملاتها كبيرة وغير مستقرة. يضيف التنظيم جزاءً على حجم المعاملات إلى معيار الملاءمة، فيقبل عمداً قليلاً من التحيّز مقابل خفض كبير في التباين.

انحدار ريدج (جزاء L2)

\hat{\boldsymbol{\beta}}_{\text{ridge}} = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^{n}(y_i - \mathbf{x}_i^\prime\boldsymbol{\beta})^2 + \lambda \sum_{j=1}^{p} \beta_j^2

يضيف ريدج λ مضروبةً في مجموع مربّعات المعاملات. فيُقلّص كل المعاملات بسلاسة نحو الصفر — دون أن يبلغه أبداً — وهو بارعٌ خصوصاً في ترويض التعدّد الخطي.

انحدار لاسو (جزاء L1)

\hat{\boldsymbol{\beta}}_{\text{lasso}} = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^{n}(y_i - \mathbf{x}_i^\prime\boldsymbol{\beta})^2 + \lambda \sum_{j=1}^{p} |\beta_j|

يُجازي لاسو مجموع القيم المطلقة للمعاملات. وهندسته تدفع بعض المعاملات إلى الصفر تماماً، فيؤدّي اختيار سمات تلقائياً — إذ يختار النموذج أي المتنبّئات يُبقي.

الشبكة المرنة (Elastic Net) تمزج الجزاءين، λ₁Σ|β_j| + λ₂Σβ_j²، فترث تخلخل لاسو مع معالجة مجموعات المتنبّئات المترابطة أرشق من لاسو وحده. وفي الثلاثة، شدّة λ مفتاحُ ضبطٍ يُختار بالتحقّق المتقاطع: λ = 0 يستعيد المربعات الصغرى الاعتيادية، وλ أكبر يعني نموذجاً أبسط أشدّ تقلّصاً.

الجسر إلى تعلّم الآلة

هذا الدرس هو حيث يلتقي الانحدار الكلاسيكي وتعلّم الآلة. فالانحدار اللوجستي هو مصنِّف خطي، وهو الطبقة الأخيرة في شبكة عصبية. والتنظيم — جزاءا L1 وL2 أعلاه — ليس حاشيةً إحصائية بل الدفاع الافتراضي عن فرط الملاءمة عبر كل تعلّم الآلة الحديث، من لاسو إلى تضاؤل الأوزان في الشبكات العميقة. وعادة الـ GLM في اختيار خسارة تطابق البيانات ورابطٍ يُبقي التنبّؤات في المدى هي بالضبط كيف يُحدَّد النموذج الحديث. فالخطّ من «لائم خطاً مستقيماً» إلى «درّب مصنِّفاً» أقصر وأكثر استقامة مما يبدو.

أبرز النقاط

الانحدار متعدّد الحدود يُحني الملاءمة بإضافة x² وx³ متنبّئاتٍ؛ ويبقى خطياً في المعاملات فتنطبق المربعات الصغرى — لكن الدرجات العالية تفرط في الملاءمة بشدّة.
الانحدار اللوجستي يُنمذج لوغاريتم أرجحيّة نتيجة ثنائية خطياً؛ والسيني يُبقي التنبّؤات في (0, 1) وe^β نسبة أرجحيّة. ويُلاءَم بالأرجحيّة العظمى.
انحدار بواسون يُنمذج لوغاريتم عدد متوقّع خطياً؛ وe^β عامل معدّل ضربي. وفرط التشتّت يُشير إلى نموذج ذي الحدّين السالب.
النماذج الخطية المعمّمة تجمع هذا كلّه: اختر عائلة توزيع ودالة رابط g بحيث g(E[Y]) = Xβ. والانحدار الخطي حالته الخاصة بعائلة غاوسية ورابط الهويّة.
التنظيم يقايض التحيّز بالتباين: ريدج (L2) يُقلّص بسلاسة، ولاسو (L1) يُصفّر المعاملات لاختيار السمات، والشبكة المرنة تمزج الاثنين. وتُضبط الشدّة λ بالتحقّق المتقاطع.
هذه هي الجسر إلى تعلّم الآلة: الانحدار اللوجستي مصنِّف، والتنظيم أداة مكافحة فرط الملاءمة الشاملة، وعقلية الـ GLM هي كيف تُحدَّد النماذج الحديثة.