الانحدار المتعدد | STAT-101

من متنبئ واحد إلى متنبئات متعددة

نادرًا ما تعتمد الظواهر الحقيقية على متغير وحيد. فأسعار المنازل تتأثر بالمساحة والموقع وعدد غرف النوم والعمر وعشرات العوامل الأخرى في آنٍ واحد. يمتد الانحدار المتعدد بالنموذج الخطي البسيط ليستوعب متنبئات متعددة، إذ يُسهم كل منها بصورة مستقلة في التنبؤ بالنتيجة.

الانتقال من متنبئ واحد إلى متعدد ليس مجرد تغيير في الرموز، بل يُدخل مفاهيم جديدة مثل المعاملات الجزئية، والتعدد الخطي، وR² المعدّل، وتحديات جديدة كالإفراط في الملاءمة واختيار المتغيرات والترميز الفئوي. أتقِن هذه الأفكار أولًا، قبل أن تُطبّق أي نموذج انحدار على بيانات حقيقية.

نموذج الانحدار المتعدد

مع p متنبئات X₁، X₂، …، Xₚ يصبح النموذج:

نموذج الانحدار الخطي المتعدد

Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_p X_p + \varepsilon

Y هي الاستجابة؛ β₀ هو الثابت؛ β₁,…,βₚ هي معاملات الانحدار الجزئية؛ X₁,…,Xₚ هي المتنبئات؛ ε هو حد الخطأ ذو المتوسط الصفري والتباين الثابت σ².

بصيغة المصفوفات يصبح النموذج Y = Xβ + ε، حيث Y متجه n×1 من الاستجابات، وX مصفوفة التصميم n×(p+1) (عمودها الأول كله آحاد من أجل الثابت)، وβ متجه المعاملات (p+1)×1، وε متجه الأخطاء n×1. ومُقدِّر المربعات الصغرى هو:

مُقدِّر OLS (الصيغة المصفوفية)

\hat{\boldsymbol{\beta}} = (\mathbf{X}^\prime \mathbf{X})^{-1} \mathbf{X}^\prime \mathbf{Y}

يتطلب هذا الحل المغلق أن تكون X'X قابلة للعكس — وهو مضمون عندما لا يكون أي متنبئ تركيبًا خطيًا مثاليًا للمتنبئات الأخرى (أي لا تعدد خطي تام).

معاملات الانحدار الجزئية

في الانحدار البسيط، يُقدِّر β̂₁ تغيُّر Y لكل وحدة من X₁ بصرف النظر عن المتغيرات الأخرى. أما في الانحدار المتعدد، فإن β̂₁ هو معامل انحدار جزئي — يُقدِّر تغيُّر Y لكل وحدة من X₁ مع ثبات جميع المتنبئات الأخرى.

هذا التفسير «مع ثبات الآخرين» جوهري. لنفترض أننا نُحلِّل الراتب بدلالة سنوات الخبرة والمستوى التعليمي. يُخبرنا معامل الخبرة الآن بالعلاوة الإضافية لكل سنة خبرة للأشخاص ذوي نفس المستوى التعليمي — وليس الارتباط الخام بين الخبرة والراتب، فذلك الارتباط منتفخ لأن أصحاب التعليم الأعلى يملكون عادةً مسارات خبرة مختلفة كذلك.

مثال تطبيقي

نموذج أسعار المنازل (بالألف دولار): السعر = −18.4 + 0.09 × المساحة + 32.1 × غرف النوم − 0.7 × العمر. يعني المعامل 0.09 أن كل قدم مربع إضافية يضيف ٩٠ دولارًا للسعر المتوقع للمنازل ذات العدد نفسه من غرف النوم والعمر ذاته. والارتباط الخام بين المساحة والسعر أعلى من ذلك، لأن المنازل الأكبر تميل أيضًا إلى امتلاك غرف نوم أكثر.

R² المعدَّل

إضافة أي متنبئ إلى نموذج الانحدار — حتى متغير ضوضاء عشوائي — لن تُخفِّض R² أبدًا. هذه نتيجة رياضية لطريقة OLS: المزيد من المعاملات يستطيع دومًا ملاءمة البيانات الحالية بصورة أفضل أو مساوية. ويمكن للباحث المتسرع رفع R² بمجرد إضافة متغيرات لا صلة لها بالموضوع.

يعالج R² المعدَّل هذا الأمر بتطبيق عقوبة على عدد المتنبئات:

R² المعدَّل

\bar{R}^2 = 1 - (1 - R^2)\dfrac{n-1}{n-p-1}

n = حجم العينة، p = عدد المتنبئات (دون الثابت). يزداد R² المعدَّل فقط إذا حسَّن المتنبئ الجديد الملاءمة بما يفوق ما هو متوقع بالصدفة. يمكن أن يكون سالبًا في النماذج الضعيفة جدًا.

إضافة متنبئ ترفع R² المعدَّل فقط إذا تجاوزت قيمة إحصاء t الخاص به الواحد بالقيمة المطلقة — عقبة متواضعة، لكنها تكفي لتصفية الضوضاء المحضة. وعند مقارنة النماذج ذات أعداد مختلفة من المتنبئات، استخدم دومًا R² المعدَّل لا R² العادي.

التعدد الخطي

يحدث التعدد الخطي (Multicollinearity) حين يكون اثنان أو أكثر من المتنبئات مترابطَين ترابطًا عاليًا فيما بينهما. لا يُحيز ذلك مُقدِّرات المعاملات، لكنه يُضخِّم انحرافاتها المعيارية، مما يجعل المعاملات الفردية غير دقيقة وغير دالة إحصائيًا حتى وإن كان النموذج الكلي يلاءم البيانات بشكل جيد.

تخيّل أنك تُنحدر ضغط الدم على العمر والوزن ومؤشر كتلة الجسم (BMI). وبما أن BMI = الوزن / (الطول)²، فإن BMI يكاد يكون دالة في الوزن. إدخالهما معًا يعني أن معامل الوزن يحاول التقاط الأثر الخاص بالوزن بعد التحكّم في شيء يحدّده الوزن نفسه تقريبًا بالكامل — وهذه مسألة سيئة الطرح.

التشخيص القياسي هو عامل تضخم التباين (VIF):

عامل تضخم التباين

\text{VIF}_j = \dfrac{1}{1 - R_j^2}

Rⱼ² هي R² من انحدار Xⱼ على جميع المتنبئات الأخرى. VIF = 1 يعني لا تعدد خطي؛ VIF > 5 تحذير شائع؛ VIF > 10 يشير إلى تعدد خطي حاد يستوجب التدخل.

تشمل الحلول: إزالة أحد المتنبئات المترابطة (ومعرفة المجال تساعدك في اختيار أيّها تُزيل)، أو دمج المتنبئات المترابطة في مؤشر أو درجة مركبة، أو استخدام انحدار Ridge الذي يُقلّص المعاملات ويتسامح مع التعدد الخطي، أو جمع بيانات أكثر — وهذا يُصغّر الأخطاء المعيارية لكنه لا يُزيل التعدد الخطي.

اختيار المتغيرات

مع p متنبئًا محتملًا، يوجد 2ᵖ مجموعة فرعية ممكنة. البحث في جميعها يصبح مستحيلًا حسابيًا حين يتجاوز p نحو ٣٠–٤٠ متغيرًا. في الممارسة العملية، تُستخدم الخوارزميات الجشعة المتسلسلة:

الاختيار الأمامي (Forward Selection) يبدأ بلا متنبئات ويُضيف واحدًا في كل خطوة، مختارًا المتنبئ الذي يُحسِّن المعيار أكثر (AIC أو BIC أو R² المعدَّل أو أصغر قيمة p). ويتوقف حين لا يعبر أي متغير متبقٍّ عتبة الدخول.

الحذف الخلفي (Backward Elimination) يبدأ بجميع المتنبئات p ويحذف واحدًا في كل خطوة، متخليًا عن أقلها إسهامًا (أكبر قيمة p، أصغر F للحذف). ويتوقف حين تعبر جميع المتغيرات المتبقية العتبة.

الاختيار التدريجي (Stepwise) يتناوب بين الخطوتين السابقتين، مما يسمح للمتغيرات المُضافة مسبقًا بالحذف إن أصبحت غير دالة بعد إضافة متغيرات جديدة، والعكس كذلك. هو أشمل من أي من الطريقتين أحاديتي الاتجاه، لكنه مع ذلك لا يضمن الوصول إلى الحل الأمثل عالميًا.

قيود الإجراءات التدريجية

تختار الإجراءات التدريجية المتغيرات بناءً على البيانات ذاتها المستخدمة في التقدير، مما يُضخِّم معدلات الخطأ من النوع الأول ويُنتج إحصاءات نموذج متفائلة بشكل مبالغ فيه. استخدمها أدوات استكشافية لا تأكيدية. وكلما أمكن، دع النظرية أو المعرفة السابقة توجّه اختيار المتغيرات، أو استخدم طرق الانحدار المعاقَب (Lasso أو Ridge) التي تُقدّر المعاملات وتختار المتغيرات في الوقت نفسه على أساس إحصائي متين.

المتنبئات الفئوية: المتغيرات الوهمية

يتطلب الانحدار مدخلات رقمية، غير أن كثيرًا من المتنبئات المهمة فئوية: المنطقة (شمال، جنوب، شرق، غرب)، أو مجموعة العلاج (أ، ب، شاهد)، أو المستوى التعليمي (ثانوية، بكالوريوس، دراسات عليا). تُدخَل هذه المتنبئات عبر المتغيرات الوهمية (Dummy Variables)، وتُسمى أيضًا المتغيرات الدالّة.

لمتغير فئوي ذي k مستوى، نُنشئ k−1 متغيرًا ثنائيًا وهميًا. يُعيَّن أحد المستويات فئةً مرجعية (محذوفة لتجنب التعدد الخطي المثالي مع الثابت — «فخ المتغير الوهمي»). كل معامل وهمي يُفسَّر بوصفه تأثير تلك الفئة بالنسبة للفئة المرجعية.

مثال: التأثيرات الإقليمية

لانحدار المبيعات على الإنفاق الإعلاني والمنطقة (الشمال = مرجع، الجنوب، الشرق، الغرب)، نُضمِّن ثلاثة متغيرات وهمية: D₁ = 1 إذا كانت الجنوب، D₂ = 1 إذا كانت الشرق، D₃ = 1 إذا كانت الغرب. معامل D₁ هو متوسط فرق المبيعات بين الجنوب والشمال بعد التحكم في الإنفاق الإعلاني. واختيار الفئة المرجعية يُغيّر قيم المعاملات، لكنه لا يُغيّر القيم المُلاءَمة ولا R² ولا أي إحصاء كلي للنموذج.

تسمح حدود التفاعل بين متغير وهمي ومتنبئ مستمر للميل بأن يختلف بين الفئات. مثلًا، الحد D₁ × الإنفاق الإعلاني يكشف ما إذا كان مردود الإعلان يختلف بين الجنوب والشمال. بدون التفاعل يفترض النموذج نفس ميل الإنفاق الإعلاني في جميع المناطق؛ ومعه يكون لكل منطقة ميلها الخاص.

مقارنة النماذج: AIC وBIC

عند مقارنة نماذج بأعداد مختلفة من المتنبئات، R² المعدَّل خيار واحد، لكن معايير المعلومات — AIC (أكايكي) وBIC (بايز/شوارز) — تحظى بتفضيل واسع لأن أساسها النظري أقوى ولأنها توازن بطبيعتها بين الملاءمة والتعقيد:

AIC وBIC

\text{AIC} = -2\ell + 2k \qquad \text{BIC} = -2\ell + k\ln n

ℓ هي اللوغاريتم الأعظمي للإمكانية، k عدد المعاملات المُقدَّرة (بما فيها σ²)، n حجم العينة. القيمة الأقل تعني نموذجًا أفضل. يُعاقِب BIC التعقيد بشدة أكبر من AIC حين n > 7، فيميل إلى النماذج الأبسط.

يُفضَّل AIC حين يكون الهدف التنبؤ؛ ويُفضَّل BIC حين يكون الهدف تحديد بنية النموذج الحقيقية. في نماذج الانحدار المعتادة، k = p + 2 (أي p ميلًا زائد الثابت زائد σ²). وحين يكون n كبيرًا، تعني عقوبة BIC الأكبر اختيار نماذج أكثر تقشفًا من تلك التي يختارها AIC.

أبرز النقاط

الانحدار المتعدد Y = β₀ + β₁X₁ + … + βₚXₚ + ε يُعمِّم الانحدار البسيط إلى p متنبئات بحل OLS: β̂ = (X′X)⁻¹X′Y.
المعاملات الجزئية تقيس تأثير كل متنبئ مع ثبات الآخرين — وتختلف عن الارتباطات الهامشية وتحتاج تفسيرًا حذرًا.
R² المعدَّل يُعاقب تعقيد النموذج، فيرتفع فقط حين يُحسِّن المتنبئ الجديد الملاءمة بما يتجاوز الصدفة.
التعدد الخطي يُضخِّم الانحرافات المعيارية ويزعزع المعاملات الفردية؛ شخِّصه بـ VIF (تحذير > 5، حاد > 10)، وعالِجه بإزالة المتغيرات المترابطة أو باستخدام انحدار Ridge.
اختيار المتغيرات بالطرق الأمامية والخلفية والتدريجية استكشافي — يُضخِّم الخطأ من النوع الأول إذا استُخدم تأكيديًا. فضِّل المقاربات المبنية على النظرية أو الانحدار المعاقَب.
المتنبئات الفئوية تدخل عبر k−1 متغير وهمي بمستوى مرجعي واحد محذوف؛ والمتغيرات الوهمية التفاعلية تجعل الميل يتغير من فئة إلى أخرى.
AIC وBIC يقارنان النماذج بأعداد مختلفة من المعاملات؛ الأقل أفضل؛ يُفضِّل BIC التقشف مع كبر n.