من التشتت إلى الخط المستقيم
نادرًا ما ترتّب البيانات نفسها بشكل مثالي. تتناثر الملاحظات عبر الرسم البياني، مدفوعةً جزئيًا بالعلاقة التي نهتم بها وجزئيًا بالضجيج الذي لا نستطيع السيطرة عليه. الانحدار الخطي البسيط هو الأداة التي تخترق هذا التشتت لتكشف الاتجاه الخطي الكامن — وتُحدّد بدقة مدى ثقتنا في استخدام متغير للتنبؤ بآخر.
كلمة “البسيط” هنا تعني متنبئًا واحدًا. لدينا متغير إدخال واحد X (يُسمى أيضًا المتغير المستقل أو المتنبئ) ومتغير إخراج واحد Y (المتغير التابع أو الاستجابة). الهدف هو إيجاد الخط المستقيم الذي يصف علاقتهما بأفضل صورة ممكنة وتوضيح معنى “الأفضل” بدقة.
النموذج الإحصائي
يُنمذج الانحدار الخطي البسيط Y كدالة خطية في X مع إضافة ضجيج عشوائي لا يمكن تجنّبه:
المعاملان β₀ وβ₁ ثابتان لكنهما مجهولان، يصفان العلاقة الحقيقية في المجتمع. يلتقط حد الخطأ ε كل ما لا يُفسّره X: خطأ القياس، المتغيرات المُهملة، والعشوائية الجوهرية. ولأن ε عشوائي، فإن كل ملاحظة من Y عشوائية أيضًا حتى لقيمة ثابتة من X.
يقوم النموذج على أربعة افتراضات أساسية: (1) العلاقة بين X وY خطية؛ (2) الأخطاء مستقلة عن بعضها؛ (3) متوسط الأخطاء صفر؛ (4) تباين الأخطاء ثابت σ² (تجانس التباين). سنعود إلى كل افتراض عند مناقشة تحليل البواقي.
التقدير بطريقة المربعات الصغرى العادية
نلاحظ n زوجًا من البيانات (x₁, y₁)، …، (xₙ, yₙ). من هذه البيانات نريد تقدير β₀ وβ₁. يختار مبدأ المربعات الصغرى العادية (OLS) التقديرات β̂₀ وβ̂₁ التي تُقلّل إجمالي المسافة الرأسية المربّعة بين النقاط المشاهدة والخط المُلاءَم:
اشتقّ SSR بالنسبة إلى β₀ وβ₁، وساوِ المشتقتين بالصفر، فتحصل على المعادلات الطبيعية. وحلّها هو:
في ظل الافتراضات الأربعة، تُعدّ مُقدّرات OLS أفضل مُقدّرات خطية غير متحيزة (BLUE) وفق مبرهنة غاوس-ماركوف. فهي غير متحيزة — أي تساوي المعاملات الحقيقية في المتوسط — وتباينها هو الأصغر بين كل المُقدّرات الخطية غير المتحيزة.
تفسير المعاملات
تفسير β̂₀ وβ̂₁ بعناية شرطٌ أساسي قبل أن تستخلص أي نتيجة من الانحدار.
الميل β̂₁ هو الكمية الأهم. يخبرنا: لكل زيادة بمقدار وحدة واحدة في X، تتغير القيمة المتنبأ بها لـ Y بمقدار β̂₁ وحدة في المتوسط، مع تثبيت كل ما عداه. الإشارة تدل على الاتجاه (ارتباط موجب أو سالب)؛ المقدار يدل على القوة. ولاحظ أن الارتباط يحدّد الاتجاه لا السببية — فمعاملات الانحدار تصف ترابطًا إحصائيًا، لا آليةً سببية، ما لم تأت البيانات من تجربة عشوائية.
الحد الثابت β̂₀ هو القيمة المتنبأ بها لـ Y عندما X = 0. هذا له معنى فقط إذا كانت X = 0 قيمة معقولة ضمن نطاق البيانات المشاهدة. إن كنت تُنحدر الراتب على سنوات الخبرة ونطاق بياناتك من 1 إلى 30 سنة، فإن الحد الثابت (الراتب عند صفر سنوات) استقراء خارج النطاق، وينبغي تفسيره بحذر شديد أو تجاهله تمامًا.
لنفرض أننا أجرينا انحدارًا لسعر المنزل (بآلاف الدولارات) على المساحة (بالقدم المربع) وحصلنا على: السعر̂ = 48.3 + 0.124 × المساحة. يقول الميل إن كل قدم مربع إضافي يضيف 124 دولارًا إلى السعر المتنبأ به. الحد الثابت (48,300 دولار) هو السعر المتنبأ به لمنزل مساحته صفر — استقراء لا معنى له، لكنه ضروري رياضيًا لتحديد موقع الخط. والخلاصة المفيدة هنا هي الميل.
قياس الملاءمة: R²
بمجرد حصولنا على الخط المُلاءَم، نحتاج إلى قياس مدى وصفه للبيانات. يفعل معامل التحديد R² ذلك بمقارنة التباين الذي يُفسّره النموذج بإجمالي التباين في Y:
R² = 0.75 يعني أن خط الانحدار يُفسّر 75% من تباين Y؛ بينما تبقى 25% غير مُفسَّرة بواسطة X. يُشير R² المرتفع إلى ملاءمة جيدة، لكن “الجودة” تختلف من مجال إلى آخر: قد يكون R² = 0.3 ممتازًا للتنبؤ بعائد سهم منفرد، وكارثيًا للتنبؤ بمردود خط إنتاج مضبوط على تفاوتات ضيّقة.
رباعي أنسكومب مجموعة شهيرة من أربع مجموعات بيانات تتشارك نفس R² تقريبًا ونفس الميل ونفس الحد الثابت — مع أنها تبدو مختلفة تمامًا عند رسمها. واحدة خطية تمامًا، وواحدة قطع مكافئ مثالي لُوئم بخط مستقيم، وواحدة ملاءمتها مثالية لولا قيمة شاذة واحدة تُشوّهها، والرابعة لا علاقة فيها أصلًا. ارسم بياناتك دائمًا. R² وحده لا يستطيع التمييز بين هذه الحالات.
تحليل البواقي: التحقق من الافتراضات
تعتمد صحة استدلال OLS على الافتراضات الأربعة. تحليل البواقي — فحص النمط في eᵢ = yᵢ − ŷᵢ — هو الأداة التشخيصية الرئيسية.
الخطية: ارسم البواقي مقابل القيم المُلاءَمة ŷ أو مقابل X. إذا كانت العلاقة خطية فعلًا، يجب أن تتشتت البواقي عشوائيًا حول الصفر دون أي انحناء أو نمط منهجي. أما النمط على شكل حرف U — أو U مقلوبة — فيعني أن العلاقة الحقيقية غير خطية وأن النموذج الخطي مُحدَّد تحديدًا خاطئًا.
اعتدالية البواقي: كثير من الإجراءات الاستدلالية (فترات الثقة، واختبارات t على المعاملات) تعتمد على أن توزيع البواقي طبيعي تقريبًا. افحص ذلك بمدرّج تكراري للبواقي، أو الأفضل بمخطط QQ. النقاط التي تنتظم على القطر تُشير إلى الاعتدالية؛ والانحرافات المنهجية عنه تُشير إلى الالتواء أو الذيول الثقيلة. ولاحظ أن مبرهنة النهاية المركزية توفّر بعض الحماية عندما تكون n كبيرة، لكن الانحراف الشديد عن الاعتدالية يبقى قادرًا على تشويه الاستدلال في العيّنات الصغيرة.
تجانس التباين (ثبات التباين): يجب أن يكون انتشار البواقي متقاربًا عبر جميع قيم X. على مخطط البواقي مقابل القيم المُلاءَمة، ابحث عن انتشار رأسي ثابت. نمط “المروحة” — حيث تكبر البواقي كلما زادت ŷ — يُشير إلى عدم تجانس التباين. هذا لا يُحيّز تقديرات المعاملات، لكنه يجعل الأخطاء المعيارية غير موثوقة، فيُبطل اختبارات الفرضيات وفترات الثقة.
الاستقلالية: يجب أن تكون البواقي غير مترابطة فيما بينها. وأكثر ما يُنتهك هذا الافتراض في بيانات السلاسل الزمنية، حيث تتشابه الملاحظات المتتالية (الارتباط الذاتي). يكشف ذلك اختبار دربن-واتسون، أو رسم البواقي مقابل ترتيب الملاحظات. والأخطاء المترابطة تُقلّل من عدم اليقين الظاهر وتنتج فترات ثقة أضيق من الحقيقة.
فترات الثقة مقابل فترات التنبؤ
يُعطينا الخط المُلاءَم ŷ = β̂₀ + β̂₁x تقديرًا نقطيًا لقيمة x محددة، لكننا نحتاج أيضًا إلى فترة تُلخّص عدم اليقين. تخدم فترتان مختلفتان غرضين مختلفين:
فترة الثقة لمتوسط الاستجابة عند x = x* تُجيب: “أين يقع متوسط Y الحقيقي عندما X = x*؟” تلتقط عدم اليقين في تقدير β₀ وβ₁، لكنها لا تشمل الضجيج العشوائي ε.
فترة التنبؤ لملاحظة جديدة عند x = x* تُجيب: “إذا راقبنا نقطة بيانات جديدة عند X = x*، أين ستقع؟” يجب أن تأخذ في الاعتبار كلًا من عدم اليقين في تقدير متوسط الاستجابة والتشتت الإضافي بسبب ε. فترات التنبؤ أوسع دائمًا من فترات الثقة ولا تتقلص إلى صفر حتى مع بيانات لا نهائية، لأن ε لا يمكن تجنّبه.
كلا الفترتين تكونان أضيق عند x = x̄ (متوسط قيم X المشاهدة) وتتسعان كلما ابتعد x* عن x̄. هذا يعكس أن الاستقراء يزيد من عدم اليقين: تقديرات خط الانحدار تصبح أقل موثوقية كلما توغّلت بعيدًا عن مركز البيانات. لا تستقرئ بشكل أعمى.
اختبار الميل: هل X متنبئ مفيد؟
السؤال الاستدلالي الأهم في الانحدار الخطي البسيط هو ما إذا كان الميل مختلفًا معنويًا عن الصفر. إذا كان β₁ = 0، فإن X لا يُقدّم أي معلومات خطية عن Y والانحدار لا قيمة له كنموذج تنبؤي.
نختبر H₀: β₁ = 0 في مقابل H₁: β₁ ≠ 0 باستخدام إحصاء t:
نرفض H₀ إذا كان |t| > t₋₍ᴰ₎ₓ(n − 2) عند مستوى الدلالة α. واختبار F المكافئ (الذي يتعمّم بسلاسة إلى الانحدار المتعدد) يُعطي F = t² وينتج نفس قيمة p. الميل الدال إحصائيًا يعني أن X متنبئ خطي مفيد لـ Y — لا أن العلاقة كبيرة أو سببية أو مهمة عمليًا. اقرن دائمًا الاختبار بـ R² وفترة ثقة لـ β₁.
فترة الثقة 95% لـ β₁ هي β̂₁ ± t₋₍ᴰ₎ₓ(n − 2) × SE(β̂₁). وإذا لم تشمل الفترة الصفر، فهذا يكافئ رفض H₀ عند α = 0.05. لكن الفترة تفعل أكثر من ذلك: هي تُحدّد مقدار التأثير المعقول عدديًا، وهذا في الغالب أنفع من قرار ثنائي بالرفض أو عدم الرفض.
معامل ارتباط بيرسون r والميل β̂₁ مرتبطان بـ β̂₁ = r × (sʏ/sₓ)، حيث sʏ وsₓ هما الانحرافان المعياريان للعيّنة في Y وX. يختبران نفس الفرضية الصفرية H₀: ρ = 0 وينتجان نفس قيمة p. الفرق تفسيري: الارتباط متماثل (تبادل X وY لا يُغيّر r)، بينما الانحدار ذو اتجاه (Y يعتمد على X) ويُنتج خطًا للتنبؤ.
- النموذج Y = β₀ + β₁X + ε يصف Y كدالة خطية في X مع خطأ عشوائي بمتوسط صفر وتباين ثابت.
- OLS تُقلّل مجموع مربعات البواقي لتُنتج مُقدّرات غير متحيزة وذات أدنى تباين β̂₀ وβ̂₁ (مبرهنة غاوس-ماركوف).
- الميل β̂₁ هو متوسط التغيّر في Y لكل زيادة بوحدة في X. الحد الثابت له معنى فقط إذا كانت X = 0 ضمن نطاق البيانات.
- R² = 1 − SSR/SST يقيس نسبة تباين Y المُفسَّر بالنموذج. يتراوح بين 0 و1 ويجب تفسيره في سياق المجال.
- مخططات البواقي تشخّص انتهاكات الافتراضات: التشتت العشوائي جيد؛ الأنماط تُشير إلى عدم الخطية أو عدم تجانس التباين أو الارتباط الذاتي.
- فترات التنبؤ أوسع دائمًا من فترات الثقة عند نفس x* لأنها تشمل خطأ ε الذي لا يتلاشى حتى مع بيانات لا نهائية.
- اختبار H₀: β₁ = 0 عبر إحصاء t يُحدّد ما إذا كان X متنبئًا خطيًا مفيدًا. احرص دائمًا على الإبلاغ عن حجم التأثير وفترة الثقة إلى جانب قيمة p.