تحليل التباين (ANOVA) | STAT-101

مشكلة الاختبارات المتعددة

لنفترض أنك تقارن متوسطات أوقات استجابة أربع إعدادات مختلفة لخادم الويب. قد يكون رد فعلك الأول إجراء اختبار t لكل زوج: A مقابل B، وA مقابل C، وA مقابل D، وB مقابل C، وB مقابل D، وC مقابل D — ستة اختبارات في المجموع. لكن إجراء ذلك عند α = 0.05 لكل اختبار يُضخّم احتمالية الإيجابية الكاذبة بشكل كبير.

إذا كانت الاختبارات الستة مستقلة (وهي ليست كذلك لأنها تشترك في متوسطات المجموعات)، فإن احتمال الرفض الخاطئ لاختبار واحد على الأقل هو 1 − (0.95)⁶ ≈ 26%. مع زيادة عدد المجموعات، تتضخم معدل خطأ الأسرة بسرعة. يحل تحليل التباين (ANOVA) هذه المشكلة باختبار جميع المجموعات في آنٍ واحد باستخدام إحصاء اختبار واحد، مع الإبقاء على خطأ النوع الأول عند α المحدد.

فكرة جوهرية

لا يختبر ANOVA ما إذا كانت جميع المتوسطات مساوية لثابت معين. بل يختبر H₀: μ₁ = μ₂ = … = μₖ ضد H₁: يختلف متوسط واحد على الأقل. نتيجة ANOVA الدالة إحصائياً تخبرك أن شيئاً ما مختلف؛ واختبارات ما بعد ANOVA تحدد ما هو المختلف.

ANOVA أحادي الاتجاه: تقسيم التباين

تتمحور الفكرة الأساسية لـ ANOVA حول تقسيم التباين الكلي في البيانات إلى جزأين: التباين بين المجموعات (الإشارة) والتباين داخل المجموعات (الضوضاء). إذا كان التباين بين المجموعات كبيراً نسبةً إلى التباين داخل المجموعات، فلدينا دليل على أن المجموعات تختلف.

رسمياً، مع k مجموعة لكل منها nᵢ عنصر والمتوسط الكلي x̄، نحلل مجموع المربعات الكلي:

تحليل مجاميع المربعات

SS_T = SS_B + SS_W = \sum_{i=1}^{k}\sum_{j=1}^{n_i}(x_{ij} - \bar{x})^2

SS_T = SS_B + SS_W. ينحل الانحراف الكلي لكل مشاهدة عن المتوسط الكلي إلى انحراف متوسط المجموعة (بين) وانحراف داخل المجموعة.

مجموع مربعات بين المجموعات

SS_B = \sum_{i=1}^{k} n_i (\bar{x}_i - \bar{x})^2

يقيس بُعد كل متوسط مجموعة x̄ᵢ عن المتوسط الكلي x̄، مرجَّحاً بحجم المجموعة nᵢ. SS_B الكبير يعني أن متوسطات المجموعات تختلف اختلافاً كبيراً.

مجموع مربعات داخل المجموعات

SS_W = \sum_{i=1}^{k}\sum_{j=1}^{n_i}(x_{ij} - \bar{x}_i)^2

يقيس تشتت المشاهدات حول متوسط مجموعتها الخاصة. هذه هي "الضوضاء" — التباين الذي لا يمكن تفسيره بالانتماء للمجموعة.

إحصاء F

قسمة كل مجموع مربعات على درجات حريته يُعطي متوسط المربعات. نسبة متوسطَي المربعات هي إحصاء F:

إحصاء F

F = \dfrac{MS_B}{MS_W} = \dfrac{SS_B/(k-1)}{SS_W/(N-k)}

MS_B = SS_B / (k − 1)، MS_W = SS_W / (N − k)، حيث N = مجموع المشاهدات. تحت H₀، يتبع F توزيع F بدرجتَي حرية df₁ = k − 1 وdf₂ = N − k.

تنظم جدول ANOVA هذه الحسابات في شكل مضغوط:

المصدر	SS	df	MS	F
بين المجموعات	SS_B	k − 1	SS_B / (k−1)	MS_B / MS_W
داخل المجموعات	SS_W	N − k	SS_W / (N−k)	—
الكلي	SSₜ	N − 1	—	—

تحت H₀ (جميع المتوسطات متساوية)، يُقدّر كلٌّ من MS_B وMS_W نفس التباين السكاني σ²، لذا F ≈ 1. تحت H₁ (بعض المتوسطات تختلف)، يبالغ MS_B في تقدير σ² بينما يبقى MS_W تقديراً غير متحيز، مما يدفع F > 1. نرفض H₀ عندما يتجاوز F القيمة الحرجة F*(k−1, N−k) عند مستوى α.

افتراضات ANOVA أحادي الاتجاه

كما هو الحال في اختبار t، يعتمد ANOVA على ثلاثة افتراضات أساسية يجب التحقق منها قبل الوثوق بالنتائج:

1. الاعتدالية: يجب أن تكون المشاهدات داخل كل مجموعة موزعة توزيعاً طبيعياً تقريباً. مع العينات الكبيرة، تجعل نظرية النهاية المركزية ANOVA قوياً نسبياً في مواجهة الانحراف عن الاعتدالية. تحقق باستخدام مخططات QQ أو اختبار Shapiro-Wilk لكل مجموعة.

2. تجانس التباين: يجب أن تمتلك جميع المجموعات نفس التباين السكاني σ². هذا الافتراض هو الأكثر أهمية. تحقق باستخدام اختبار Levene أو برسم الانحرافات المعيارية للمجموعات. كقاعدة تقريبية، يجب ألا يتجاوز أكبر s ضعفَ أصغر s.

3. الاستقلالية: يجب أن تكون المشاهدات مستقلة داخل المجموعات وفيما بينها. انتهاك الاستقلالية (مثل القياسات المتكررة أو التجميع) يستلزم نموذجاً مختلفاً تماماً.

ماذا لو انتُهكت الافتراضات؟

إذا انتُهكت الاعتدالية بشدة: استخدم Kruskal-Wallis (لاحقاً في هذا الدرس). إذا كانت التباينات غير متساوية: استخدم ANOVA وفق Welch (يمتد فكرة اختبار Welch's t إلى k مجموعة). إذا لم تكن المشاهدات مستقلة: استخدم ANOVA للقياسات المتكررة أو نموذج التأثيرات المختلطة.

اختبارات ما بعد ANOVA: تحديد المجموعات المختلفة

يؤكد اختبار F الدال إحصائياً أن متوسطات المجموعات ليست جميعها متساوية، لكنه لا يحدد أي الأزواج تختلف. تجيب اختبارات ما بعد ANOVA على هذا السؤال اللاحق مع السيطرة على معدل خطأ الأسرة.

اختبار Tukey's HSD (الفرق الدال الصادق) هو الاختبار الأكثر استخداماً بعد ANOVA. يحسب فرقاً حرجاً: يُعلن أن متوسطَي مجموعتين يختلفان بشكل دال إذا تجاوز الفرق المطلق بينهما HSD:

Tukey HSD

HSD = q^* \sqrt{\dfrac{MS_W}{n}}

q* هي القيمة الحرجة من توزيع النطاق المُطلَّب بالمعاملين k (عدد المجموعات) وdf_W = N − k. n هو حجم المجموعة (يفترض أحجاماً متساوية؛ يمتد Tukey-Kramer للأحجام غير المتساوية).

تصحيح Bonferroni أبسط: اقسم α على عدد المقارنات m = k(k−1)/2 واستخدم هذا العتبة المُعدَّلة لكل اختبار t فردي. إنه أكثر تحفظاً من Tukey's HSD لكنه أكثر مرونة — ينطبق على أي مجموعة من المقارنات المخططة مسبقاً، ليس المقارنات الزوجية فقط.

اختيار اختبار ما بعد ANOVA

Tukey's HSD الأفضل للمقارنات الزوجية مع أحجام مجموعات متساوية — يزيد القدرة مع ضبط خطأ الأسرة. Bonferroni يُفضَّل عند وجود مجموعة أصغر من المقارنات المحددة مسبقاً. اختبار Scheffé للمقارنات التعسفية (ليس الزوجية فقط) لكن بتكلفة قدرة أقل.

ANOVA ثنائي الاتجاه

يدرس ANOVA أحادي الاتجاه عاملاً واحداً (متغير مستقل). يمتد ANOVA ثنائي الاتجاه إلى عاملين في آنٍ واحد، حيث يطرح ثلاثة أسئلة معاً: هل للعامل A تأثير؟ هل للعامل B تأثير؟ هل يتفاعل A وB مع بعضهما؟

مع عاملين A (بمستويات a) وB (بمستويات b)، يقسّم النموذج التباين الكلي كما يلي:

تحليل مجاميع المربعات لـ ANOVA الثنائي

SS_T = SS_A + SS_B + SS_{AB} + SS_E

SS_A وSS_B هما مجموما مربعات التأثير الرئيسي؛ SS_AB هو مجموع مربعات التفاعل؛ SS_E هو خطأ البواقي (داخل الخلية). لكل حد اختبار F خاص به.

الاختبارات الثلاثة F هي:

الاختبار	نسبة F	df البسط	df المقام
التأثير الرئيسي A	MSₐ / MS_E	a − 1	ab(n−1)
التأثير الرئيسي B	MSₑ / MS_E	b − 1	ab(n−1)
التفاعل AB	MSₐₑ / MS_E	(a−1)(b−1)	ab(n−1)

تأثيرات التفاعل

يحدث التفاعل عندما يعتمد تأثير عامل على مستوى العامل الآخر. هذا هو الناتج الأهم وغالباً الأكثر إثارةً للدهشة من ANOVA ثنائي الاتجاه.

تخيل اختبار أسلوبَي تدريس (محاضرة مقابل تفاعلي) على مجموعتَي طلاب (مبتدئون مقابل متقدمون). إذا حسّن التدريس التفاعلي المبتدئين دون أن يؤثر على المتقدمين، فإن تأثير الأسلوب يعتمد على مستوى المهارة — هذا هو التفاعل.

تصور التفاعلات

ارسم متوسطات المجموعات كخطوط: ضع عاملاً على محور x وارسم خطاً منفصلاً لكل مستوى من العامل الآخر. الخطوط غير المتوازية تدل على وجود تفاعل — كلما زاد التقاطع أو التباعد، قوي التفاعل. الخطوط المتوازية تعني غياب التفاعل.

قاعدة حرجة: عند وجود تفاعل دال إحصائياً، لا ينبغي تفسير التأثيرات الرئيسية بمعزل عن بعضها. التفاعل يخبرك أن قصة التأثير الرئيسي تتغير تبعاً للمستوى الذي أنت فيه من العامل الآخر.

اختبار Kruskal-Wallis: البديل اللا معلمي

عندما يُنتهك افتراض الاعتدالية بوضوح وحجم العينة صغير جداً لإنقاذ نظرية النهاية المركزية، يُعدّ اختبار Kruskal-Wallis البديل القائم على الرتب لـ ANOVA أحادي الاتجاه. لا يتطلب أي افتراض توزيعي سوى الاستمرارية.

الإجراء: رتّب جميع N مشاهدة معاً من 1 إلى N، ثم احسب إحصاء H بناءً على مقدار انحراف متوسط رتبة كل مجموعة عن متوسط الرتبة الكلي (N+1)/2:

إحصاء H لـ Kruskal-Wallis

H = \dfrac{12}{N(N+1)} \sum_{i=1}^{k} \dfrac{R_i^2}{n_i} - 3(N+1)

Rᵢ هو مجموع رتب المجموعة i، nᵢ هو حجم المجموعة، وN هو مجموع العينة. تحت H₀، يتبع H تقريباً توزيع كاي تربيع بدرجات حرية k − 1.

يكون H كبيراً عندما تختلف مجاميع الرتب Rᵢ اختلافاً جوهرياً بين المجموعات، مما يدل على أن المجموعات تأتي من توزيعات مختلفة. تأتي قيمة p من توزيع χ²(k−1) (دقيق لـ n الصغير، تقريبي لـ n الكبير).

المقايضة: يمتلك Kruskal-Wallis حوالي 95% من قوة ANOVA أحادي الاتجاه عند تحقق الاعتدالية، وقوة أكبر عند عدم تحققها. التكلفة هي أنه يختبر الاختلاف العام في التوزيعات وليس تحديداً في المتوسطات. تستخدم المقارنات البعدية بعد Kruskal-Wallis الدال إحصائياً اختبار Dunn مع تصحيح Bonferroni أو Benjamini-Hochberg.

النقاط الرئيسية

الاختبارات المتعددة تُضخّم الخطأ: إجراء m اختباراً زوجياً عند α لكل منها يرفع معدل خطأ الأسرة بعيداً عن α. يضبطه ANOVA باختبار F واحد.
تقسيم التباين: SSₜ = SS_B + SS_W. إحصاء F = MS_B / MS_W يقيس نسبة الإشارة للضوضاء. F الكبير ⇒ دليل ضد H₀.
الافتراضات: اعتدالية داخل كل مجموعة، تساوي التباينات (اختبار Levene)، الاستقلالية. الانتهاكات تستدعي ANOVA وفق Welch أو Kruskal-Wallis.
اختبارات ما بعد ANOVA: نتيجة F الدالة تقول فقط "شيء ما يختلف". Tukey's HSD (زوجي، n متساوٍ) أو Bonferroni (أي مقارنات مخططة مسبقاً) يحدد الأزواج المختلفة.
ANOVA ثنائي الاتجاه يختبر تأثيرَي رئيسيَّين وتفاعلهما في آنٍ واحد. تحقق من التفاعل أولاً — إذ يمكنه عكس التأثيرات الرئيسية أو إخفاؤها.
التفاعل: خطوط غير متوازية في مخطط التفاعل. عند دلالته الإحصائية، لا تفسر التأثيرات الرئيسية وحدها.
Kruskal-Wallis: بديل قائم على الرتب لـ ANOVA أحادي الاتجاه. H ∼ χ²(k−1) تحت H₀. استخدمه عند انتهاك الاعتدالية مع صغر العينة.