مقاييس التشتت

المركز نصف الحكاية فقط

مدينتان تُعلن كل منهما أن متوسط حرارتها السنوي ١٥ درجة مئوية. في الأولى، كل يوم من أيام السنة بين ١٢ و١٨ درجة. وفي الثانية، الشتاء −٢٠ والصيف +٤٥. المركز متطابق، والمكانان لا يمكن أن يكونا أكثر اختلافاً.

ما يفرّق بينهما هو التشتت — مدى تبعثر القيم حول المركز. الملخص الذي يذكر المتوسط وحده ليس ناقصاً فقط؛ بل يدعو القارئ إلى تخيّل انتظام قد لا يكون موجوداً أصلاً. التشتت هو ما يخبرك بمدى الثقة التي يستحقها المركز كوصف لأي مشاهدة منفردة.

في هذا الدرس نبني خمسة مقاييس للتشتت وقاعدتين لكشف القيم الشاذة، وكلها على الأرقام الأحد عشر نفسها حتى ترى بالضبط كيف يتفاعل كل مقياس مع البيانات ذاتها.

مثالنا الذي سنلازمه

هذه أحد عشر زمن تنقّل يومي بالدقائق، مرتّبة سلفاً:

مجموع القيم ٣٤١، فمع n = ١١ يكون المتوسط x̄ = ٣٤١ ÷ ١١ = ٣١ دقيقة بالضبط. والوسيط هو القيمة السادسة، ٢٩ دقيقة. المتوسط أعلى من الوسيط، وهذا بقاعدة الاتجاه من الدرس السابق يعني أن البيانات ملتوية يميناً — والالتواء هنا يصنعه مشاهدة واحدة.

المدى

المدى هو أبسط مقياس تشتت ممكن: أكبر قيمة ناقص أصغر قيمة.

ولتنقّلاتنا، المدى ٥٣ − ٢١ = ٣٢ دقيقة. رقم مفهوم فوراً ومفيد فعلاً كفحص سريع: مدى ٣٢ دقيقة على تنقّل متوسطه ٣١ دقيقة يخبرك سلفاً أن الرحلة غير موثوقة.

لكن انظر إلى ما تجاهله المدى. تسع قيم من أصل إحدى عشرة لم تشارك في الحساب. أضف خمسين تنقّلاً عادياً تماماً حول ٣٠ دقيقة ولن يتزحزح المدى، مع أن البيانات صارت الآن منتظمة إلى حد كبير. المدى مبنيّ بالكامل على أشدّ مشاهدتين تطرفاً، وهما تحديداً أقلّ مشاهدتين تمثيلاً.

والمدى ينمو أيضاً مع حجم العينة نمواً شبه آلي: فكل يوم إضافي تسجّله يزيد فرصتك في اصطياد يوم غير عادي. فمدى مأخوذ من ١١ يوماً ومدى مأخوذ من ١,١٠٠ يوم ليسا كمّيتين قابلتين للمقارنة. وكل مقياس يلي هذا موجود لإصلاح واحدة من هاتين المشكلتين أو كلتيهما.

التباين

إن أردنا مقياساً يستخدم كل مشاهدة، فالخطوة الطبيعية هي حساب متوسط بُعد كل قيمة عن المتوسط. هذا الحدس صحيح، لكن نسخته البديهية تفشل فوراً: مجموع الانحرافات عن المتوسط يساوي صفراً دائماً، لأن هذا بالضبط معنى كونه نقطة الاتزان. الموجب يلغي السالب، في كل مرة، ولكل مجموعة بيانات.

والحل هو تربيع كل انحراف قبل حساب المتوسط. التربيع يجعل كل شيء موجباً، ويجعل الانحرافات الكبيرة تُحسب بشكل غير متناسب أيضاً — فقيمة تبعد عن المتوسط ضعف بُعد أخرى تُسهم بأربعة أمثال إسهامها. والناتج هو التباين.

لنحسبه على التنقّلات. المتوسط ٣١، فاطرح ٣١ من كل قيمة وربّع الناتج.

مجموع العمود الأوسط صفر، كما وُعِدت تماماً. ومجموع العمود الأيمن ٨٠٤، فالتباين s² = ٨٠٤ ÷ ١٠ = ٨٠.٤.

ولاحظ كم هذا المجموع غير متوازن. التنقّل الواحد الذي دام ٥٣ دقيقة يُسهم بـ٤٨٤ من أصل ٨٠٤ — أكثر من ٦٠٪ من التباين كله من مشاهدة واحدة بين إحدى عشرة. هذا هو التربيع وهو يعمل، وهو السبب في وصف التباين والانحراف المعياري بأنهما حسّاسان للقيم الشاذة.

الانحراف المعياري

للتباين خاصية واحدة مزعجة: وحدته هي مربّع وحدة البيانات. تنقّلاتنا بالدقائق، فالتباين ٨٠.٤ دقيقة مربّعة، وهذه ليست كمّية يملك أحد حدساً عنها.

خُذ الجذر التربيعي فتعود الوحدات. هذا هو الانحراف المعياري، ويُكتب s للعينة وσ للمجتمع — وهو إلى حد بعيد أكثر مقاييس التشتت استخداماً في الإحصاء كله.

وللتنقّلات: s = √٨٠.٤ = ٨.٩٧ دقيقة. الآن صار الرقم يعني شيئاً تستطيع التصرف على أساسه: الصباح المعتاد يختلف عن متوسط الـ٣١ دقيقة بنحو تسع دقائق.

وهذه هي الصيغة نفسها التي وضعها أمامك درس «ما هو علم الإحصاء؟» في الوحدة ١ الدرس ١، تحت عنوان «الانحراف المعياري للعينة». ذلك الدرس ذكرها، وأشار إلى أن المقسوم عليه n − ١ لا n، ثم أخّر السبب. وهذا هو الدرس الذي تُكتسب فيه الصيغة بدلاً من أن تُفرَض — والقسم التالي هو ذلك التفسير المؤخَّر.

لماذا n − ١؟

القسمة على n − ١ بدلاً من n تبدو كحيلة، والطلاب يشكّون في ذلك بحق. لكنها ليست حيلة. وهذا ما يحدث فعلاً، بلا أي برهان.

التباين الذي تريده هو التشتت حول متوسط المجتمع μ. لكنك لا تعرف μ — وهذا هو الموقف كله الذي وصفه درس «المجتمع مقابل العينة». فتضع مكانه x̄، أي متوسط البيانات نفسها التي تقيس تشتتها الآن.

وx̄ هو بحكم بنائه القيمة التي تجعل مجموع مربّعات الانحرافات أصغر ما يمكن أن يكون. جرّبها: أعد حساب الـ٨٠٤ أعلاه باستخدام أي مركز آخر — ٣٠ أو ٣٢ — وسيأتي المجموع أكبر. في كل مرة. إذن قياس تشتت بياناتك حول متوسطها هي يقلّل منهجياً من تقدير التشتت حول المتوسط الحقيقي، لأن مركزك قد شُدّ نحو عينتك بالذات.

والقسمة على n − ١ بدلاً من n تنفخ الناتج بالمقدار الصحيح تماماً ليلغي هذا التحيّز في المتوسط. ويُسمّى n − ١ درجات الحرية: إحدى عشرة مشاهدة تحمل إحدى عشرة معلومة، لكن واحدة منها صُرِفت سلفاً على حساب x̄، فتبقى عشر حرّةً لوصف التشتت. والفحص الحدسي هو الحالة القصوى: بمشاهدة واحدة يصبح n − ١ = ٠ والتباين غير معرَّف — وهذا صحيح، لأن نقطة بيانات واحدة لا تخبرك شيئاً على الإطلاق عن التغيّر.

وعددياً على تنقّلاتنا: ٨٠٤ ÷ ١٠ = ٨٠.٤ مع التصحيح، و٨٠٤ ÷ ١١ = ٧٣.١ بدونه. الانحراف المعياري غير المصحَّح سيكون ٨.٥٥ دقيقة بدلاً من ٨.٩٧ — أصغر بنحو ٥٪. مع n = ١١ يكون الفرق متواضعاً؛ ومع n = ٤ سيكون كبيراً؛ ومع n = ١,٠٠٠ يكون مهملاً. فالتصحيح يهمّ أكثر ما يهمّ حين تكون بياناتك أقلّ ما تكون.

ونتيجة واحدة تستحق الحفظ: استخدم n − ١ كلما كانت أرقامك عيّنة، وهذا هو الحال عملياً في كل مرة تقريباً. واقسم على n وحدها حين تملك فعلاً كل فرد في المجتمع. والوحدة ٥ تعود إلى هذا بالصياغة الرسمية: أن s² مُقدِّر غير متحيز لـσ².

الأرباع والمدى الربيعي

الانحراف المعياري مبنيّ على المتوسط، فيرث هشاشة المتوسط — وقد رأينا تنقّلاً واحداً يوفّر ٦٠٪ منه. والبديل هو قياس التشتت بالـموقع، كما يقيس الوسيط المركز بالموقع.

الوسيط يشقّ البيانات المرتّبة إلى نصفين. والأرباع تشقّها إلى أرباع. الربيع الأول هو وسيط النصف الأدنى، والربيع الثاني هو الوسيط نفسه، والربيع الثالث هو وسيط النصف الأعلى. فرُبع البيانات يقع تحت الربيع الأول، ورُبعها يقع فوق الربيع الثالث.

وعلى تنقّلاتنا الأحد عشر، الوسيط هو القيمة السادسة، ٢٩. النصف الأدنى ٢١ و٢٣ و٢٤ و٢٦ و٢٨، ووسيطه الربيع الأول = ٢٤. والنصف الأعلى ٣١ و٣٣ و٣٥ و٣٨ و٥٣، ووسيطه الربيع الثالث = ٣٥. (مع العدد الفردي، لا تنتمي القيمة الوسطى إلى أي من النصفين.)

والمدى الربيعي، أو IQR، هو ببساطة الربيع الثالث ناقص الربيع الأول: عرض الشريحة التي تحتوي ٥٠٪ الوسطى من البيانات.

وهنا المدى الربيعي = ٣٥ − ٢٤ = ١١ دقيقة. والآن الخاصية الحاسمة: غيّر الـ٥٣ إلى ٢٠٠ ولن يتحرك المدى الربيعي قيد أنملة. فالربيعان موقعان، وإبعاد أكبر قيمة أكثر لا يغيّر أي قيمة تحتل المركز الرابع من الأعلى. المدى الربيعي مقياس تشتت متين بالطريقة نفسها التي يكون بها الوسيط مقياس مركز متيناً — ولهذا هو أساس قاعدة القيم الشاذة في آخر هذا الدرس.

الملخص الخماسي

ضع الطرفين مع الأرباع الثلاثة فتحصل على الملخص الخماسي: الأصغر، والربيع الأول، والوسيط، والربيع الثالث، والأكبر. خمسة أرقام تصف المركز والتشتت والشكل في وقت واحد، وتصمد أوسطها الثلاثة أمام القيم الشاذة.

اقرأ الفجوات فيظهر الشكل دون رسم واحد. من الأصغر إلى الربيع الأول ٣ دقائق؛ ومن الربيع الأول إلى الوسيط ٥؛ ومن الوسيط إلى الربيع الثالث ٦؛ ومن الربيع الثالث إلى الأكبر ١٨. تتّسع المسافات بحدّة وأنت تتحرك يميناً، وهذا هو شكل الالتواء الأيمن بالأرقام.

بناء مخطط الصندوق خطوةً خطوة

مخطط الصندوق هو الملخص الخماسي مرسوماً بمقياس رسم. ودروس أخرى في هذه الدورة تشير إلى مخططات الصندوق كأداة تملكها سلفاً — فدرس «التواصل الفعّال بالبيانات» في الوحدة ٢ يوصي بواحد لمقارنة التوزيعات بين المجموعات، ودرس «فترات الثقة للمتوسط» في الوحدة ٥ يطلب منك فحص واحد قبل الثقة بفترة t على عينة صغيرة. وهذه هي طريقة بنائه فعلاً.

الخطوة ١ — رتّب البيانات. كل ما يلي موقعيّ، فلا شيء يعمل قبل أن تكون القيم مرتّبة. وقيمنا مرتّبة سلفاً: من ٢١ إلى ٥٣.

الخطوة ٢ — اكتب الملخص الخماسي. الأصغر ٢١، والربيع الأول ٢٤، والوسيط ٢٩، والربيع الثالث ٣٥، والأكبر ٥٣.

الخطوة ٣ — احسب المدى الربيعي والسياجين. المدى الربيعي ١١، فـ١.٥ × المدى الربيعي = ١٦.٥. السياج الأدنى هو الربيع الأول − ١٦.٥ = ٢٤ − ١٦.٥ = ٧.٥، والسياج الأعلى هو الربيع الثالث + ١٦.٥ = ٣٥ + ١٦.٥ = ٥١.٥. والسياجان لا يُرسمان على المخطط النهائي؛ وجودهما لتحديد أين تتوقف الشوارب.

الخطوة ٤ — ارسم الصندوق. مستطيل يمتد من الربيع الأول إلى الربيع الثالث، من ٢٤ إلى ٣٥. وعرض ذلك الصندوق هو المدى الربيعي، ولهذا يعرض عليك مخطط الصندوق مقياس تشتت متيناً بنظرة واحدة.

الخطوة ٥ — ارسم خط الوسيط. خط يعبر الصندوق عند ٢٩. وهو يقع بعيداً عن منتصف صندوقنا (٥ دقائق من الربيع الأول و٦ من الربيع الثالث)، وخط وسيط غير مركزي هو إشارتك البصرية إلى الالتواء.

الخطوة ٦ — ارسم الشوارب. يمتد كل شارب من الصندوق إلى أشد قيمة تطرفاً ما زالت داخل السياج — لا إلى السياج نفسه. من الأسفل، لا شيء تحت ٧.٥، فيصل الشارب الأدنى إلى الأصغر، ٢١. ومن الأعلى، ٥٣ يتجاوز سياج ٥١.٥، فيتوقف الشارب الأعلى عند القيمة التالية نزولاً، ٣٨.

الخطوة ٧ — ارسم المتخلّفين فرادى. أي قيمة خارج السياج تُرسم كنقطة مستقلة. فيصبح الـ٥٣ عندنا نقطة واحدة خلف نهاية الشارب الأعلى: مرئية، ومسمّاة، ولم تُدمَج بصمت في أي شيء.

والمخطط النهائي يُقرأ من ٢١ — [٢٤ | ٢٩ | ٣٥] — ٣٨  •٥٣. أربع حقائق بنظرة واحدة: النصف الأوسط يمتد من ٢٤ إلى ٣٥، والصباح المعتاد ٢٩، والصباحات العادية تنتهي عند ٣٨ تقريباً، وصباح واحد كان غير عادي بحق. وفي عرض الشرائح المرافق هذا المخطط على لوحة رسم مع مؤشر على أسوأ تنقّل — حرّكه ولاحظ النقطة وهي تعبر السياج.

معامل الاختلاف

كل مقياس حتى الآن يحمل وحدة البيانات، وهذا يجعل مقارنة التشتت بين كمّيات مختلفة بلا معنى. هل انحراف معياري قدره ٨.٩٧ كبير؟ لا تستطيع الجواب أبداً دون معرفة أن المتوسط ٣١ — وبالتأكيد لا تستطيع مقارنته بانحراف معياري مقيس بالكيلوغرامات.

ومعامل الاختلاف يحلّ هذا بقسمة الانحراف المعياري على المتوسط. تُلغى الوحدات، ويبقى التشتت معبَّراً عنه كنسبة من المتوسط، ويُذكر عادةً كنسبة مئوية.

ولتنقّلاتنا: معامل الاختلاف = ٨.٩٧ ÷ ٣١ = ٠.٢٨٩، أي ٢٨.٩٪. الصباح المعتاد يبتعد عن المتوسط بما يقارب ٣٠٪ من المتوسط نفسه. وهذا الرقم الواحد قابل للتفسير دون أي معرفة بالدقائق أصلاً.

وهذا أنقى برهان على أنه بلا وحدة فعلاً. أطوال البالغين قد يكون متوسطها ١٧٠ سم وانحرافها المعياري ٧ سم. سجّل الأشخاص أنفسهم بالأمتار فيصبح الانحراف المعياري ٠.٠٧ — أصغر مئة مرة، وهو يصف الأشخاص أنفسهم. لكن معامل الاختلاف ٧ ÷ ١٧٠ = ٤.١٪ بالسنتيمترات، و٠.٠٧ ÷ ١.٧٠ = ٤.١٪ بالأمتار. غيّر الوحدة فيتغيّر الانحراف المعياري؛ أما معامل الاختلاف فلا.

وهذا ما يجعل المقارنة عبر المقاييس ممكنة. حرارة جسم البالغ متوسطها قريب من ٣٦.٨ درجة مئوية وانحرافها المعياري نحو ٠.٤ درجة، فمعامل اختلافها نحو ١.١٪. ومعامل اختلاف تنقّلنا ٢٨.٩٪. فبالنسبة إلى حجمه المعتاد، التنقّل أكثر تغيّراً من حرارة الجسم بنحو ست وعشرين مرة — وهذه عبارة لم تكن لتقولها من الانحرافين المعياريين الخامين ٠.٤ و٨.٩٧، لأنهما يعيشان في وحدات غير قابلة للمقارنة.

وهناك تحذيران. معامل الاختلاف يحتاج متوسطاً ذا معنى وغير صفري، فلا يصلح لأي شيء متمركز قرب الصفر (ينفجر المقام) ولا للمقاييس الفتريّة التي يكون فيها الصفر اعتباطياً — فمعامل اختلاف حرارة بالسلزيوس ومعامل اختلاف الحرارة نفسها بالفهرنهايت لا يتفقان، لأن لكل مقياس صفراً مختلفاً. ولأنه مبنيّ على x̄ وs، فهو يرث حساسيتهما للقيم الشاذة.

كشف القيم الشاذة: سياج ١.٥ × المدى الربيعي

القيمة الشاذة هي مشاهدة تقع بعيداً عن بقية البيانات بما يكفي لتستحق نظرة ثانية. ولاحظ الصياغة: تستحق نظرة، لا تستحق الحذف. القيمة الشاذة قد تكون خطأ قياس، أو زلّة إدخال بيانات، أو أهمّ مشاهدة في الدراسة كلها.

والقاعدة القياسية أحادية المتغيّر هي التي استخدمناها سلفاً لرسم الشوارب. ابنِ سياجاً على بُعد ١.٥ من المدى الربيعي خلف كل ربيع، واعزل كل ما يقع خارجه.

وللتنقّلات: ٧.٥ و٥١.٥. لا شيء يقع تحت ٧.٥. وصباح الـ٥٣ دقيقة يتجاوز ٥١.٥، فيُعزَل — وهو الاستنتاج نفسه الذي رسمه مخطط الصندوق هندسياً، لأنه حرفياً الحساب نفسه.

ولماذا ١.٥؟ إنه عُرف، اختاره جون توكي حين ابتكر مخطط الصندوق، وتبريره تجريبي لا عميق: على بيانات قريبة فعلاً من الطبيعية، تعزل هذه السياجات نحو ٠.٧٪ من المشاهدات فقط، فيكون العزل غير عادي بما يكفي ليستحق التحقيق دون أن يغرقك في إنذارات كاذبة. وبعض المحلّلين يستخدمون ٣.٠ × المدى الربيعي لتمييز «القيم الشاذة البعيدة» على حدة.

وميزة هذه القاعدة العظمى هي المتانة. فهي مبنيّة على الربيع الأول والربيع الثالث والمدى الربيعي، ولا يتحرك أي منها حين تدفع القيمة المتطرفة أبعد. ولا تستطيع مجموعة من القيم الشاذة أن تتآمر لتخفي نفسها بتوسيع السياج ذاته الذي يُفترض أن يمسكها — وهو بالضبط ما يحدث مع البديل، كما يبيّن القسم التالي.

كشف القيم الشاذة: قاعدة الدرجة المعيارية

القاعدة الثانية تعدّ الانحرافات المعيارية. الدرجة المعيارية (أو قيمة z) لمشاهدة هي بُعدها عن المتوسط معبَّراً عنه بوحدات s.

والعُرف المعتاد يعزل ما تجاوزت قيمته المطلقة ٣، وأحياناً ٢ في العينات الصغيرة. ولتنقّل الـ٥٣ دقيقة عندنا: z = (٥٣ − ٣١) ÷ ٨.٩٧ = ٢.٤٥. فبقاعدة الـ٣ لا يكون ذلك الصباح قيمة شاذة أصلاً — في حين عزله سياج المدى الربيعي بوضوح.

القاعدتان تتناقضان، وفهم السبب أنفع ما في هذا القسم. فكلٌّ من x̄ وs يُحسَب بإدخال القيمة المشكوك فيها. الـ٥٣ شدّ المتوسط صعوداً من ٢٨.٨ إلى ٣١، فقصّر بُعده هو عن المركز، ثم وفّر ٦٠٪ من مجموع المربّعات، فنفخ الـs ذاتها التي يُقسم عليها. لقد خرّب الاختبار المطبَّق عليه.

ولنقيس ذلك بالأرقام. اعزل الـ٥٣ جانباً فيصبح متوسط التنقّلات العشرة الباقية ٢٨.٨ وانحرافها المعياري ٥.٤٩. ومقيساً مقابل البيانات التي لا ينتمي إليها، يحصل صباح الـ٥٣ دقيقة على z = (٥٣ − ٢٨.٨) ÷ ٥.٤٩ = ٤.٤١ — متجاوزاً أي عتبة بأريحية. المشاهدة نفسها تكون ٢.٤٥ أو ٤.٤١ بحسب شيء واحد فقط: هل سُمح لها بالتصويت في محاكمتها. ويسمي الإحصائيون هذا الأثر التقنيع (masking).

والتقنيع يسوء ولا يتحسّن مع تكاثر القيم الشاذة: فكلما زادت القيم المتطرفة زاد نفخها لـs، وصَعُب على أي منها تجاوز عتبة z ثابتة. وتوجد صيغ متينة — استبدل x̄ بالوسيط وs بالانحراف المطلق الوسيطي — وتستحق أن تلجأ إليها. لكن قاعدة z العادية هي ما يقصده معظم الناس بـ«قاعدة الدرجة المعيارية»، فاعرف نقطة ضعفها.

والقاعدتان هنا أحاديتا المتغيّر: تحكمان على متغيّر واحد في المرة. وحين تصبح النقطة محكوماً عليها مقابل نموذج مُلائَم لا مقابل عمود واحد، تتغيّر الأدوات كلها — البواقي المعيارية والمستودنتة، والرفع، ومسافة كوك. ودرس «تشخيص الانحدار» في الوحدة ٧ يطوّر ذلك كله، ولا حاجة لتكراره هنا؛ فالقاعدتان أعلاه هما ما تستخدمه حين لا يكون في يدك سوى عمود من الأرقام.

وأخيراً، الانضباط الذي يهمّ أكثر من القاعدتين معاً: لا تحذف قيمة شاذة أبداً لأنها مزعجة. حقّق فيها. فإن كانت خطأ تسجيل، فأصلحها أو أزلها وقُل ذلك. وإن كانت حقيقية، فأبقِها، واذكر تحليلك بها وبدونها حتى يرى قارئك مقدار اعتماد الاستنتاج على نقطة واحدة. فتنقّل الـ٥٣ دقيقة قد يكون هو الصباح الذي يفسّر كل شيء.