إلى أين يتجه الإحصاء
لقد زوّدتك وحدات هذه الدورة بأساس متين: أنواع البيانات وأخذ العينات، والتمثيل البياني للبيانات، والاحتمالات، والتوزيعات، والتقدير، واختبار الفرضيات، والانحدار، والسلاسل الزمنية، وتصميم التجارب. هذه هي الأدوات الأساسية التي يستخدمها الإحصائيون وعلماء البيانات يوميًا. لكن الحقل يمتد بعيدًا عن هذه الأدوات.
يستعرض هذا الدرس ستة آفاق: تحليل البقاء، والإحصاء المكاني، وتحليل البيانات الدالية، والإحصاء عالي الأبعاد، والاستدلال السببي، وتقاطع تعلم الآلة مع الإحصاء. كل منها تخصص ناضج له أدبياته ونظام برمجياته ومجتمعه. الهدف هنا أن تحصل على خريطة كافية تُقرّر بموجبها أي آفاق تستكشف، وتعرف ما تقرأه حين تصل إليها.
تحليل البقاء
تحليل البقاء يتعامل مع بيانات الوقت حتى وقوع الحدث: كم من الوقت حتى يتوفى مريض، أو يُعطَب جهاز، أو يتوقف عميل عن الاشتراك، أو ينقر مستخدم. التحدي الجوهري هو الرقابة (Censoring): كثير من الأفراد لم يُجربوا الحدث بنهاية الدراسة. المريض الذي لا يزال حيًا عند انتهاء الدراسة يُقدّم معلومة — نعرف أنه نجا على الأقل حتى هذا الحد — لكن وقت بقائه مجهول. إسقاط الملاحظات الخاضعة للرقابة سيُدخل تحيزًا حادًا؛ وتحليل البقاء يُعالجها بشكل صحيح.
الكائن المحوري هو دالة البقاء S(t) = P(T > t): احتمال عدم وقوع الحدث بحلول الوقت t. المُقدِّر اللابارامتري لها هو مُقدِّر كابلان-ماير، الذي يُنتج دالة درجية تنخفض عند كل وقت حدث مُلاحَظ.
يُمدّد نموذج كوكس للمخاطر النسبية تحليل البقاء إلى المتغيرات المشتركة. يُنمذج هذا النموذج المخاطرة — معدل الحدث الآني بشرط البقاء حتى الوقت t — بوصفها مخاطرة أساسية مضروبة في دالة أسية للمتغيرات المشتركة. الفكرة المحورية: يمكن تقدير معاملات الانحدار دون تحديد المخاطرة الأساسية، مما يجعله شبه بارامتري. وانحدار كوكس من أكثر الأساليب الإحصائية استشهادًا في الأدبيات الطبية الحيوية.
الرقابة (Censoring) — لم يُلاحَظ الحدث بنهاية الدراسة؛ الملاحظة غير مكتملة لكنها مُفيدة.
دالة المخاطرة h(t) — معدل الحدث الآني بشرط البقاء حتى الوقت t.
اختبار اللوغاريتم-رتبة (Log-rank) — مقارنة لابارامترية لمنحنيات البقاء بين المجموعات.
البرمجيات: حزم R مثل survival وsurvminer؛ وفي Python: lifelines وscikit-survival.
الإحصاء المكاني
الإحصاء المكاني يحلّل البيانات ذات المكوّن الجغرافي. تفترض الأساليب الإحصائية المعيارية الاستقلالية بين الملاحظات. لكن البيانات المكانية تنتهك هذا: المواقع القريبة تميل إلى التشابه أكثر من المواقع البعيدة — ظاهرة تُعرف بـالارتباط الذاتي المكاني. تجاهلها يُؤدي إلى أخطاء معيارية مُقلَّلة ويُبالغ في الثقة بالاستنتاجات.
يصف القانون الأول لتوبلر في الجغرافيا: "كل شيء مرتبط بكل شيء آخر، لكن الأشياء القريبة أكثر ارتباطًا من الأشياء البعيدة." يُكمّم هذا عبر المتغير (Variogram)، الذي يُمثّل متوسط الفرق التربيعي بين القيم في أزواج من المواقع بدلالة المسافة بينها (الفجوة). يرتفع المتغير من نقطة الأصل (نواة صغيرة تعكس خطأ القياس) إلى حدٍّ أقصى يُسمى العتبة (السيل) على مسافة تختفي عندها الارتباطات المكانية.
الكريجينج، الذي طوّره المهندس المنجمي داني كريج، هو تقنية جيوإحصائية للتنبؤ المكاني الأمثل. بإعطاء قيم مُلاحَظة في مواقع معينة، يُنتج الكريجينج أفضل مُنبِّئ خطي غير متحيز في أي موقع غير مُلاحَظ، إضافة إلى تباين التنبؤ. وهو المقابل المكاني لانحدار العملية الغاوسية.
يشمل الإحصاء المكاني، إلى جانب الجيوإحصاء، تحليل البيانات التجميعية (البيانات المُجمَّعة عبر وحدات إدارية كالمقاطعات) بأدوات مثل إحصاء مورانز I ونماذج الانحدار الذاتي الشرطي، وتحليل عمليات النقاط (نمذجة مواقع الأحداث كحالات المرض أو بؤر الزلازل).
تحليل البيانات الدالية
تحليل البيانات الدالية (FDA) يتعامل مع المنحنيات والأسطح أو الدوال الأخرى بوصفها وحدة المُلاحَظة، بدلًا من متجه من القياسات القياسية. منحنى نمو لطفل، أو مشخّص درجات الحرارة على مدار عام، أو أثر EEG لتجربة واحدة — كل منها دالة، ويُقدّم تحليل البيانات الدالية أدوات لتلخيصها ومقارنتها ونمذجتها.
تحل دالة المتوسط ودالة التباين المشترك محل متجه المتوسط ومصفوفة التباين المشترك. يُحلّل تحليل المكوّنات الرئيسية الدالي (FPCA) المنحنيات إلى دوال أساسية متعامدة (دوال ذاتية لمؤثر التباين المشترك) ودرجات قياسية، مُختزلًا البيانات اللانهائية الأبعاد إلى مجموعة ميزات قابلة للإدارة. وهو المقابل الدالي لتحليل المكوّنات الرئيسية الكلاسيكي.
يجد تحليل البيانات الدالية تطبيقات خاصة في الأبحاث الطبية الحيوية (منحنيات النمو والمعلّمات البيولوجية الطولية)، وعلوم البيئة (السلاسل الزمنية للحرارة والتساقط)، والهندسة (إشارات الاستشعار عبر الزمن). الفكرة المحورية: معالجة المنحنى كله بوصفه وحدة التحليل تستوعب معلومات تُهدرها الملخصات القياسية كالحد الأقصى أو المساحة تحت المنحنى.
الإحصاء الكلاسيكي: مُلاحَظة متجه x ∈ ℝp.
الإحصاء الدالي: مُلاحَظة دالة x(t) معرّفة على فترة [a, b]. "البُعد" لانهائي، لكن البنية (النعومة) تجعل المسألة قابلة للحل.
FPCA: x(t) ≈ μ(t) + Σk ξk φk(t)، حيث ξk درجات عشوائيةالإحصاء عالي الأبعاد
الإحصاء عالي الأبعاد يُعالج المسائل التي يكون فيها عدد المتغيرات p مُقارِبًا لعدد الملاحظات n أو يتجاوزه. افترضت نظرية المقاربات الكلاسيكية n → ∞ مع ثبات p؛ أما النظام الحديث فهو n, p → ∞ معًا، وغالبًا p ≫ n. الجينوميات هي المثال النموذجي: دراسة واحدة قد تضم n = 200 مريض وp = 20,000 ميزة للتعبير الجيني.
تنهار المربعات الصغرى العادية حين p ≥ n: مصفوفة التصميم ناقصة الرتبة، والمعاملات غير محددة، والتنبؤ خارج العينة كارثي. التنظيم ينقذ الموقف بإضافة حدّ عقوبة إلى هدف المربعات الصغرى يُقلّص المعاملات أو يُلغيها.
يستخدم انحدار ريدج عقوبة L2 تُقلّص جميع المعاملات نحو الصفر لكن نادرًا ما تُصفّرها. تُجمع الشبكة المرنة بين عقوبتَي L1 و L2 لتحقيق اختيار المتغيرات وتعامل مع المتنبئات المترابطة. اكتسب لاسو (مشغّل الانكماش والاختيار الأقل مطلقًا) شهرة بالغة لأن خاصية التفريق تجعل النتيجة قابلة للتفسير.
يشمل الإحصاء عالي الأبعاد، إلى جانب الانحدار، الاختبار المتعدد (ضبط معدل الاكتشاف الكاذب عبر آلاف الاختبارات المتزامنة)، وتقدير التباين المشترك (مصفوفات تباين مشترك متفرقة أو ذات بنية حين p ≫ n)، والاستشعار المضغوط (استعادة الإشارات المتفرقة من قياسات أقل بكثير من بُعد الإشارة).
الاستدلال السببي بعمق
استعرضت الوحدة 11 الاستدلال السببي في سياق تصميم التجارب. هنا نتعمق في إطار النتائج المحتملة (المعروف أيضًا بنموذج روبين السببي)، الذي يُوفّر اللغة الرسمية للأسئلة السببية. لكل وحدة i، عرّف Yi(1) بوصفها النتيجة عند المعالجة و Yi(0) بوصفها النتيجة دون معالجة. أثر المعالجة الفردي هو Yi(1) − Yi(0)، لكنه غير قابل للملاحظة جوهريًا لأن كل وحدة لا يمكنها أن تكون في حالتين في آنٍ واحد — المشكلة الأساسية للاستدلال السببي.
أثر المعالجة المتوسط (ATE) = E[Y(1) − Y(0)] قابل للتقدير من التجارب العشوائية، حيث تتوزع المعالجة باستقلالية عن النتائج المحتملة. في الدراسات الرصدية، يفشل هذا الاستقلال؛ يجب ضبط العوامل المُربِكة عبر المطابقة أو الترجيح بميل الميل أو التعديل بالانحدار.
المتغيرات الأداتية (IV) تُقدّم حلًا أنيقًا حين يوجد عامل مُربِك غير مُلاحَظ: أوجد متغير Z يؤثر في تعيين المعالجة لكن يؤثر في النتيجة فقط عبر المعالجة. يُعدّ Z الأداة. يُحدّد التقدير بالمتغيرات الأداتية — ولا سيما المربعات الصغرى ذات المرحلتين (2SLS) — أثرًا سببيًا للفئة الفرعية من المستجيبين (أولئك الذين يتغير وضع معالجتهم عند تغيير Z).
انكسار الانحدار (RD) يستغل الحدود الحادة في قواعد التعيين. إذا حصل الطلاب بدرجة فوق 70 على منحة دراسية وأولئك دونها لا يحصلون عليها، فيمكننا مقارنة النتائج للطلاب قرب الحد — مجموعتان متماثلتان تقريبًا ما عدا المنحة — لتقدير أثرها السببي. الفروق في الفروق (DiD) يُقارن التغيرات عبر الزمن بين مجموعة المعالجة ومجموعة الضبط، مُحدّدًا الآثار السببية في ظل افتراض الاتجاهات المتوازية.
التجربة العشوائية — المعيار الذهبي؛ المعالجة مستقلة عن النتائج المحتملة بالتصميم.
المطابقة / الترجيح بالميل — رصدي؛ يضبط العوامل المُربِكة المُفترض قياسها.
المتغيرات الأداتية — تحتاج أداة خارجية؛ تُحدّد LATE للمستجيبين.
انكسار الانحدار — يحتاج حدًّا حادًّا للتعيين؛ أثر سببي محلي قرب العتبة.
الفروق في الفروق — يحتاج اتجاهات متوازية؛ يستغل بيانات اللوح.
تعلم الآلة والإحصاء: نقطة التقاطع
نشأ الإحصاء وتعلم الآلة من تقاليد مختلفة — الإحصاء من الرياضيات وعلوم التجربة، وتعلم الآلة من علوم الحاسب والذكاء الاصطناعي — لكنهما يتقاربان بسرعة. فهم العلاقة يُنير كلا الحقلين.
التنبؤ مقابل الاستدلال هو أوضح خط فاصل. يُركّز الإحصاء الكلاسيكي على الاستدلال: تقدير المعاملات، وتحديد حدة عدم اليقين، واختبار الفرضيات. يُركّز تعلم الآلة على التنبؤ: بناء نماذج تُعمَّم على بيانات جديدة، مُقيَّمة بخطأ الاختبار المعزول. نموذج الانحدار الخطي شفاف وغني بالاستدلال؛ غابة معززة بالتدرج قد تتنبأ بشكل أفضل لكنها أصعب تفسيرًا. لا أحد الهدفين أسمى من الآخر؛ كلاهما يخدم أغراضًا مختلفة.
التنظيم هو الجسر. انحدار ريدج = انحدار خطي مُنظَّم بـ L2 = حالة خاصة من انحدار العملية الغاوسية بموزّع أولي محدد. لاسو = انحدار خطي مُنظَّم بـ L1 = تقدير MAP تحت موزّع لابلاس أولي. التحقق المتقاطع لاختيار lambda = تقدير احتمالية هامشية للاستدلال البايزي التجريبي. تنشأ الإجراءات ذاتها باستقلالية في كلا التقليدين.
التنبؤ التوافقي هو إطار حديث يُغلّف أي مُنبِّئ صندوق أسود — شبكة عصبية، أو غابة عشوائية، أو أي خوارزمية — في فترة تنبؤ صالحة ذات ضمانات تغطية محدودة العينة، دون افتراضات بارامترية. يُمدّد التكميم الإحصائي لعدم اليقين إلى نماذج تعلم الآلة التي لا تُغطّيها النظرية الكلاسيكية.
تعلم الآلة المزدوج (DML)، الذي طوّره تشرنوزوكوف وزملاؤه، يجمع بين تعلم الآلة عالي الأبعاد والاستدلال السببي. الفكرة: استخدام تعلم الآلة للإزالة المرنة لتأثيرات الضوابط عالية الأبعاد على كل من المعالجة والنتيجة، ثم تقدير الآثار السببية على البواقي. هذا يُحقق معدلات تقارب شبه بارامترية للمعاملات السببية حتى حين تكون دوال الإزعاج عالية الأبعاد.
التوليف لا يزال يتشكّل. يحتاج الإحصائيون المعاصرون إلى إلمام بتعلم الآلة؛ ويستفيد ممارسو تعلم الآلة المعاصرون من الانضباط الإحصائي في عدم اليقين والتفكير السببي والاستدلال الصحيح. الحدود تذوب، والعمل الأكثر إثارة للاهتمام يجلس تمامًا عند التقاطع.
- يتعامل تحليل البقاء مع بيانات الوقت حتى وقوع الحدث مع الرقابة. يصف مُقدِّر كابلان-ماير منحنيات البقاء بصورة لابارامترية؛ ويُمدّد انحدار كوكس ذلك إلى المتغيرات المشتركة بصورة شبه بارامترية.
- يأخذ الإحصاء المكاني الاعتماد الجغرافي بعين الاعتبار. يُوفّر الكريجينج تنبؤًا مكانيًا أمثل؛ وتُحدّد متغيرات التباين كيف يتضاءل الارتباط مع المسافة.
- يعالج تحليل البيانات الدالية المنحنيات بأكملها بوصفها ملاحظات. يُحلّل FPCA المنحنيات إلى مكوّنات قابلة للتفسير، مُتيحًا الانحدار والتجميع للبيانات الدالية.
- يُعالج الإحصاء عالي الأبعاد أوضاع p ≫ n. يختار تنظيم لاسو المتغيرات ويُقدّر المعاملات في آن؛ ويضبط التحكم في معدل الاكتشاف الكاذب الاختبار المتعدد الهائل.
- يتجاوز الاستدلال السببي ارتباط الملاحظات بأدوات المتغيرات الأداتية وانكسار الانحدار والفروق في الفروق.
- يتقارب الإحصاء وتعلم الآلة. التنظيم والتحقق المتقاطع وتكميم عدم اليقين أُسس مشتركة؛ والتنبؤ التوافقي وتعلم الآلة المزدوج أمثلة على التوليف المثمر.