الأخطاء الشائعة

إغراء النتائج الدالة إحصائياً

يُعدّ اختبار الفرضيات الإحصائية من أقوى أدوات العلم وأكثرها إساءةً في الاستخدام في الوقت ذاته. أصبحت قيمة p أقل من 0.05 عتبةً ثقافية لـ"الاكتشاف"، والضغط للتجاوز هذه العتبة أفسد الممارسات البحثية بصمت عبر مختلف المجالات. في هذا الدرس نفحص أخطر المزالق: اختراق القيمة p، ومشكلة المقارنات المتعددة، والخلط بين الدلالة الإحصائية والعملية، وأزمة قابلية الاستنساخ التي أفرزتها هذه العادات.

فهم هذه المزالق ليس أكاديمياً بحتاً؛ سيجعلك محللاً أكثر حرصاً، وقارئاً أكثر تشككاً في البحوث المنشورة، وأكثر أمانةً في إيصال نتائجك.

اختراق القيمة p: الصيد بحثاً عن النجوم

اختراق القيمة p (يُعرف أيضاً بالتنقيب في البيانات أو درجات حرية الباحث) هو ممارسة تجريب تحليلات عديدة على مجموعة بيانات حتى يُنتج أحدها p < 0.05، ثم الإبلاغ عن تلك النتيجة وحدها. لأن كل اختبار لديه 5% احتمال إيجابية زائفة تحت الفرضية الصفرية H₀، فإن إجراء عدد كافٍ من التحليلات يضمن عملياً إيجاد شيء "دالّ"، حتى في البيانات العشوائية البحتة.

يتخذ اختراق القيمة p أشكالاً كثيرة: جمع البيانات حتى تتجاوز القيمة p العتبة ثم التوقف، اختبار متغيرات نتائج متعددة والإبلاغ فقط عن التي نجحت، تطبيق معايير استبعاد مختلفة حتى تظهر الدلالة، تحويل المتغيرات (لوغاريتم، جذر تربيعي) حتى تتحسن القيمة p، أو الاختيار بين الاختبار أحادي الذيل وثنائيه بعد رؤية البيانات. لا تُعدّ أيٌّ من هذه الممارسات غير أمينة بالضرورة منفردةً، لكن إجراءها دون تصحيح ودون الإفصاح عنها يرفع معدل الخطأ من النوع الأول بكثير فوق α.

مشكلة المقارنات المتعددة

في كل مرة تُجري فيها m اختباراً متزامناً للفرضيات — أو تفحص m نتيجة، أو m مجموعة فرعية، أو m نقطة زمنية — فإن احتمال أن ينتج اختبار واحد على الأقل إيجابية زائفة لم يعد α. عند افتراض صحة جميع الفرضيات الصفرية، معدل خطأ الأسرة (FWER) هو:

هذا ليس خللاً في قيم p في حد ذاتها، بل خلل في طريقة استخدامها. قيمة p صالحة لاختبار واحد محدد مسبقاً. تطبيقها بشكل عشوائي عبر اختبارات متعددة دون تصحيح هو الخطأ.

التصحيحات: بونفيروني وبنيامين-هوكبرغ

توجد استراتيجيتان رئيسيتان للتصحيح، كلٌّ منهما تستهدف معيار خطأ مختلف.

تصحيح بونفيروني يتحكم في FWER. يقسم α ببساطة على عدد الاختبارات m، ليُنتج عتبة معدّلة α* = α/m. يجب على كل اختبار منفرد تجاوز هذه العتبة الأشد صرامة للإعلان عن دلالته الإحصائية:

عند اختبار فرضيات كثيرة في آنٍ واحد — مثل عشرات الآلاف من الجينات في دراسة جينومية — يكون بونفيروني متحفظاً للغاية. بديل أقل تشدداً هو التحكم في معدل الاكتشافات الزائفة (FDR): النسبة المتوقعة من الفرضيات المرفوضة التي هي صفرية فعلاً.

إجراء بنيامين-هوكبرغ (BH) يتحكم في FDR عند مستوى q. رتّب قيم p الـ m من الأصغر إلى الأكبر: p₁ ≤ p₂ ≤ … ≤ pᵐ. ابحث عن أكبر k بحيث:

الدلالة الإحصائية مقابل الدلالة العملية

ربما أكثر سوء الفهم شيوعاً في الإحصاء: النتيجة الدالة إحصائياً لا تعني بالضرورة أنها مهمة. تُجيب قيمة p على سؤال واحد فحسب: "هل التأثير الملاحظ متسق مع العشوائية تحت H₀؟" لا تقول شيئاً عن كون التأثير كبيراً بما يكفي ليهم عملياً.

حجم التأثير هو المقياس الصحيح للدلالة العملية. لمقارنة متوسطَين، يُعدّ d لكوهن أكثر إحصاءات حجم التأثير شيوعاً:

دواء يخفض ضغط الدم بمقدار 0.1 مم زئبق مع p < 0.0001 (في دراسة بـ 500,000 مريض) دالٌّ إحصائياً لكنه عديم الأهمية سريرياً. في المقابل، تدخل يُقلل أحداث القلب بنسبة 30% قد لا يصل إلى الدلالة الإحصائية في دراسة تجريبية صغيرة، لكن حجم التأثير يُخبرك بأنه يستحق الدراسة بحجم عينة مناسب.

العينات الكبيرة وقيم p الصغيرة جداً

كلما كبر حجم العينة n، انكمش الخطأ المعياري بمقدار 1/√n، ما يجعل إحصاءات الاختبار أكبر وقيم p أصغر. مع بيانات كافية، أي انحراف عن الفرضية الصفرية — مهما كان تافهاً — يصبح قابلاً للكشف. هذا يعني أن قيم p الدالة تكاد تكون مضمونة في مجموعات البيانات الضخمة، حتى للتأثيرات التي ليس لها أهمية عملية.

تُوضح إحصائية اختبار z الأحادي العينة المشكلة بجلاء:

الحل هو الإبلاغ دائماً عن أحجام التأثير جانب قيم p، وتحديد الحد الأدنى لحجم التأثير ذي الأهمية العملية مسبقاً قبل جمع البيانات. هذا يمنع التبرير اللاحق للتأثيرات التافهة باعتبارها اكتشافات.

أزمة قابلية الاستنساخ

تجلّى الأثر التراكمي لاختراق القيمة p والنشر الانتقائي وعدم كفاية أحجام العينات بوضوح في مطلع العقد الثاني من الألفية الثالثة حين كشفت جهود استنساخ واسعة النطاق أن كثيراً من النتائج المنشورة لا يمكن إعادة إنتاجها. وجد التعاون للعلم المفتوح (2015) عند استنساخ 100 دراسة نفسية أن 36% فقط أظهرت نتائج دالة في الاستنساخ مقارنة بـ 97% في الدراسات الأصلية.

هذه أزمة قابلية الاستنساخ لا تقتصر على علم النفس. ظهرت إخفاقات استنساخ مشابهة في العلوم الاجتماعية وأبحاث التغذية وبيولوجيا السرطان والصيدلة قبل السريرية والاقتصاد. الأسباب الجذرية معروفة: تحيز النشر (المجلات تُفضل النتائج الإيجابية)، وصغر أحجام العينات التي تُعطي تقديرات تأثير صاخبة، ودرجات حرية الباحث بلا تصحيح، وشُح الشفافية في الإبلاغ عن المناهج.

التسجيل المسبق: الحل

التسجيل المسبق هو ممارسة الالتزام العلني بفرضياتك وحجم عينتك ومتغيرات نتائجك وخطة تحليلك قبل جمع البيانات. بقفل هذه الخيارات مسبقاً يُقضى على درجات الحرية التي تُمكّن من اختراق القيمة p، ويُصبح الفارق بين التحليل التأكيدي والاستكشافي صريحاً.

لا يحظر التسجيل المسبق الاستكشاف، بل يشترط تصنيف التحليلات الاستكشافية على هذا النحو. دراسة مسجّلة مسبقاً تُبلّغ عن p = 0.04 تحمل دليلاً أقوى بكثير من دراسة غير مسجّلة تُبلّغ عن القيمة ذاتها، لأن الأولى لا يمكن أن تكون قد شُكِّلت بمعرفة البيانات.

منصات مثل Open Science Framework (OSF) وAsPredicted.org وسجل التجارب العشوائية لجمعية الاقتصاد الأمريكية تُيسّر التسجيل المسبق مجاناً. التقارير المسجّلة — حيث تُراجع المجلات الدراسات وتقبلها بناءً على تصميمها قبل معرفة النتائج — تمتد بمزايا التسجيل المسبق لتُقضي على تحيز النشر من جذوره.