الأساليب الحسابية البايزية
التوزيع البعْدي سهل الكتابة، لكنه في العموم مستحيل التطبيع. تتجاوز سلسلة ماركوف مونت كارلو (MCMC) التكامل تماماً — فهي تأخذ عيّنات من البعْدي بدل تقييمه.
المقام المستعصي
خارج الأزواج المترافقة لا يملك ذلك التكامل على θ صيغةً مغلقة، وفي أبعادٍ كثيرة لا يبلغه أيُّ تربيعٍ عددي. نستطيع حساب البسط لأيّ θ — أمّا الثابت الذي يُطبّعه فلا.
سلسلةٌ تستقرّ على البعْدي
- ابنِ سلسلة ماركوف — كل خطوة تعتمد على الحالة الراهنة وحدها
- اختَر انتقالاتها بحيث يكون توزيعها المستقر هو البعْدي نفسه
- شغّلها مدةً كافية فتصير الحالات التي تزورها هي عيّناتٍ من p(θ∣D)
- وأيُّ كميةٍ بعْدية — متوسّط، أو فترة موثوقة، أو احتمال ذيل — تصير عندئذٍ متوسطاً على تلك العيّنات
والأهمّ أنه لا يُحتاج إلا إلى نِسَب البعْدي، فيُختصَر ثابت التطبيع المفقود ولا يلزم حسابه أبداً.
ميتروبوليس–هيستينغز
اقترِح انتقالاً x→x′، ثم اقبله باحتمال α — وإلّا فابقَ مكانك. ومع اقتراحٍ متماثل تُختصَر نسبة q إلى α = min(1, p(x′)/p(x)). والتوازن التفصيلي هو ما يجعل البعْدي مستقراً.
عرض الاقتراح: القبول مقابل المزج
- صغيرٌ جداً — يُقبَل كل انتقال تقريباً، لكن السلسلة تتخبّط في مكانها: ارتباطٌ ذاتيٌّ عالٍ، وحجم عيّنةٍ فعّال ضئيل
- كبيرٌ جداً — يُرفَض كل انتقال تقريباً، فتَعلَق السلسلة وتتوقّف
- نطاقٌ صحّيٌّ بينهما — انتقالاتٌ بحجمٍ مفيد تُقبَل بما يكفي للاستكشاف
- في الأبعاد العالية، معدّل قبولٍ قرب 0.234 قاعدةٌ تقريبية معروفة (Roberts, Gelman & Gilks, 1997)
أخذ عيّنات غيبس
حين يكون التوزيع الشرطي الكامل لكل معلمةٍ معروفاً بصيغةٍ مغلقة، اسحَب كل إحداثيٍّ بدوره من شرطيّه الخاص مع تثبيت البقية. تُقبَل كل عيّنة — بلا خطوة رفض. وللتوزيع الطبيعي الثنائي المترابط أعلاه تكون الشرطيات غاوسيةً تماماً. ويمزج غيبس جيداً حيث يمكن استخدامه، لكن الشرطيات لا يمكن اشتقاقها دائماً.
مخطّطات الأثر والتقارب
- مخطّط الأثر — السلسلة الصحّية شريطٌ أفقيٌّ مشعّث؛ والعالقة تُظهر مقاطع مسطّحة طويلة أو انزلاقاً بطيئاً
- الإحماء — اطرح العيّنات المبكّرة المأخوذة قبل بلوغ السلسلة منطقتها المستقرة
- الارتباط الذاتي وESS — العيّنات المترابطة تحمل معلومةً أقل؛ وحجم العيّنة الفعّال هو كم عيّنةً مستقلة تعادلها
- R-hat — شغّل عدة سلاسل من بداياتٍ مختلفة؛ فحين تتداخل (R̂ ≈ 1) تكون قد تقاربت
شاهِد سلسلةً تمتزج
حرّك عرض الاقتراح وراقب مقايضة القبول بالمزج — الخطوات الصغيرة تزحف، والكبيرة تَعلَق، والنطاق الأوسط يستكشف.
ما تعلّمته
- تكامل تطبيع البعْدي مستعصٍ عادةً — فتأخذ MCMC عيّنات من البعْدي بدل تقييمه
- يقترح ميتروبوليس–هيستينغز ثم يقبل بـα = min(1, …)؛ والتوازن التفصيلي يجعل البعْدي مستقراً
- عرض الاقتراح يقايض القبول بالمزج؛ و~0.234 هي القاعدة التقريبية في الأبعاد العالية
- يسحب غيبس كل إحداثيٍّ من شرطيّه الكامل التامّ ويقبل كل عيّنة
- شخّص بمخطّطات الأثر، والإحماء، والارتباط الذاتي/ESS، وR-hat عبر السلاسل