اختبار A/B | STAT-101

التجريب على نطاق واسع

في كل مرة تحمّل فيها صفحة ويب، أو تضغط على زر، أو ترى عنوانًا إخباريًا، هناك احتمال كبير أنك جزء من تجربة. تُجري شركات التكنولوجيا آلاف اختبارات A/B في وقت واحد — مقارنة النسخة A (التحكم) بالنسخة B (المتغير) لتحديد أيهما يُنتج نتائج أفضل. تختبر Netflix صور الصور المصغرة. تختبر Amazon ألوان الأزرار. تختبر Google درجة اللون الأزرق في روابط بحثها. هذا هو تصميم التجارب كما يُمارَس على نطاق الإنترنت.

اختبار A/B هو ببساطة تجربة عشوائية خاضعة للتحكم مُطبَّقة على منتج رقمي. تنطبق هنا جميع المبادئ من الدرس السابق — العشوائية، ومجموعات التحكم، وتحليل القدرة — لكن مع مجموعة محددة من الاتفاقيات والمقاييس وأنماط الإخفاق الخاصة بالسياق الرقمي.

الفكرة الجوهرية

قسّم المستخدمين عشوائيًا إلى مجموعتين. أظهر للمجموعة A التجربة الحالية. أظهر للمجموعة B التجربة المعدّلة. قِس ما إذا كان الفرق في النتائج أكبر مما يمكن تفسيره بالصدفة وحدها.

اختبار A/B = تجربة عشوائية خاضعة للتحكم مطبّقة على قرارات المنتج

الإعداد: الفرضية والمقياس

يبدأ كل اختبار A/B بـفرضية محددة جيدًا. الفرضية الغامضة كـ“التصميم الجديد سيكون أفضل” غير قابلة للاختبار. الفرضية الدقيقة تحدد: ما الذي تغيّره، وما النتيجة التي تقيسها، وفي أي اتجاه تتوقع أن تتحرك. على سبيل المثال: “نقل زر الدعوة إلى الإجراء فوق الطيّ سيزيد معدل النقر.”

اختيار المقياس الأساسي بالغ الأهمية. يمكنك قياس أي شيء تقريبًا — النقرات، والمشتريات، ومدة الجلسة، والزيارات العائدة، والإيرادات لكل مستخدم — لكن يجب أن تلتزم بمقياس أساسي واحد قبل تشغيل الاختبار. تشغيل الاختبار ثم اختيار أي مقياس تحرّك هو شكل من أشكال اصطياد p يُضخّم معدل النتائج الإيجابية الكاذبة.

المقاييس الجيدة حساسة (تتغير بشكل ملحوظ عندما ينجح العلاج)، وموقوتة (يمكن قياسها خلال نافذة الاختبار)، ومتوائمة مع أهداف الأعمال. المقياس الذي يسهل تحريكه لكنه منفصل عن القيمة الحقيقية هو مقياس الغرور — يمكن أن يدفعك إلى شحن تغييرات تضر على المدى البعيد.

حجم العينة: معرفة متى يكفي

قبل إطلاق اختبار A/B، يجب تحديد عدد المستخدمين الذي تحتاجه كل مجموعة. هذا يستلزم تحليل القدرة ذاته من الدرس السابق، مُكيَّفًا للمقاييس التي تستخدمها.

بالنسبة للنتيجة الثنائية (هل نقر المستخدم أم لا؟)، الكميات ذات الصلة هي: معدل التحويل الأساسي p، والحد الأدنى للتأثير القابل للكشف Δ (أصغر تحسين يستحق الاهتمام)، ومستوى الدلالة α (عادةً 0.05)، والقدرة المرغوبة 1−β (عادةً 0.80).

حجم العينة للنسب (لكل مجموعة)

n = \frac{(z_{\alpha/2} + z_{\beta})^2 \bigl[p_1(1-p_1) + p_2(1-p_2)\bigr]}{\Delta^2}

p̄ = (p₁ + p₂)/2 هو النسبة المجمّعة؛ z_α/2 و z_β هي القيم الحرجة للدلالة والقدرة؛ Δ = p₂ − p₁ هو الحد الأدنى للتأثير القابل للكشف.

خطأ شائع هو تعيين الحد الأدنى للتأثير القابل للكشف صغيرًا جدًا — محاولة الكشف عن تحسن بنسبة 0.01% عندما يكون الأساس 5%. يتطلب هذا أحجامًا هائلة للعينات ومدة اختبار طويلة. بدلًا من ذلك، اسأل: ما أصغر تأثير سيؤثر فعلًا على قرارنا بالشحن؟ التأثيرات الأصغر من ذلك لا تستحق الكشف عنها.

تشغيل الاختبار: العشوائية والمدة

وحدة العشوائية مهمة. يمكنك العشوائية على مستوى مشاهدات الصفحة الفردية، أو جلسات المستخدم، أو هويات المستخدم. العشوائية بهوية المستخدم (بحيث يرى كل مستخدم دائمًا نفس المتغير) عادةً صحيحة: تمنع تعرّض المستخدم نفسه لكلا الإصدارين، مما يلوّث المقارنة.

يجب أن تكون آلية التخصيص عشوائية حقًا. نهج شائع هو تجزئة معرّف المستخدم ومعرّف التجربة معًا، ثم أخذ النتيجة modulo 100 لتعيين نسب الدلو. هذا يضمن تخصيصًا حتميًا لكنه فعليًا عشوائي ومتسق عبر الزيارات.

مدة الاختبار تُحدَّد بحساب حجم العينة ومعدل الحركة، لكن هناك قيدان إضافيان. أولًا، شغّل الاختبار لأسبوع كامل على الأقل لالتقاط تأثيرات يوم الأسبوع — يختلف سلوك المستخدم بين أيام الأسبوع وعطلة نهاية الأسبوع. ثانيًا، شغّله طويلًا بما يكفي لالتقاط تأثيرات الجدّة: يستجيب المستخدمون أحيانًا بشكل مختلف للتغييرات لمجرد كونها جديدة، ويتلاشى هذا التأثير بعد أيام قليلة.

قائمة تدقيق المدة

1. طويل بما يكفي لجمع حجم العينة المطلوب.

2. أسبوع كامل على الأقل (7 أيام) للمساءلة عن تأثيرات يوم الأسبوع.

3. طويل بما يكفي لرصد السلوك الثابت بعد تلاشي تأثيرات الجدّة.

4. قصير بما يكفي حتى لا يتغير سياق الأعمال بشكل ملحوظ خلال الاختبار.

تحليل النتائج: اختبار t واختبار مربع كاي

بمجرد انتهاء الاختبار، تقارن المجموعتين. يعتمد اختيار الاختبار على نوع المقياس.

للـمقاييس المستمرة (متوسط الإيرادات لكل مستخدم، مدة الجلسة)، استخدم اختبار t ذو العينتين. يختبر هذا ما إذا كانت متوسطات المجموعتين تختلف أكثر مما هو متوقع بالصدفة.

للـمقاييس الثنائية (معدل التحويل، معدل النقر)، استخدم اختبار z لنسبتين أو بشكل مكافئ اختبار مربع كاي للاستقلالية. إحصائية الاختبار هي:

اختبار z لنسبتين

z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\!\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}}

p̂₁ و p̂₂ هما معدلا التحويل الملاحظان في التحكم والمتغير؛ p̄ هي النسبة المجمّعة؛ n₁ و n₂ هما حجما المجموعتين. ارفض H₀ عندما |z| > z_α/2.

أبلّغ عن النتيجة بـفترة ثقة للفرق، ليس فقط قيمة p. نتيجة ذات دلالة إحصائية تقول “حسّن المتغير معدل التحويل بنسبة 0.001% (فترة ثقة 95%: 0.0002%–0.002%)” تعطي معلومات أكثر بكثير من “p = 0.03.” فترة الثقة تخبرك بالنطاق المعقول لحجم التأثير الحقيقي، وهو ما يحدد فعلًا ما إذا كنت ستشحن.

اختبار A/B البايزي

للنهج التكراري الموضح أعلاه نظير: اختبار A/B البايزي. بدلًا من حساب قيمة p ومقارنتها بعتبة، يُنمذج النهج البايزي معدلات التحويل كمتغيرات عشوائية ذات توزيعات أولية، يحدّثها بالبيانات الملاحظة، ويحسب الاحتمال اللاحق بأن المتغير B أفضل من التحكم A.

الميزة الرئيسية هي قابلية التفسير. “هناك احتمال 97% بأن المتغير B لديه معدل تحويل أعلى” عبارة يمكن لمعظم مديري المنتجات فهمها بشكل حدسي. في المقابل، قيمة p التكرارية 0.03 كثيرًا ما تُفسَّر خطأً على أنها نفس هذه العبارة — لكنها ليست كذلك. إنها احتمالية مشاهدة بيانات بهذا القدر من التطرف إذا كانت الفرضية الصفرية صحيحة، وهو ادعاء مختلف بدقة لكن باهتمام.

تتعامل الاختبارات البايزية أيضًا مع مشكلة المراقبة المستمرة بشكل أكثر أناقة. في الإطار التكراري، التحقق من النتائج في منتصف التجربة والتوقف مبكرًا يُضخّم معدل الإيجابيات الكاذبة. في الإطار البايزي، تحديث المعتقدات مع وصول البيانات طبيعي فلسفيًا، وإن كان التطبيق الدقيق لا يزال يتطلب تفكيرًا في قواعد التوقف.

التوزيع الأولي

p \sim \mathrm{Beta}(\alpha,\,\beta)

توزيع Beta(α, β) أولي لمعدل التحويل p. α − 1 نجاح أولي، β − 1 فشل أولي.

التوزيع اللاحق

p \mid \text{data} \sim \mathrm{Beta}(\alpha + s,\; \beta + n - s)

بعد مشاهدة s نجاح في n تجربة، التوزيع اللاحق هو Beta(α + s, β + n − s).

الأخطاء الشائعة

التطلع المبكر هو الخطأ الأكثر شيوعًا. تطلق اختبارًا، وتتحقق من النتائج يوميًا، وتتوقف بمجرد أن ترى p < 0.05. هذا غير صحيح إحصائيًا. في ظل الفرضية الصفرية، ستنخفض قيمة p دون 0.05 بحوالي 5% من الوقت بالصدفة — لكن إذا تحققت منها بشكل متكرر، فإنك تزيد كثيرًا من فرصة مصادفتها في إيجابية كاذبة. تُظهر المحاكاة أن التطلع اليومي لتجربة مدتها أسبوعان يمكن أن يُضخّم معدل الإيجابيات الكاذبة من 5% إلى أكثر من 25%.

المقاييس المتعددة تُنشئ مشكلة مماثلة. إذا اختبرت 20 مقياسًا وأعلنت الفوز عندما يصل أي منها إلى p < 0.05، فتتوقع إيجابية كاذبة واحدة بالصدفة البحتة. طبّق تصحيحًا مثل Bonferroni (اقسم α على عدد الاختبارات) أو Benjamini-Hochberg عند اختبار مقاييس كثيرة.

تأثيرات الشبكة والتداخل تنشأ عندما يؤثر المستخدمون على بعضهم البعض. إذا أحال مستخدمو المتغير B أصدقاءهم، وكان هؤلاء الأصدقاء يُحتمل أن يكونوا مُخصَّصين للتحكم، فالمجموعتان لم تعودا مستقلتين. يفترض اختبار A/B القياسي عدم وجود تداخل بين الوحدات — ويُعرف هذا بافتراض قيمة علاج الوحدة الثابتة (SUTVA). عند انتهاك SUTVA، تلزم تصاميم العشوائية العنقودية أو الاحتفاظ.

عدم تطابق نسبة العينة (SRM) يحدث عندما تختلف أحجام المجموعات الملاحظة بشكل ملحوظ عما كان مخططًا له. إذا خصصت 50-50 وانتهى بك الأمر بـ47-53، فشيء ما أُخطئ في العشوائية أو خط أنابيب التسجيل. تحقق دائمًا من SRM قبل تفسير النتائج — إنه علامة على خلل يمكنه جعل أي نتيجة بلا معنى.

الاختبار التسلسلي: التوقف المبكر الآمن

أحيانًا تريد التوقف مبكرًا — مثلًا، إذا كان المتغير يسبب ضررًا، أو إذا كان التأثير كبيرًا جدًا لدرجة أنه واضح بالفعل. الحل هو الاختبار التسلسلي، المعروف أيضًا بالتصميم الجماعي التسلسلي.

يُحدد اختبار تسلسلي مسبقًا جدولًا من التحليلات المؤقتة ويستخدم عتبات دلالة معدّلة عند كل نظرة. النهج الأكثر شيوعًا هو حدود O’Brien-Fleming: العتبة للتوقف مبكرًا متحفظة جدًا (قيمة α صغيرة جدًا) عند النظرات المبكرة، وتخفف إلى قرب α الاسمية عند النظرة النهائية المخططة. يتحكم هذا في المعدل الكلي للإيجابيات الكاذبة عند α بالضبط مع السماح بالتوقف المبكر عندما تكون الأدلة ساحقة.

بديل هو قيمة p الصالحة دائمًا من أدبيات الاختبار التسلسلي، التي تبقى صالحة بصرف النظر عن موعد التوقف. تتيح هذه الأساليب المراقبة المستمرة دون تضخيم معدلات الإيجابيات الكاذبة — أفضل الحالتين.

قائمة تدقيق اختبار A/B

1. التحديد المسبق — الفرضية والمقياس الأساسي وحجم العينة وخطة التحليل قبل الإطلاق.

2. العشوائية بالمستخدم — التخصيص المتسق يمنع التلوث داخل جلسة المستخدم.

3. التحقق من SRM — تحقق من أن أحجام المجموعات تتطابق مع التقسيم المقصود قبل الوثوق بأي نتيجة.

4. تشغيل المدة الكاملة — لا تتوقف مبكرًا إلا باستخدام اختبار تسلسلي بحدود محددة مسبقًا.

5. الإبلاغ عن أحجام التأثير وفترات الثقة — وليس فقط “دالة” أو “غير دالة.”

6. التصحيح للمقارنات المتعددة — عند اختبار مقاييس أو متغيرات كثيرة في وقت واحد.

يمتد الدرس التالي من التجارب الخاضعة للتحكم إلى المشكلة الأصعب: الاستدلال السببي من البيانات الرصدية — ما يجب فعله عندما لا تستطيع العشوائية، وكيف تتيح تقنيات مثل المطابقة ودرجات الميل والفروق في الفروق الوصول إلى استنتاجات تجريبية من البيانات المتاحة.

النقاط الرئيسية

اختبار A/B هو تجريب عشوائي خاضع للتحكم مطبّق على المنتجات الرقمية. عشوئ بهوية المستخدم، وليس بمشاهدة الصفحة، لضمان معاملة متسقة.
حدّد مسبقًا مقياسك الأساسي وحجم عينتك قبل الإطلاق. يجب أن يعكس الحد الأدنى للتأثير القابل للكشف أصغر تغيير سيؤثر فعلًا على قرار الشحن.
اختبار z لنسبتين (أو اختبار مربع كاي) معياري للمقاييس الثنائية؛ ينطبق اختبار t ذو العينتين على المقاييس المستمرة. أبلّغ دائمًا عن فترات الثقة إلى جانب قيم p.
يوفر اختبار A/B البايزي عبارات أكثر بداهة حول احتمال أن المتغير أفضل، ويتعامل مع المراقبة المستمرة بشكل أكثر طبيعية من الأساليب التكرارية.
التطلع المبكر يُضخّم معدلات الإيجابيات الكاذبة بشكل كبير. أساليب الاختبار التسلسلي (O’Brien-Fleming، قيم p الصالحة دائمًا) تتيح التحليلات المؤقتة المخططة دون تضخيم معدلات الخطأ.
تحقق دائمًا من عدم تطابق نسبة العينة قبل تفسير النتائج. يشير SRM إلى خلل في العشوائية أو التسجيل يجعل أي استنتاج غير موثوق.