حرّك عتبة القرار، ثم غيّر معدّل الأساس للفئة في المِنصّة، وتوقَّع — قبل أن تقرأ من مصفوفة الالتباس — precision وrecall وF1 عند عتبة محدّدة، وكيف يقايض رفعُ العتبة الاستدعاءَ مقابل الإحكام، وكيف تُسقِط فئةٌ إيجابية أندر الإحكامَ بهدوء بينما لا يكاد AUC يتحرّك.
رقم الدقة الواحد يُخفي الخطأين المهمّين. مصفوفة الالتباس تفصلهما: precision يسأل كم مرّة يكون الإنذار محقًّا، وrecall يسأل كم من الإيجابيات الحقيقية التقطتَها، وF1 هو متوسّطهما التوافقي. تُحرّكك العتبة على طول المقايضة بينهما — ولأنّ الإحكام يعدّ الإيجابيات المتوقَّعة، فإنّه يتوقّف على مدى شيوع الفئة الإيجابية، ولهذا فالنموذج الذي يبدو ممتازًا على اختبار متوازن قد يكون شبه عديم الفائدة على اختبار نادر.
افتح المِنصّة. اضبط هذه المؤشّرات واتركها كما هي — الخطوات الثلاث الأولى تُغيّر مؤشّر Threshold t فقط، والخطوة الأخيرة تقرأ مقارنة معدّل الأساس المدمجة. القيم الافتراضية أدناه هي حالة الإقلاع، فيكفي أن تتأكّد منها.
Prevalence -> 0.30 Threshold t -> 0.50
Separation -> 2.4 Spread -> 0.9 Shape -> normal n -> 1000 Seed -> 7
راقب مصفوفة الالتباس وقراءات المقاييس أسفلها — كل رقم تتوقّعه (precision وrecall وF1) مطبوع هناك، وجدول معدّل الأساس في الصفحة نفسها يُظهر ما يحدث كلّما نَدرت الفئة الإيجابية.
على الحالة الابتدائية (prevalence 0.30، threshold t = 0.50)، اقرأ مصفوفة الالتباس: TP = 273 وFP = 74 وFN = 27 وTN = 626. الإحكام يعدّ كم مرّة يكون التنبّؤ الإيجابي محقًّا، TP / (TP + FP). توقَّع precision، ثم اقرأه.
قراءة الإحكام هي precision = 273 / (273 + 74) = 0.7867. من كل 100 موقع يُنذر عنه الكاشف، نحو 79 موقعًا إيجابيّ فعلًا — رقمٌ عن الإيجابيات المتوقَّعة، لا عن مجموعة الاختبار كلّها.
اسحب Threshold t إلى 0.80. الآن لا يُطلق الكاشف إنذارًا إلّا حين يكون شديد اليقين، فيكاد كل إنذار يكون محقًّا (يرتفع precision إلى نحو 0.985) — لكنّه يصمت عن الإيجابيات الحقيقية الأصعب. الاستدعاء هو TP / (TP + FN). توقَّع recall عند t = 0.80، ثم اقرأه.
تهبط قراءة الاستدعاء إلى recall = 0.4367 — نزولًا من 0.91 عند t = 0.50. أنت الآن تُفوّت أكثر من نصف الإيجابيات الحقيقية بكثير. تلك هي مقايضة الإحكام والاستدعاء: لا تشتري العتبة أحدهما إلّا بإنفاق الآخر.
أعِد Threshold t إلى 0.50. F1 هو المتوسّط التوافقي للإحكام والاستدعاء، F1 = 2·P·R / (P + R)، فيقع تحت متوسّطهما الحسابي ولا يُثيب إلّا نموذجًا جيّدًا في كليهما. وعند precision = 0.7867 وrecall = 0.91، توقَّع F1، ثم اقرأه.
قراءة F1 هي F1 = 0.8439 — بين الإحكام والاستدعاء، ومشدودة نحو الأصغر منهما. درجة متوازنة واحدة، لكنّها لا تكون صادقة إلّا حين تتساوى كلفة الإيجابي الكاذب والسلبي الكاذب تقريبًا.
اقرأ الآن جدول مقارنة معدّل الأساس (لوحة «ما الذي يفعله معدّل الأساس بكل مقياس»). يُبقي النموذج ثابتًا ويجعل الفئة الإيجابية أندر فقط، فينزل بمعدّل الأساس حتى 0.02. عند prevalence 0.50 يكون الإحكام نحو 0.89؛ توقَّع ماذا يصير الإحكام عند prevalence 0.02 (بنفس العتبة t = 0.50)، ثم اقرأه.
ينهار الإحكام إلى 0.1382 — بينما لا يكاد AUC يتحرّك (يبقى قرب 0.94 إلى 0.97 عبر السُّلّم كلّه). لم يسُؤ النموذج؛ بل صار نفسُ معدّل الإيجابيات الكاذبة يقع على فئة سلبية أكبر بكثير، فأصبح معظم الإنذارات كاذبًا. لهذا يجب أن يُقرأ الإحكام دائمًا في ضوء معدّل الأساس.
كل ما سبق ينتظرك في المِنصّة. مرِّر العتبة وراقب precision وrecall يتقايضان لحظيًّا، وغيّر شكل توزيعات الدرجات، وامشِ على سُلّم معدّل الأساس لترى AUC يثبت بينما ينهار الإحكام وPR-AUC من تحته.
- قرأتَ precision = 0.7867 من مصفوفة الالتباس عند t = 0.50
- رأيتَ رفعَ العتبة إلى 0.80 يُهبط recall إلى 0.4367 — مقايضة الإحكام والاستدعاء
- جمعتَ الاثنين في F1 = 0.8439، المتوسّط التوافقي
- رأيتَ الإحكام ينهار إلى 0.1382 عند prevalence 0.02 بينما ثبت AUC — فخّ معدّل الأساس
- كل قيمة توقّعتها هي حساب مصفوفة الالتباس الخاص بالعرض نفسه، لا صورة تقريبية