تقييم النماذج
تستطيع تدريب نموذج. والآن السؤال الأصعب: هل هو جيد فعلًا؟ هذا الدرس يعطيك الأرقام التي تجيب — ويكشف لك لماذا يكذب أبسطها عليك.
ثلاث مجموعات، لا اثنتان
في الدرس السابق قسّمت بياناتك إلى قسمين. العمل الحقيقي يحتاج ثلاثة، لأنك تتخذ نوعين مختلفين من القرار، وكل نوع يحتاج بياناته النظيفة.
لا تضبط على الاختبار
كلما نظرت إلى نتيجة الاختبار وغيّرت شيئًا، تسرّب جزء من تلك المجموعة إلى نموذجك. افعلها ثلاثين مرة وتصبح مجموعة الاختبار، بهدوء، مجموعة تدريب ثانية.
دقة 99% وبلا فائدة
10,000 موقع خلوي، 100 منها به عطل. اكتب سطرًا واحدًا — «تنبّأ دائمًا بأنه سليم» — فتحصل على دقة 99.0% دون أن تجد عطلًا واحدًا.
مصفوفة الالتباس
الدقة تعتصر أربعة أرقام في واحد وتخفي الاثنين المهمين. وهذا هو الكاشف الحقيقي عند عتبته الافتراضية:
الإحكام
حين يُطلق النموذج إنذارًا، كم مرة يكون محقًا؟ كاشفنا أنذر عن 150 موقعًا، 60 منها معطل فعلًا — إحكام 0.40. ستّ من كل عشر زيارات مهدورة.
الاستدعاء
من الأعطال الموجودة فعلًا، كم وجدنا؟ 60 من 100 — استدعاء 0.60. أربعون موقعًا لا يزال معطلًا ولم يُخبَر أحد.
مقياس F1
رقم واحد للاثنين. وهو الوسط التوافقي لا المتوسط العادي — فهو يرفض أن يُجامَل بنصف قوي واحد. ومقياسنا: 0.48.
أيّها تريد أنت؟
لا يوجد افتراضي. اسأل: أي خطأ أغلى؟
- الإحكام — حين يكون الإنذار الكاذب مكلفًا. مرشّحات البريد: فقدان رسالة حقيقية أسوأ من مرور رسالة مزعجة.
- الاستدعاء — حين يكون الإخفاق مكلفًا. المسح الطبي: حالة فائتة أسوأ من اختبار إضافي.
- F1 — حين يؤلمك الاثنان وتحتاج رقمًا واحدًا ترتّب به النماذج.
امسح العتبة
النموذج يُخرج درجة لا تسمية. أنت من يختار حدّ القطع. حرّكه ولاحظ النقطة ترسم منحنى ROC.
المساحة تحت المنحنى
AUC هي المنطقة المظللة التي شاهدتها. ومعناها بسيط: احتمال أن يحصل موقع معطل عشوائي على درجة أعلى من موقع سليم عشوائي. مساحتنا 0.90، ورمي العملة 0.50.
RMSE أم MAE؟
هنا تتنبأ برقم لا بفئة. كلاهما يذكر الخطأ بوحدات ما تنبأت به — لكن RMSE يربّع أولًا، فيصبح إخفاق كبير واحد مسيطرًا عليه. أما MAE فلا يرتجف.
MAE وR²
تسعة تنبؤات تخطئ بمقدار 1 وواحد يخطئ بمقدار 10: MAE يساوي 1.9 وRMSE يساوي 3.3. وإذا كانت هذه القيم الشاذة بيانات فاسدة لا تنبؤات سيئة، فـMAE هو التقرير الصادق.
ما تعلمته
التدريب يضبط، والتحقق يختار، والاختبار يُبلِغ — مرة واحدة. الدقة تخفي الاختلال، ومصفوفة الالتباس تكشفه. الإحكام والاستدعاء وF1 تسمّي المقايضة، وROC وAUC تقيّمها عبر كل عتبة. وللانحدار: RMSE يعاقب القيم الشاذة، وMAE يتحمّلها، وR² يقارنك بتخمين المتوسط.