هندسة الميزات
النموذج ليس أفضل من المعلومات التي تقدّمها إليه. هندسة الميزات تُحوّل البيانات الخام — الطوابع الزمنية، وسلاسل الفئات، والنص — إلى تمثيلات تجعل الأنماط صريحةً وقابلةً للتعلم.
التمثيل الصحيح
الطابع الزمني "08:32 الاثنين" يمكنه التنبؤ بأجرة سيارة الأجرة — لكن فقط إذا استخرجت ساعة الذروة، ويوم الأسبوع، وساعة اليوم.
قيّس، حوّل، قسّم
- المعيارة — متوسط صفري، تباين وحدوي. الأفضل للنماذج القائمة على التدرج
- التطبيع (Min-Max) — تقييس إلى [0,1]. حساس للقيم الشاذة
- التحويل اللوغاريتمي — يُعالج التوزيعات المنحرفة يمينًا (الدخل، الحركة)
- التقسيم إلى حاويات — تحويل مستمر لالتقاط علاقات غير رتيبة
- النماذج القائمة على الأشجار لا تحتاج للتقييس
المعيارة مقابل التطبيع
نهجان، حالتان استخدام:
ترميز الفئات
- One-Hot — عمود ثنائي لكل فئة. جيد للأساسية المنخفضة (<20)
- ترميز التسمية — تعيين صحيح. استخدم حين يوجد ترتيب أو مع الأشجار
- ترميز الهدف — استبدل بمتوسط الهدف. قوي للأساسية العالية — لكن احذر تسرب البيانات
- ترميز التكرار — استبدل بالتكرار. خالٍ من خطر التسرب
تسرب بيانات ترميز الهدف
ترميز الهدف يستخدم معلومات التسميات — كل صف "يعرف" هدفه الخاص. إذا طُبِّق ساذجًا قبل التقسيم، يحدث تسرب للبيانات: نقاط تدريب مُضخَّمة تنهار على البيانات الحقيقية.
TF-IDF والتضمينات
TF-IDF يُوزَّن الكلمات بتكرارها في الوثيقة × ندرتها عبر جميع الوثائق. الكلمات الشائعة تحصل على درجات منخفضة؛ الكلمات النادرة المفيدة على درجات عالية.
التضمينات الكلمية (Word2Vec, GloVe) تضع الكلمات المتشابهة دلاليًا قريبةً في فضاء المتجه. ملك − رجل + امرأة ≈ ملكة.
الطوابع الزمنية تحتاج فكّها
- استخرج — الساعة، يوم الأسبوع، الشهر، السنة، أسبوع السنة
- الترميز الدوري — sin/cos حتى يكون منتصف الليل ≈ الـ 11 مساءً عدديًا
- ميزات التأخر — القيمة عند t−1 وt−7 وt−30 (الارتباط الذاتي)
- الإحصاءات المتحركة — متوسط 7 أيام، انحراف معياري 30 يومًا
- الزمن منذ الأحداث — أيام منذ آخر شراء، ساعات منذ تسجيل الدخول
اللفّ حول الدائرة
الساعة 23 والساعة 0 تفصلهما ساعة واحدة — لكنهما عدديًا بعيدتان. رمّز بـ sin وcos لتلفّ الميزة حول دائرة من دورة P:
ميزتان، إشارةٌ واحدة
درجة ائتمانية 700 تعني أشياءً مختلفة لدخل 10,000 مقابل 200,000 دولار. التفاعل (الدرجة × الدخل) يلتقط ما لا تستطيع أيٌّ من الميزتين منفردةً.
الفقدان إشارةٌ بحد ذاته
البيانات المفقودة نادرًا ما تكون عشوائية. مريض بلا نتيجة فحص قد يعني أن الاختبار لم يُطلَب — وهو بحد ذاته معلومة.
الخلاصة الرئيسية
- هندسة الميزات كثيرًا ما تؤثر أكثر من اختيار النموذج
- قيّس الميزات العددية للنماذج القائمة على التدرج؛ الأشجار لا تحتاج ذلك
- حوّل لوغاريتميًا التوزيعات المنحرفة يمينًا (الدخل، الحركة، التكرارات)
- استخدم ترميز الهدف للفئات عالية الأساسية — داخل طيات التحقق المتقاطع فقط
- رمّز الوقت دوريًا بـ sin/cos؛ ابنِ ميزات تأخر ومتحركة للتنبؤ
- أنشئ دائمًا مؤشر الفقدان قبل حساب القيم المفقودة