تقليل الأبعاد
ألف ميزة تبدو غنية. لكن في الأبعاد العالية، تكون البيانات شحيحة دائمًا — تفقد المسافات معناها وتتعثر النماذج. تعلّم كيف تضغط الضوضاء وتحتفظ بالإشارة.
لعنة الأبعاد
مع نمو الأبعاد، ينفجر الحجم. تتفرق النقاط بعيدًا لدرجة أن البحث عن الجار الأقرب والتجميع يتعطلان. تقترب نسبة أقرب مسافة إلى أبعدها من 1 — كل نقطة تبدو قريبة بالقدر ذاته.
PCA: أقصى تباين
يجد PCA اتجاهات أكبر تباين في البيانات — المحاور التي تنتشر فيها النقاط أكثر. اسقط على أعلى k من هذه المحاور وستحتفظ بأكثر المعلومات في k بُعد.
- كل اتجاه هو مكوّن رئيسي
- المكونات متعامدة — لا تكرار
- تُحسب عبر المتجهات الذاتية لمصفوفة التغاير
الإسقاط على أعلى المتجهات الذاتية
اضبط البيانات على الصفر، احسب مصفوفة التغاير، خذ أعلى k متجهات ذاتية. اسقط البيانات على تلك المتجهات. تخبرك القيم الذاتية بمقدار التباين الذي يلتقطه كل مكوّن.
نسبة التباين المُفسَّر
ارسم التباين التراكمي المُفسَّر مع إضافة المكونات. توقف عند الكوع — حيث تتوقف المكونات الإضافية عن المساهمة بشكل ملموس. في الغالب يحتاج 95% من التباين إلى مكونات أقل بكثير من الميزات.
خطي فقط، بلا منحنيات
- يفترض PCA فضاءً خطيًا — لا متشعبات ولا منحنيات
- لا يستطيع فصل التجمعات على سطح منحنٍ
- حساس للمقياس: طبّع الميزات دائمًا أولًا
- الحل: استخدم طرقًا غير خطية للبنى المعقدة
t-SNE: تضمين الجوار
يحوّل t-SNE المسافات عالية الأبعاد إلى احتمالات، ثم يجد تخطيطًا ثنائي الأبعاد يطابق تلك الاحتمالات. تبقى النقاط المتشابهة قريبة؛ المتباعدة تُدفع بعيدًا. يكشف بنية التجمعات الخفية على PCA.
تقليل تباعد KL
يُصغّر t-SNE تباعد KL بين التوزيع P عالي الأبعاد والتوزيع Q منخفض الأبعاد. يُستخدم نواة Student-t في Q (ذيول ثقيلة) لمنع الازدحام في التضمين.
للتصور فقط، ليس للمعالجة
- للمحاور لا معنى مطلق — شكل التجمع فقط ما يهم
- المسافات بين التجمعات غير محفوظة
- لا يمكن تضمين نقاط جديدة بعد التدريب
- بطيء: O(n² log n) — حدّ عند ~100,000 نقطة
- استخدم PCA إلى 50 بُعدًا أولًا، ثم t-SNE
UMAP: أسرع وأكثر أمانة
- مبني على هندسة ريمانية والطوبولوجيا الجبرية
- يحفظ البنية المحلية والعالمية معًا
- زمن شبه خطي — يتدرج إلى ملايين النقاط
- يستطيع تضمين نقاط جديدة بعد التدريب
- المعاملات الأساسية: n_neighbors (محلي/عالمي) وmin_dist
PCA أم t-SNE أم UMAP؟
- PCA — المعالجة المسبقة، البنية الخطية، دائمًا أولًا
- t-SNE — بيانات صغيرة/متوسطة، تصور تجمعات محكمة
- UMAP — بيانات ضخمة، بنية عالمية، تضمين نقاط جديدة
- سير العمل: PCA ← 50 بُعدًا ← UMAP/t-SNE ← مخطط 2D
ما تعلّمته
PCA خطي وهو دائمًا خطوتك الأولى. يكشف t-SNE بنية التجمعات المحلية للتصور. UMAP أسرع، يحفظ البنية العالمية، ويتدرج أكثر. الوحدة الخامسة مكتملة.