التجميع الهرمي والكثافي
K-Means يحتاج إلى K. K-Means يحتاج إلى كرات. البيانات الحقيقية لا تحتاج لا هذا ولا ذاك. تعرّف على بديلين قويين يتركان للبيانات أن تقرر شكلها وبنيتها.
شجرة من التجميعات
التجميع الهرمي يبني مخططًا شجريًا (dendrogram) — شجرة كاملة من n مجموعة منفردة إلى مجموعة واحدة. اقطع عند أي ارتفاع لتحصل على أي عدد من المجموعات. لا حاجة إلى K مسبقًا.
ادمج حتى يبقى واحد
- البداية: كل نقطة في مجموعتها الخاصة (n مجموعة)
- ابحث عن أقرب مجموعتين بحسب مسافة الربط
- ادمجهما في مجموعة واحدة
- كرر حتى تبقى مجموعة واحدة
- سجّل كل دمج — هذا هو المخطط الشجري
أربع طرق لقياس المسافة
- الأدنى — الحد الأدنى للمسافة بين أي نقطتين من كل مجموعة
- الأقصى — الحد الأقصى؛ مُكثّف لكنه يُفتّت المجموعات الكبيرة
- المتوسط — متوسط المسافات الزوجية؛ توازن جيد
- وارد — يُقلل زيادة التباين؛ الأفضل في معظم الحالات
معيار وارد
وارد يضم الزوج الذي يُقلل الزيادة في إجمالي التباين داخل المجموعات. يُنتج مجموعات مُدمجة ومتوازنة. الخيار الافتراضي في معظم التحليلات.
قطع المخطط الشجري
ارتفاع الدمج = مدى الاختلاف في تلك الخطوة. قفزة كبيرة بين دمجين متتاليين تُشير إلى حد طبيعي — اقطع هناك. عدد الفروع عند القطع هو K المختار.
المجموعات مناطق كثيفة
DBSCAN يجد المناطق التي تتكدس فيها النقاط ويفصلها عن الخلفية المتفرقة. لا K. أشكال اعتباطية. الشذوذات تُصنَّف تلقائيًا كضوضاء.
جوهرية، حدودية، ضوضاء
- جوهرية — ≥ MinPts جار داخل ε؛ داخل منطقة كثيفة
- حدودية — داخل ε من نقطة جوهرية لكنها ليست كثيفة
- ضوضاء — ليست جوهرية ولا قريبة من جوهرية؛ شذوذ
- المجموعات = مكونات متصلة من النقاط الجوهرية + حدودها
تعريف حي ε
جميع النقاط التي تبعد عن p مسافة ≤ ε تشكّل حيّها. إذا احتوى الحي على ≥ MinPts نقطة، فـp نقطة جوهرية وتبدأ مجموعة.
أشكال حرة وشذوذات مجانية
- بدون K — عدد المجموعات يظهر من كثافة البيانات
- أي شكل — هلالات، حلزونات، حلقات — لا مشكلة
- كشف الشذوذات — نقاط الضوضاء تُصنَّف تلقائيًا
- حتمي — نفس المدخلات تُعطي دائمًا نفس النتائج
اختيار الخوارزمية
- K-Means — بيانات كبيرة، مجموعات كروية، K معروف
- هرمي — شجرة قابلة للتفسير، بيانات صغيرة/متوسطة، استكشاف K
- DBSCAN — أشكال اعتباطية، كشف الشذوذات، K غير معروف
- عند تباين الكثافات بشكل كبير ← فكّر في HDBSCAN
ما تعلمته
الهرمي يبني مخططًا شجريًا؛ معيار وارد هو الأفضل عمليًا. DBSCAN يجد مجموعات ذات أشكال اعتباطية ويُصنّف الشذوذات. التالي: تقليل الأبعاد — PCA وt-SNE وUMAP.