خدعة النواة | ML-101

مشكلة الخطية

في الدرس السابق رأينا أن آلات المتجهات الداعمة تجد المستوى الفائق ذا الهامش الأقصى — فكرة قوية، لكنها لا تعمل إلا حين يمكن فصل الفئتين بخط مستقيم أو مستوٍ مسطّح. البيانات الواقعية نادرًا ما تكون بهذه السهولة. تصوّر فئتين مرتّبتين في حلقات متحدة المركز، أو نمط XOR: لا يستطيع أي مستوٍ فائق فصلهما.

النهج الكلاسيكي لمعالجة المسائل غير الخطية هو هندسة الميزات: بناء ميزات جديدة يدويًا تجعل المسألة قابلة للفصل الخطي. فمثلًا، إن كانت بياناتك تحتوي ميزة x، يمكن إضافة x² كميزة جديدة. لكن هذا الأسلوب مضنٍ ويتطلب خبرة بالمجال، فضلًا عن أنه يصبح غير قابل للتطبيق في الأبعاد العالية.

تُؤتمت خدعة النواة هذه الفكرة وتُعمّمها بأناقة: تتيح لآلات المتجهات الداعمة العمل في فضاء ميزات شديد الأبعاد (يصل إلى ما لا نهاية) دون حساب إحداثيات ذلك الفضاء قط.

دوال تعيين الميزات

رسميًا، دالة تعيين الميزات φ تُحوّل نقطة البيانات x من فضاء المدخلات الأصلي إلى فضاء ميزات أعلى بُعدًا:

دالة تعيين الميزات

\phi: \mathbb{R}^n \to \mathcal{F}

تُعيِّن φ كل مدخل x من ℝⁿ إلى فضاء ميزات ℱ قد يمتلك أبعادًا أكثر بكثير من الفضاء الأصلي — ربما لا نهاية من الأبعاد.

بعد تطبيق φ على جميع المدخلات، نُدرّب آلة متجهات داعمة خطية في الفضاء الجديد. حدّ القرار خطي في فضاء الميزات، لكنه يقابل حدًا غير خطي في فضاء المدخلات الأصلي. المشكلة: إذا عيّنت φ إلى فضاء شديد الأبعاد، يصبح حساب φ(x) صراحةً ثم ضرب نقاطها أمرًا مكلفًا حسابيًا للغاية.

على سبيل المثال، دالة تعيين الميزات متعددة الحدود من الدرجة الثانية لميزتين (x₁، x₂) تُنتج 6 ميزات: (1، x₁، x₂، x₁²، x₁x₂، x₂²). ولدرجة d مع p ميزة أصلية، يصل حجم فضاء الميزات إلى O(p^d) — رقم فلكي بسرعة.

دالة النواة

هنا تكمن الملاحظة الجوهرية: في صياغة مسألة آلة المتجهات الداعمة الثنائية (الدوالية)، تظهر نقاط البيانات فقط كحاصل ضرب نقطي φ(x)^Tφ(z). لا نحتاج إلى إحداثيات φ(x) وφ(z) منفردةً — فقط حاصل ضربهما الداخلي. دالة النواة تحسب هذا الحاصل مباشرةً من المدخلات الأصلية، دون بناء φ قط:

دالة النواة

K(\mathbf{x}, \mathbf{z}) = \phi(\mathbf{x})^\top \phi(\mathbf{z})

K(x, z) تحسب الحاصل الداخلي لـ φ(x) و φ(z) في فضاء الميزات دون حساب φ(x) أو φ(z) صراحةً. هذه هي خدعة النواة.

هذا عميق الدلالة: يمكننا العمل في فضاء شديد الأبعاد (أو لا نهائي الأبعاد) بتكلفة حسابية تساوي تقييم دالة بسيطة في الفضاء الأصلي. تعتمد التعقيدية الحسابية على البُعد الأصلي، لا على بُعد فضاء الميزات.

متى تكون النواة صالحة؟

ليست كل دالة K(x، z) تقابل حاصلًا داخليًا صحيحًا في فضاء ما. الدالة K نواة صحيحة (تُسمى أيضًا نواة ميرسر) إذا وفقط إذا كانت مصفوفة النواة K (حيث K_ij = K(x_i، x_j)) شبه محددة موجبة لجميع مجموعات التدريب المحتملة. هذا هو شرط ميرسر.

بصورة حدسية، المصفوفة شبه المحددة الموجبة تضمن أننا نحسب حواصل ضرب داخلية في فضاء حاصل ضرب داخلي صحيح. إذا لم يتحقق هذا الشرط، قد لا يكون للتحسين حلٌّ وحيد أو قد لا يتقارب. عمليًا، النوى المعيارية (RBF، متعددة الحدود، الخطية) كلها تحقق شرط ميرسر، ونادرًا ما نحتاج للتحقق منه صراحةً.

دوال النواة الشائعة

مجموعة صغيرة من النوى المعيارية تكفي لمعظم المسائل العملية:

النواة	الصيغة	فضاء الميزات
الخطية	K(x,z) = x^Tz	الفضاء الأصلي (بلا تعيين)
متعددة الحدود	K(x,z) = (x^Tz + c)^d	جميع الحدود الأحادية حتى الدرجة d
RBF / الغاوسية	K(x,z) = exp(−γ‖x−z‖²)	لا نهائية الأبعاد
السيني	K(x,z) = tanh(κx^Tz + θ)	يُقرّب طبقة شبكة عصبية

نواة RBF بتعمّق

نواة دالة الأساس الشعاعي (RBF)، أو النواة الغاوسية، هي الأكثر استخدامًا. تقيس التشابه كدالة غاوسية للمسافة الإقليدية بين نقطتين:

نواة RBF

K(\mathbf{x}, \mathbf{z}) = \exp\!\left(-\gamma \|\mathbf{x} - \mathbf{z}\|^2\right)

γ (غاما) يتحكم في عرض الجرس الغاوسي. γ كبير → جرس ضيق → فقط النقاط القريبة جدًا تتشابه → حدّ متعرّج. γ صغير → جرس عريض → النقاط البعيدة لا تزال متشابهة → حدّ أكثر سلاسة.

تقابل نواة RBF فضاءَ ميزاتٍ لا نهائي الأبعاد — يمكن التحقق من ذلك بتوسيع متسلسلة تايلور للأسي. ورغم ذلك، يظل التدريب والتنبؤ قابلَيْن للتطبيق لأننا لا نحسب إلا K(x_i، x_j) دون φ(x) قط. نواة RBF هي مُقرّب عالمي: بكمية كافية من البيانات وقيمة γ مناسبة، تستطيع تمثيل أي حدّ قرار مستمر.

المعامل γ

يُكتب المعامل γ في نواة RBF أحيانًا كـ 1/(2σ²) مما يربطه بتباين الغاوسية. القيمة الافتراضية الشائعة هي γ = 1/عدد_الميزات (افتراضي في scikit-learn). مثل C، يُضبط بالتحقق المتقاطع. γ كبير يُخاطر بالإفراط في التخصيص (يحفظ الحدّ نقاط التدريب)؛ γ صغير يُخاطر بنقص التخصيص (الحدّ سلس أكثر من اللازم).

لماذا تهمّ الصياغة الثنائية؟

تستلزم خدعة النواة ظهور البيانات كحواصل ضرب نقطية فقط. هذا مضمون بالعمل في الصورة الثنائية لتحسين آلة المتجهات الداعمة. تُعيد الصياغة الثنائية صياغة مسألة آلة المتجهات الداعمة الأصلية (تصغير ‖w‖ مع القيود) إلى مسألة مكافئة على مضاعفات لاغرانج α_i:

الهدف الثنائي لآلة المتجهات الداعمة

\max_{\boldsymbol{\alpha}}\;\sum_{i=1}^n \alpha_i - \tfrac{1}{2}\sum_{i,j}\alpha_i\alpha_j y_i y_j K(\mathbf{x}_i,\mathbf{x}_j) \quad\text{s.t.}\quad 0\le\alpha_i\le C,\;\sum_i\alpha_i y_i=0

مضاعفات لاغرانج α_i مرتبطة بكل نقطة تدريب. α_i غير الصفرية تقابل متجهات الدعم. النواة K(x_i, x_j) تحلّ محل حاصل الضرب الداخلي φ(x_i)ᵀφ(x_j).

بعد حلّ الصياغة الثنائية، يصبح التنبؤ لنقطة جديدة x:

التنبؤ

f(\mathbf{x}) = \text{sign}\!\left(\sum_{i:\,\alpha_i>0} \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b\right)

التنبؤ هو مجموع موزون لتقييمات النواة مقابل متجهات الدعم فقط (α_i > 0). هذا يجعل التنبؤ سريعًا حتى في فضاءات لا نهائية الأبعاد.

يجري المجموع على متجهات الدعم فقط (حيث α_i > 0)، مما يجعل التنبؤ فعّالًا. تعقيدية المسألة الثنائية من O(n²) إلى O(n³) في عدد نماذج التدريب n — وهذا العنق الزجاجي الرئيسي لقابلية توسّع آلات المتجهات الداعمة مع مجموعات البيانات الضخمة جدًا.

اختيار النواة المناسبة

اختيار النواة هو فن وعلم في آنٍ معًا. إليك بعض التوجيهات العملية:

النواة الخطية: ابدأ بها. هي الأسرع في التدريب والأسهل في التفسير. إذا كانت بياناتك تمتلك ميزات أكثر بكثير من الأمثلة (تصنيف النصوص، علم الجينوم)، فغالبًا ما تتفوق آلة المتجهات الداعمة الخطية على غير الخطية.

نواة RBF: الخيار الافتراضي لمعظم المسائل حين تكون النواة الخطية غير كافية. اختيار آمن حين لا تمتلك معرفة مسبقة قوية ببنية البيانات. اضبط C وγ معًا عبر البحث الشبكي على مقياس لوغاريتمي.

نواة متعددة الحدود: مفيدة حين تعتقد أن تفاعل الميزات مهم عند درجة محددة. الدرجة الثانية شائعة في مهام الرؤية الحاسوبية. أقل استقرارًا عدديًا من RBF للدرجات العالية.

النوى المخصصة: يمكنك تعريف K خاص بك طالما يحقق شرط ميرسر. النوى الخاصة بالمجال — نوى السلاسل للنصوص، نوى الرسوم البيانية للجزيئات — تستطيع ترميز معرفة المجال مباشرةً في مقياس التشابه.

مصفوفة النواة هي النموذج

أحد الاستنتاجات الأنيقة لخدعة النواة: النموذج بأكمله مُرمَّز في مصفوفة النواة K. خوارزميتان تستخدمان النواة ذاتها على البيانات ذاتها ستُنتجان حدّ القرار ذاته، بصرف النظر عن تطبيقاتهما الداخلية. لهذا طرق النواة مُعيَّرة بمرونة — بتبديل النواة تُبدّل مفهوم التشابه دون تغيير أي شيء آخر في الخوارزمية.

نقاط القوة والقيود

توفر آلات المتجهات الداعمة النووية مرونة دون هندسة ميزات صريحة. إنها مبنية على أسس راسخة، ولها ضمانات تعميم قوية، وتعمل بشكل جيد حتى مع البيانات المحدودة. نواة RBF هي مُقرّب عالمي وستُقرّب، بكمية كافية من الأمثلة، أي حدّ قرار سلس.

القيد الرئيسي هو قابلية التوسع. تخزين مصفوفة النواة وحلّها يستهلكان O(n²) من الذاكرة و O(n³) من وقت التدريب. لمجموعات بيانات تتجاوز ~100 ألف مثال، تصبح آلات المتجهات الداعمة النووية غير عملية دون طرق تقريب (مثل تقريب Nyström أو الميزات العشوائية). لهذا حلّ التعلم العميق، الذي يتوسع خطيًا مع حجم مجموعة البيانات عبر النزول التدرجي العشوائي، محل آلات المتجهات الداعمة في المهام واسعة النطاق — بينما تظل آلات المتجهات الداعمة النووية تنافسية على مجموعات البيانات الصغيرة والمتوسطة.

في الدرس التالي، ننتقل من النظرية إلى التطبيق: كيفية تدريب آلات المتجهات الداعمة وضبطها وتقييمها على مجموعات بيانات حقيقية باستخدام scikit-learn، بما في ذلك استراتيجيات التحقق المتقاطع وسير عمل البحث الشبكي الكامل لـ C وγ.

أبرز ما تعلمناه

تتيح خدعة النواة لآلات المتجهات الداعمة العمل في فضاءات ميزات عالية الأبعاد دون حساب دالة التعيين φ صراحةً.
دالة النواة K(x, z) تحسب الحاصل الداخلي φ(x)·φ(z) مباشرةً من المدخلات الأصلية.
شرط ميرسر (مصفوفة نواة شبه محددة موجبة) يضمن أن النواة تقابل فضاء حاصل ضرب داخلي صحيحًا.
النوى الثلاث المعيارية: الخطية (بلا تعيين)، متعددة الحدود (حدود أحادية حتى الدرجة d)، و RBF (غاوسية لا نهائية الأبعاد).
نواة RBF هي الأكثر استخدامًا؛ γ يتحكم في عرض جرس التشابه — γ كبير يعني حدًا معقدًا، γ صغير يعني حدًا سلسًا.
في الصياغة الثنائية، يستخدم التنبؤ تقييمات النواة مقابل متجهات الدعم فقط، مما يجعله فعّالًا حتى في الفضاءات لا نهائية الأبعاد.
آلات المتجهات الداعمة النووية تتوسع بـ O(n²) في الذاكرة و O(n³) في التدريب — غير عملية لمجموعات البيانات الضخمة جدًا دون تقريب.