ML 101
M13 · L04
البحث التطوري

متى ينتصر التطور

ومتى يخسر. حيث تستحق الخوارزمية الجينية كلفتها، وحيث توجد طريقة أرخص أصلًا، وحجة الكلفة التي تحسم معظم ذلك.

01 / 15
ML 101
M13 · L04
السؤال الصحيح

العمومية ليست مجانية

لا تطلب الخوارزمية الجينية من المسألة شيئًا تقريبًا: لا مشتقة، ولا تحدُّبًا، ولا حتى أرقامًا. ولهذا هي بطيئة — فأنت تدفع ثمن كل افتراض ترفض أن تفترضه.

أعِد الصياغة
ليس «هل الخوارزمية الجينية جيدة؟» بل دائمًا «هل في مسألتي بنية يمكن لطريقة أرخص أن تستغلها؟»
02 / 15
ML 101
M13 · L04
القاعدة الأولى

استخدم التدرج

تمريرة خلفية واحدة تُرجع المشتقة الدقيقة لـكل معامل. أما P تقييمًا فتُرجع P عددًا قياسيًّا، يجب تخمين اتجاه في d بعدًا منها.

ما يُرجعه الانتشار الخلفي
\nabla_{\boldsymbol{\theta}} L = \left[\frac{\partial L}{\partial \theta_1}, \ldots, \frac{\partial L}{\partial \theta_d}\right]
03 / 15
ML 101
M13 · L04
حساب الكلفة

الضرب الذي تلتزم به

حجم المجتمع في عدد الأجيال تقييمًا، مقابل تمريرة أمامية وخلفية واحدة لكل خطوة تدرج. فاستخدم التطور حين تفرضه المسألة، لا حين تختاره.

ميزانية التقييمات
N_{\text{eval}} = P \cdot G
04 / 15
ML 101
M13 · L04
المعاملات الفائقة

صندوق أسود حقيقي

  • غير قابلة للاشتقاق بأي صورة نافعة
  • خيارات مستمرة ومنفصلة وشرطية مختلطة معًا
  • كل تقييم تدريب كامل
  • فالتطور مقبول هنا — وهذا ليس نفس القول بأنه الأفضل
05 / 15
ML 101
M13 · L04
مقارنة صادقة

أربع طرائق للبحث

  • الشبكي — يُعدّد شبكة مثبّتة قبل أول تشغيل. متوازٍ تمامًا
  • العشوائي — يعاين المديات ويتجاهل كل نتيجة. متوازٍ تمامًا
  • البايزي — يلائم نموذجًا بديلًا لكل النتائج ثم يُحسّن دالة اكتساب. متسلسل بحكم التصميم
  • الجيني — يعيد تركيب أفضل أعضاء المجتمع. متوازٍ داخل الجيل
06 / 15
ML 101
M13 · L04
آلية، لا فائز

أي بنية تلائم

  • البحث البايزي يستخلص أكثر من كل تقييم — أما انتقاء الرتبة فيلقي بالمقادير
  • الخوارزمية الجينية تُشغل العمّال المتوازين بلا نظرية إضافية
  • الفضاءات غير المريحة — طول متغير، شرطية، تباديل — ترجّح التطور
  • الخط الأساسي أولًا: بحث عشوائي على مديات معقولة (Bergstra وBengio، 2012)
07 / 15
ML 101
M13 · L04
بحث في المجموعات الجزئية

اختيار الميزات

بتّة لكل ميزة، وسلسلة لكل مجموعة جزئية. والملاءمة نتيجة تحقّق متهجين مع عقوبة على إبقاء الميزات — طريقة مُغلِّفة، فتجد ميزات لا تنفع إلا مجتمعة.

الفضاء والملاءمة
|\mathcal{S}| = 2^{d}, \quad F(S) = \mathrm{CV}(S) - \alpha \frac{|S|}{d}
08 / 15
ML 101
M13 · L04
الفخ

الإفراط في ملاءمة نتيجة التحقق

أنت تختار الحد الأقصى لآلاف النتائج الضجيجية، فيبدو الفائز أفضل مما هو عليه. احجز مجموعة اختبار لا يلمسها البحث.

  • استبعد تنظيم L1 أولًا — تخلخل بثمن ملاءمة واحدة (الدرس 2.3)
  • أهمية الأشجار وأهمية التبديل شبه مجانيتين (الدرس 3.2)
  • الاختيار الطمّاع الأمامي أو الخلفي يكلّف تقييمات أقل بكثير
09 / 15
ML 101
M13 · L04
التطور العصبي

أوزان أم معمارية

  • الأوزان — خيار خاطئ حين توجد دالة خسارة قابلة للاشتقاق
  • معقول حين تأتي النتيجة من محاكاة أو لعبة أو مكافأة متأخرة
  • المعمارية — العمق والعرض والتوصيل خيارات منفصلة. لا تدرج، فالبحث صادق
  • الوحدة 14 تهاجم الصنف نفسه بالتعلّم المعزَّز
10 / 15
ML 101
M13 · L04
Stanley وMiikkulainen (2002)

لمحة عن NEAT

  • ابدأ بالحد الأدنى ثم عقّد — أضف العُقد والوصلات على مدى التشغيل
  • العلامات التاريخية — ليصطفّ التهجين على جينات ذات سلف مشترك
  • التنويع النوعي — يحمي بنية جديدة مدةً تكفي لتحسين أوزانها
11 / 15
ML 101
M13 · L04
Koza (1992)

البرمجة الجينية

الفرد برنامج، محفوظ كشجرة تعبير. ويبادل التهجين الأشجار الفرعية، فيبقى الابن برنامجًا صالحًا. وعند تطبيق ذلك على البيانات يصبح انحدارًا رمزيًّا.

المُخرَج، والخطر
تحصل على صيغة قابلة للقراءة بدلًا من أوزان. والأشجار تنمو دون تحسّن في الملاءمة — التضخّم — ففرِض كلفةً على الحجم.
12 / 15
ML 101
M13 · L04
لا تلجأ إليها

متى يخسر

  • الهدف قابل للاشتقاق — استخدم التدرج
  • محدَّبة أو خطية أو برنامج أعداد صحيحة — الحلّال يُرجع حدًّا، والجينية لا تُرجع شيئًا
  • بنية توافقية معروفة، أو فضاء صغير بما يكفي للتعداد
  • ملاءمة ضجيجية لدرجة يعجز الانتقاء عن التمييز بين المرشحين
  • دالة ملاءمة لا تثق بها — وذلك هو الدرس 13.3 لا الخوارزمية
13 / 15
ML 101
اختبار سريع

تحقّق ممّا ثبت

أربعة أسئلة من هذا الدرس. أجب لترى السبب — يظهر الشرح سواء أصبتَ أم أخطأت. ولا شيء يُسجَّل أو يُحفَظ.

السؤال 1 من 0
النتيجة 0/0

14 / 15
ML 101
أهم النقاط
اكتملت الوحدة 13

أهم النقاط

  • العمومية تكلّف تقييمات — وقابلية الاشتقاق تعني استخدام التدرج
  • المعاملات الفائقة: قارن بالشبكي والعشوائي والبايزي قبل الالتزام
  • اختيار الميزات يعمل كبحث في المجموعات الجزئية، ويُفرط في ملاءمة التحقق بلا حماية
  • تطوير المعمارية أوجه من تطوير الأوزان
  • البرمجة الجينية تشتري صيغة قابلة للقراءة، بثمن التضخّم
  • التالي: الوحدة 14 تنتقل إلى التعلّم من المكافأة
الوحدة 14 كل الدروس اقرأ المقالة
15 / 15