الشبكات العصبية متعددة الطبقات
عصبون واحد يرسم خطًا. كدّس طبقات من العصبونات وستستطيع رسم أي شيء. الطبقات المخفية تكسر حاجز الخطية — وتُطلق القدرة الكاملة للشبكات العصبية.
الطبقات المخفية
بين المدخلات والمخرجات تقع طبقة مخفية أو أكثر. كل طبقة تحوّل التمثيل. كل تحويل قادر على تعلم حدود قرار منحنية لا يستطيع أي مستوٍ فردي التعبير عنها.
لماذا تهم دوال التنشيط؟
تركيب تحويلات خطية يعطي تحويلًا خطيًا. لاكتساب القدرة التعبيرية، يُغلّف كل عصبون مخفي مجموعه الموزون بـتنشيط غير خطي — بدونه، العمق لا يُضيف شيئًا.
- بدون تنشيط ← يُختزل إلى نموذج خطي
- مع التنشيط ← تقريب أي دالة
- اختيار التنشيط يُشكّل تدفق التدرج
السيغمويد والتانه
الكلاسيكيان. السيغمويد يضغط إلى (0،1)، التانه إلى (−1،1). ناعمان وقابلان للاشتقاق. لكنهما يصلان إلى حالة الإشباع عند الأطراف: التدرجات تتضاءل إلى قرب الصفر، مما يُعيق التعلم في الشبكات العميقة.
ReLU — البساطة تنتصر
max(0, z). يمرر الموجبة كما هي، يُلغي السالبة. التدرج 1 للمدخلات الموجبة — لا إشباع على الجانب النشط. الشبكات العميقة تُدرَّب بشكل أسرع بكثير. الاختيار الافتراضي اليوم للطبقات المخفية.
Leaky وGELU وما بعدهما
- Leaky ReLU — ميل صغير α للسالبة؛ يمنع العصبونات الميتة
- Parametric ReLU — α يُتعلم أثناء التدريب
- GELU — بوابة غاوسية؛ سلس؛ معيار المحوّلات ونماذج اللغة الكبيرة
- Swish — z·σ(z)؛ بوابة ذاتية؛ مستخدم في EfficientNet
طبقة واحدة لحكمهم جميعًا؟
طبقة مخفية واحدة بعرض كافٍ تستطيع تقريب أي دالة مستمرة. أثبت سايبنكو هذا عام 1989. لكن “العرض الكافي” قد يكون أسيًا — العمق أكثر كفاءة بكثير في التطبيق.
الانتشار الأمامي
طبقة بطبقة: اضرب الأوزان في التنشيطات السابقة، أضف الانحياز، طبّق اللاخطية. مخرج كل طبقة يصبح مدخل التالية. مخرج الطبقة النهائية هو التنبؤ.
تنشيطات خاصة بالمهمة
- السيغمويد — تصنيف ثنائي، مخرج في (0،1)
- Softmax — تعدد فئوي، احتمالات مجموعها 1
- لا شيء (خطي) — انحدار، قيمة متنبأة خام
- الاختيار ليس اختياريًا — يجب أن يتوافق مع دالة الخسارة
العمق مقابل العرض
- العرض — عصبونات أكثر في الطبقة، أنماط أكثر في كل خطوة
- العمق — طبقات أكثر، تركيب هرمي للخصائص
- الشبكات الأعمق: قدرة أسية، معلمات كثيرة
- الشبكات الأعمق: أصعب تدريبًا (تلاشي التدرجات)
- الممارسة الحديثة: عمق معتدل + وصلات تجاوز
عمق أكثر، مخاطر أكثر
كل طبقة مضافة تزيد السعة. سعة زائدة تجعل الشبكة تحفظ ضوضاء التدريب بدلًا من التعميم. الحل بيانات أكثر أو تنظيم — لا طبقات أقل. الأدوات تأتي في الوحدة التالية.
ماذا تعلمت
طبقات مخفية + تنشيطات غير خطية = تقريب شامل للدوال. ReLU يهيمن على الطبقات المخفية. الانتشار الأمامي هو ضرب مصفوفات طبقة بطبقة. تنشيط المخرج يتوافق مع المهمة. العمق يكسب القدرة التركيبية — بتكلفة تدريب أصعب.