أساسيات الشبكات العصبية
الشبكات العصبية هي سلاسل من عمليات ضرب المصفوفات. مسار الأمام يُركِّب الخرائط الخطية؛ ومسار الخلف يُشتقّها عبر قاعدة سلسلة Jacobian. الانتباه يُقيِّم الصلة بتشابه حاصل الضرب النقطي.
طبقة تلو طبقة
كل طبقة تُطبِّق مصفوفة أوزان W⁽ˡ⁾ وشعاع تحيّز b⁽ˡ⁾، ثم دالة لاخطية σ. مسار الأمام الكامل هو تركيب L خريطة إفينية مفصولة بدوال لاخطية.
التركيب لا الاتساع
بدون دوال اللاخطية، أي شبكة عمقها L تنهار إلى ضرب مصفوفة واحد — لا ميزة تعبيرية من العمق. دوال اللاخطية تكسر الخطية، مما يسمح لكل طبقة باكتشاف ميزات أكثر تجريداً تدريجياً.
قاعدة السلسلة بـ Jacobian
إشارة الخطأ δ⁽ˡ⁾ = ∂ℒ/∂z⁽ˡ⁾ تنتشر للخلف عبر منقول مصفوفات الأوزان. تدرج الوزن هو حاصل الضرب الخارجي δ⁽ˡ⁾(a⁽ˡ⁻¹⁾)ᵀ.
عكس الاتجاه
مسار الأمام: W يُعيِّن nₗ₋₁ → nₗ. مسار الخلف: التدرجات يجب أن تتدفق nₗ → nₗ₋₁. (W)ᵀ يعكس الخريطة — هذا بالضبط ما نحتاجه لإعادة إشارات الخطأ للخلف عبر البنية.
تمركز التنشيطات
طبِّع ما قبل التنشيطات إلى وسط صفر وتباين وحدة داخل كل دُفعة صغيرة. أضف تحجيم γ وإزاحة β قابلَين للتعلم. يجعل تدفق التدرج مستقراً في الشبكات العميقة.
استعلامات ومفاتيح وقيم
أسقط المدخلات X إلى Q وK وV عبر مصفوفات مُتعلَّمة. احسب الانتباه بحاصل الضرب النقطي المُقيَّس: كل موضع يستعلم جميع المواضع، يُرجِّحها بالتشابه، ويحسب متوسط القيم.
التحكم في التباين
حواصل الضرب النقطية qᵢᵀkⱼ لها تباين dₖ. dₖ الكبير → softmax مُشبعة → تدرجات مختفية. القسمة على √dₖ تُعيد التباين الوحدوي، إبقاء أوزان الانتباه موزعة والتدرجات صحية.
رؤوس انتباه متوازية
شغِّل h عملية انتباه بالتوازي، كل منها بإسقاطات مُتعلَّمة خاصة. سلسل المخرجات وأسقطها. رؤوس مختلفة تتعلم أنواعاً مختلفة من العلاقات في وقت واحد: النحو والإشارة المرجعية والدلالة.
- الرأس 1: علاقات التبعية النحوية
- الرأس 2: دقة الإشارة المرجعية
- الرأس h: الأنماط الموضعية
النقاط الرئيسية
- مسار الأمام: z⁽ˡ⁾ = W⁽ˡ⁾a⁽ˡ⁻¹⁾ + b⁽ˡ⁾، a⁽ˡ⁾ = σ(z⁽ˡ⁾) — تركيب خرائط خطية
- الانتشار للخلف: δ⁽ˡ⁾ = (W⁽ˡ⁺¹⁾)ᵀδ⁽ˡ⁺¹⁾ ⊙ σ'(z⁽ˡ⁾) — قاعدة سلسلة Jacobian للخلف
- التطبيع الدُفعي: طبِّع إلى μ=0، σ²=1 لكل دُفعة؛ γ وβ قابلَين للتعلم
- الانتباه: softmax(QKᵀ/√dₖ)V — متوسط مُرجَّح للقيم بتشابه الاستعلام-المفتاح
- المحوّلات: انتباه متعدد الرؤوس + اتصالات متبقية = مكدسات عميقة عملية
الجبر الخطي يُشغِّل الذكاء الاصطناعي
رأيت الجبر الخطي في قلب تعلم الآلة: الانحدار وتحليل المصفوفة والآن الشبكات العصبية. كل حساب — مسار الأمام والانتشار للخلف والانتباه — هو عمليات مصفوفات على نطاق واسع.