LSTM و GRU
تنسى شبكات RNN البسيطة الماضي البعيد. تحل LSTM وGRU مشكلة التدرج المتلاشي بواسطة بوابات تتحكم فيما يُحفظ وما يُكتب وما يُخرج — مما يتيح ذاكرة تمتد مئات الخطوات.
طريق سريع للذاكرة
تفصل LSTM بين الذاكرة قصيرة الأمد (الحالة المخفية ht) وطويلة الأمد (حالة الخلية ct). تتدفق حالة الخلية بأدنى تعديل — طريق سريع للتدرج يتجاوز التلاشي.
التحكم في تدفق المعلومات
- بوابة النسيان ft — ما يُحذف من حالة الخلية القديمة
- بوابة الإدخال it — مقدار الذاكرة المرشحة الجديدة المكتوبة
- بوابة المخرج ot — ما يُكشف من حالة الخلية كـ ht
- جميع البوابات: مخرج سيجمويد في (0,1) — 0 = حجب، 1 = تمرير كامل
تحديث جمعي للخلية
تحديث حالة الخلية جمعي: الذاكرة القديمة مُقيَّسة ببوابة النسيان، مضافًا إليها الذاكرة المرشحة الجديدة مُقيَّسة ببوابة الإدخال. التحديث الجمعي = طرق سريعة للتدرج.
دوّار الخطأ الثابت
- تدرج الخسارة بالنسبة لـ ct−1 يُضرب فقط ببوابة النسيان ft
- تتعلم الشبكة ft ≈ 1 للمحتوى المحفوظ — يتدفق التدرج دون تغيير
- لا سلسلة tanh عبر الزمن على مسار الخلية
- يتيح التعلم عبر مئات الخطوات — مستحيل لـ RNN البسيطة
GRU: بوابتان فقط
تدمج GRU حالتي الخلية والحالة المخفية في متجه واحد وتستبدل البوابات الثلاث في LSTM ببوابتين: بوابة إعادة الضبط rt وبوابة التحديث zt.
الاختيار بينهما
- GRU معاملاتها أقل — تدريب أسرع ومتطلبات بيانات أقل
- LSTM قد تتفوق في مهام الذاكرة بعيدة الأمد جدًا
- أداء مقارب تجريبيًا في معظم معايير NLP والسلاسل الزمنية
- كلاهما يتفوق جذريًا على RNN البسيطة — الاختيار معاملٌ فائق
سياق الماضي والمستقبل
- مسار أمامي (يسار ← يمين) + مسار خلفي (يمين ← يسار)
- دمج الحالتين المخفيتين في كل موضع: ht = [&overrightarrow;ht ; &overleftarrow;ht]
- كل موضع يرى السياق الكامل — أساسي للتعرف على الكيانات والترجمة
- قيد: يستلزم التسلسل الكامل — لا يمكن البث الفوري
تكديس الطبقات
- مخرج الطبقة l يُغذَّى مدخلًا للطبقة l+1 في نفس الخطوة الزمنية
- 2–4 طبقات معتاد — التعمق أكثر نادرًا ما يفيد
- الإسقاط العشوائي بين الطبقات (لا على الاتصالات التكرارية) للتنظيم
- BiLSTM العميق كان متقدم الأداء حتى ظهور المحوّلات (2017)
ما تعلمته
تحل LSTM مشكلة التدرج المتلاشي بحالة خلية وثلاث بوابات. تبسّط GRU ذلك إلى بوابتين بأداء مقارب. تضيف الشبكات ثنائية الاتجاه سياق المستقبل. كدّس 2–4 طبقات لتمثيلات أغنى. حلت المحوّلات (الوحدة 9) محل التكرار بالانتباه الذاتي المتوازي.