ML 101
M08 · L01
الوحدة 8
نمذجة التسلسل
النص والسلاسل الزمنية والصوت والفيديو — كلها تسلسلية. الشبكات العادية تنسى الزمن. الشبكات التكرارية تحمل حالة مخفية تُمرّر الذاكرة عبر كل خطوة.
01 / 11
ML 101
M08 · L01
البيانات التسلسلية
الترتيب مهم
أمثلة
النص واللغة
أمثلة
السلاسل الزمنية
أمثلة
الصوت والفيديو
خلط العناصر يُفسد المعنى. يجب على النماذج احترام الترتيب والتقاط الارتباطات بعيدة المدى عبر مسافات تعسفية.
02 / 11
ML 101
M08 · L01
لماذا تفشل الشبكات التلقائية
حجم ثابت، لا ذاكرة
- تتطلب مدخلًا بحجم ثابت — التسلسلات متفاوتة الطول
- لا مشاركة للمعاملات عبر الخطوات الزمنية — لكل موضع أوزان مستقلة
- النافذة المنزلقة تُثبّت السياق — الارتباطات البعيدة غير مرئية
- يجب تعلّم نفس النمط في كل موضع بشكل مستقل
03 / 11
ML 101
M08 · L01
قاعدة التحديث التكراري
ذاكرة الحالة المخفية
في كل خطوة t، نفس مصفوفات الأوزان تجمع المدخل الجديد مع الحالة المخفية السابقة — مشاركة المعاملات عبر الزمن تلقائيًا.
الشبكة التكرارية البسيطة
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
04 / 11
ML 101
M08 · L01
التكشّف عبر الزمن
عمق في البُعد الزمني
- نُعيد كتابة التكرار كرسم بياني لادوري: نسخة واحدة لكل خطوة زمنية
- الأوزان Wh وWx مربوطة عبر جميع النسخ — نفس المعاملات في كل مكان
- الانتشار الخلفي المعياري يُطبَّق على الرسم البياني المُكشوف
- الخسارة الكلية = مجموع خسارات كل خطوة؛ التدرجات تتراكم من جميع الخطوات
05 / 11
ML 101
M08 · L01
الانتشار الخلفي عبر الزمن
BPTT والاقتطاع
تدرج الخسارة الكلية بالنسبة لـ Wh يجمع على T خطوة. BPTT الكامل مكلف للتسلسلات الطويلة — BPTT المبتور يحد الانتشار إلى k خطوة لكل جزء.
تراكم التدرج
\frac{\partial L}{\partial W_h} = \sum_{t=1}^{T} \frac{\partial L_t}{\partial W_h}
06 / 11
ML 101
M08 · L01
التدرج المتلاشي
التدرج يختفي
- التدرج عبر k خطوة = جداء k من مصفوفات جاكوبي مرتبطة بـ Wh
- نصف القطر الطيفي < 1 → تقلص أسي — الماضي البعيد غير مرئي
- نصف القطر الطيفي > 1 → نمو أسي — انفجار التدرجات
- قطع التدرج يُروّض الانفجار؛ التلاشي يستلزم تغييرات معمارية
07 / 11
ML 101
M08 · L01
حلول عملية
ترويض التدرج
- قطع التدرج — إعادة قياس التدرج إذا تجاوز معياره العتبة θ
- تهيئة متعامدة/هوية لـ Wh — يحفظ حجم التدرج في بداية التدريب
- تدريب على تسلسلات قصيرة — ابدأ بتسلسلات قصيرة وزد الطول تدريجيًا
- LSTM / GRU — آليات بوابات تُنشئ ممرات للتدرج (الدرس 8.2)
08 / 11
ML 101
M08 · L01
طوبولوجيات الشبكات التكرارية
أشكال المدخل والمخرج
- من واحد إلى كثير — صورة ← وصف (وصف الصور)
- من كثير إلى واحد — جملة ← تصنيف (تحليل المشاعر)
- من كثير إلى كثير — تسلسل ← تسلسل (التعليم، نمذجة اللغة)
- مشفّر–فك تشفير — ضغط المدخل في متجه سياق؛ فك التشفير يُولّد المخرج
09 / 11
ML 101
ملخص
مراجعة
ما تعلّمته
تحتفظ الشبكات التكرارية بحالة مخفية تُحدَّث في كل خطوة: ht = tanh(Whht−1 + Wxxt + b). يُدرّبها BPTT بالتكشّف عبر الزمن. التدرجات المتلاشية تُحدّ الذاكرة بعيدة المدى — قطع التدرج يُعالج الانفجار، بينما LSTM وGRU (الدرس التالي) يُعالجان التلاشي.
التالي
11 / 11