ML 101
M08 · L03
الوحدة 8

تطبيقات التسلسلات

نماذج اللغة، ومصنّفات النصوص، والترجمة من تسلسل إلى تسلسل، والتنبؤ بالسلاسل الزمنية، والتعرف على الكلام — كل تطبيق رئيسي للشبكة المتكررة مُعيَّن على بنية محددة ودالة خسارة وإجراء استدلال.

01 / 11
ML 101
M08 · L03
نمذجة اللغة

توقع الكلمة التالية

التدريب بالتنبؤ بالرمز التالي: بإعطاء البادئة، تنبأ بـ wt. الخسارة = إنتروبيا متقاطعة. مقياس التقييم = الحيرة = exp(الخسارة). حيرة أقل تعني نموذجًا أقل مفاجأة بالنصوص الحقيقية.

حيرة RNN
60–100
حيرة المحوّل
< 20
02 / 11
ML 101
M08 · L03
تدريب نموذج اللغة

خسارة نموذج اللغة

خسارة الإنتروبيا المتقاطعة
-\frac{1}{T}\sum_{t=1}^{T}\log P(w_t\mid w_1,\ldots,w_{t-1})

تصغير متوسط اللوغاريتم السالب على جميع المواضع. أخذ العينات الانتقائي الذاتي وقت الاستدلال: توليد رمز ← إعادته كمدخل ← التكرار.

03 / 11
ML 101
M08 · L03
تصنيف النصوص

التسلسل إلى تسمية

  • تشغيل التسلسل عبر RNN ← استخدام hT الأخيرة كملخص
  • إضافة رأس تصنيف خطي + softmax لاحتمالات الفئات
  • ثنائي الاتجاه: تسلسل [&overrightarrow;hT ; &overleftarrow;h1] لتمثيل أكثر ثراءً
  • التبطين والإخفاء يعالجان التسلسلات متغيرة الطول
04 / 11
ML 101
M08 · L03
تسلسل إلى تسلسل

المشفر — فك الشفرة

  • المشفر يضغط المدخل في متجه السياق c = hTenc
  • فك الشفرة يُهيَّأ بـ c ويولّد المخرجات انتقائيًا ذاتيًا
  • التطبيقات: الترجمة، التلخيص، الحوار
  • عنق الزجاجة: كل المدخل مضغوط في متجه واحد ذي حجم ثابت
05 / 11
ML 101
M08 · L03
الاستدلال

البحث الحزمي

الفك الجشع يختار الرمز الأكثر احتمالًا في كل خطوة لكنه قد يفوت تسلسلات أفضل. يحتفظ البحث الحزمي بأفضل k مرشح — عرض الحزمة 4-10 يحسن الجودة بشكل ملحوظ.

جشع
k = 1
حزمة
k = 4–10
06 / 11
ML 101
M08 · L03
التنبؤ بالسلاسل الزمنية

توقع القيم المستقبلية

  • طبقة المخرجات: انحدار خطي (خسارة MSE/MAE)، لا softmax
  • استراتيجيات خطوة واحدة أو متعددة الخطوات
  • المعالجة المسبقة: الفرق والتطبيع لعدم الثبات
  • LSTM يلتقط الارتباطات بين المتغيرات في السلاسل متعددة المتغيرات
07 / 11
ML 101
M08 · L03
التعرف على الكلام

الإطارات الصوتية إلى نص

إطارات log-mel بحجم 25ms ← BiLSTM العميق ← أحرف. المدخل والمخرج لهما طولان مختلفان. خسارة CTC تُهمَّش على جميع التوافقات الصحيحة — لا حاجة لتوافق يدوي.

خسارة CTC
-\log\sum_{\pi\in\mathcal{B}^{-1}(y)}P(\pi\mid x)
08 / 11
ML 101
M08 · L03
آلية الانتباه

البحث الناعم

  • فك الشفرة يحسب مجموعًا موزونًا على جميع حالات المشفر في كل خطوة
  • درجات التوافق: a(st−1, hj) → softmax → أوزان انتباه αtj
  • السياق ct = ∑jαtjhj يركز على المواضع ذات الصلة في المدخل
  • يتجاوز عنق زجاجة المتجه الثابت — أفضى مباشرةً للمحوّلات
09 / 11
ML 101
اختبار سريع

تحقّق ممّا ثبت

أربعة أسئلة من هذا الدرس. أجب لترى السبب — يظهر الشرح سواء أصبتَ أم أخطأت. ولا شيء يُسجَّل أو يُحفَظ.

السؤال 1 من 0
النتيجة 0/0

10 / 11
ML 101
ملخص
مراجعة

ما تعلمته

الشبكات المتكررة تُشغّل نماذج اللغة (التنبؤ بالرمز التالي + الحيرة)، ومصنّفات النصوص (hT + softmax)، والترجمة (مشفر-فاك + بحث حزمي)، والسلاسل الزمنية (خسارة MSE)، والتعرف على الكلام (خسارة CTC). الانتباه يتجاوز عنق الزجاجة، ممهِّدًا للمحوّلات في الوحدة 9.

التالي
الوحدة 9 — المحوّلات ←
كل الدروس اقرأ المقالة
11 / 11