LSTM و GRU

مشكلة الذاكرة البعيدة

تعاني شبكات RNN البسيطة التي تناولناها في الدرس السابق من عيب جوهري: تتلاشى التدرجات بصورة أسية كلما سافرت للخلف عبر الزمن، مما يجعل تعلم التبعيات الممتدة عبر أكثر من بضعة عشرات من الخطوات شبه مستحيل. لا يستطيع نموذج اللغة أن يربط ضميرًا في السطر العاشر بالاسم الذي يشير إليه في السطر الأول. ولا يستطيع نموذج السلاسل الزمنية أن يتذكر حدثًا وقع قبل 500 خطوة ويؤثر في الخطوة الحالية.

جاءت شبكات الذاكرة طويلة-قصيرة الأمد (LSTM) التي قدّمها هوكريتر وشميدهوبر عام 1997 لحل هذه المشكلة بإضافة معمارية بالغة الأناقة: حالة الخلية التي تتدفق عبر الشبكة بأدنى قدر من التعديل في كل خطوة، محمية بمجموعة من البوابات المُتعلَّمة. تحدد البوابات ما يجب نسيانه، وما يجب تخزينه من معلومات جديدة، وأي جزء من الذاكرة يُكشف كمخرج. يخلق هذا التصميم “طرقًا سريعة للتدرج” تمر عبر الزمن دون تراجع أسي.

حالة الخلية: طريق سريع للذاكرة

الابتكار الجوهري في LSTM هو الفصل بين نوعين من الحالات: حالة الخلية c_t والحالة المخفية h_t. حالة الخلية هي الذاكرة طويلة الأمد؛ تسير عبر قمة خلية LSTM مع تعديلات طفيفة فقط عبر بعض البوابات التضريبية، دون التحويل اللاخطي الكامل الذي يُفسد التدرجات في RNN البسيطة. أما الحالة المخفية فهي المخرج القصير الأمد، المحسوب من حالة الخلية عبر ضغط tanh وبوابة مخرج.

رياضيًا، تُحدَّث حالة الخلية بعملية جمع: c_t = f_t ⊙ c_t−1 + i_t ⊙ g_t. هنا ⊙ يمثل الضرب عنصرًا بعنصر، وf_t هي بوابة النسيان التي تُقلص حالة الخلية السابقة، وi_t هي بوابة الإدخال التي تتحكم في كمية المعلومات الجديدة الداخلة، وg_t هي الذاكرة المرشحة. لأن التحديث جمعي لا تضريبي-لاخطي، يمكن للتدرجات أن تتدفق عكسيًا دون تقلص — مشتق c_t بالنسبة لـ c_t−1 هو f_t فحسب، وهي قيمة متعلَّمة قريبة من 1 للمحتوى المراد الاحتفاظ به.

البوابات الثلاث

جميع البوابات الثلاث تشترك في نفس البنية: تركيب خطي مُفعَّل بسيجمويد من الإدخال الحالي x_t والحالة المخفية السابقة h_t−1. تضغط السيجمويد المخرجات إلى (0, 1)، حيث 0 تعني “حجب تام” و1 تعني “تمرير كامل.”

تحدد بوابة النسيان الكسر الذي يُحتفظ به من حالة الخلية السابقة. بالنسبة لنموذج لغة يتتبع عدد المفرد والجمع، قد تعيد بوابة النسيان ضبط سجل العدد عند بداية جملة اسمية جديدة. تحدد بوابة الإدخال مقدار الذاكرة المرشحة الجديدة g_t المراد كتابتها في حالة الخلية. أما بوابة المخرج فتتحكم في جزء حالة الخلية المُكشوف كحالة مخفية h_t.

تمتلك خلية LSTM الواحدة نحو أربعة أضعاف معاملات RNN البسيطة بنفس حجم الحالة المخفية (أربع مصفوفات أوزان منفصلة لـ f وi وo وg). التكلفة الحسابية حقيقية، لكن القدرة على التدريب على تسلسلات ذات تبعيات بعيدة المدى تبرر هذه التكلفة في كل تطبيق عملي تقريبًا.

GRU: بديل مبسَّط

اقترح تشو وآخرون عام 2014 الوحدة التكرارية ذات البوابة (GRU)، وهي متغير مبسَّط يدمج حالة الخلية والحالة المخفية في متجه حالة واحد، ويستبدل البوابات الثلاث في LSTM ببوابتين فقط: بوابة إعادة الضبط r_t وبوابة التحديث z_t.

تؤدي بوابة التحديث z_t الدور المشترك لبوابتي النسيان والإدخال في LSTM: تتحكم في مقدار الحالة المخفية السابقة المحفوظة مقابل المحتوى الجديد المكتوب. تتحكم بوابة إعادة الضبط r_t في مقدار تأثير الحالة المخفية السابقة على التنشيط المرشح ˜h_t. حين تقترب r_t من الصفر، تنسى GRU الحالة السابقة تمامًا وتتصرف كشبكة متقدمة في تلك الخطوة — مفيد لإعادة ضبط السياق عند حدود الجمل.

في كثير من مهام المقارنة — نمذجة اللغة والترجمة الآلية والتعرف على الكلام — تتقاوى أداءات GRU وLSTM دون أن تتفوق إحداهما على الأخرى باستمرار. تمتلك GRU معاملات أقل وتعمل بسرعة أكبر، مما يجعلها جذابة حين تكون الموارد الحسابية محدودة أو أطوال التسلسلات معتدلة. قد تتفوق LSTM بفضل حالة الخلية الصريحة على المهام التي تستلزم ذاكرة بعيدة المدى جدًا. عمليًا، كلا المعماريتين أفضل بكثير من RNN البسيطة والاختيار بينهما يُعدّ معاملًا فائقًا للضبط.

الشبكات التكرارية ثنائية الاتجاه

تعالج RNN القياسية التسلسلات من اليسار إلى اليمين: في الخطوة الزمنية t، لا ترى سوى x₁ حتى x_t. لكن كثيرًا من المهام تستفيد من معرفة السياق الكامل في الاتجاهين. في الجملة “فاضت العين بالماء العذب”، فإن معرفة كلمة “الماء” الواقعة بعد “العين” تحدّد ما إذا كانت “العين” تعني عضو الإبصار أم نبع الماء.

تشغّل RNN ثنائية الاتجاه (BiRNN) شبكتي RNN منفصلتين على نفس التسلسل: واحدة بالاتجاه الأمامي (من اليسار إلى اليمين) وأخرى بالاتجاه الخلفي (من اليمين إلى اليسار). في كل موضع t، يُدمج الحالتان المخفيتان: h_t = [&overrightarrow;h_t ; &overleftarrow;h_t]. يُشفِّر هذا التمثيل المضاعف العرض كلًا من السياق الماضي والمستقبلي، مما يحسّن الأداء جذريًا على مهام من قبيل التعرف على الكيانات المسماة والترجمة الآلية وفهم اللغة على غرار BERT.

الشبكات التكرارية العميقة: تكديس الطبقات

تمامًا كما تكدّس CNNs طبقات تلافيفية متعددة لبناء تمثيلات هرمية، يمكن تكديس الشبكات التكرارية عموديًا. في RNN العميقة، تُغذَّى الحالة المخفية للطبقة l في الخطوة الزمنية t، وهي h_t^(l)، كمدخل إلى الطبقة l+1. تعمل كل طبقة بنفس دقة التوقيت الزمني، فتعالج التسلسل كاملًا، لذا تمتلك LSTM ذات ثلاث طبقات ثلاثة مجموعات مستقلة من الأوزان التكرارية، تتعلم كل منها مستويات مختلفة من التجريد الزمني.

عمليًا، 2–4 طبقات هو المعتاد لمهام معالجة اللغة الطبيعية؛ التعمق أكثر نادرًا ما يفيد لنماذج التسلسلات وقد يُعسّر التدريب. بين طبقات RNN المكدَّسة، يُطبَّق الإسقاط العشوائي (Dropout) على الاتصالات غير التكرارية (المسارات الرأسية من h_t^(l) إلى مدخل الطبقة التالية) لتنظيم النموذج. تطبيق الإسقاط العشوائي على الاتصالات التكرارية سيعطل تدفق التدرج الذي يجعل الـ LSTMs فعّالة؛ ومتغير متخصص يسمى الإسقاط العشوائي المتغير يطبق نفس قناع الإسقاط في كل خطوة زمنية وهو النهج الموصى به حين يكون الإسقاط التكراري ضروريًا.

بحلول منتصف العقد الثاني من الألفية الثالثة، أصبحت LSTMs ثنائية الاتجاه العميقة المعمارية السائدة لنمذجة التسلسلات، محققةً نتائج متقدمة في الترجمة والتعرف على الكلام ومعالجة اللغة الطبيعية. ظلت المعيار حتى تجاوزتها معمارية المحوّل (Transformer التي ندرسها في الوحدة 9) عام 2017 باستبدال التكرار بالانتباه الذاتي — آلية تصل أي موضعين في التسلسل في خطوة حسابية واحدة بصرف النظر عن المسافة بينهما.