آلية الانتباه
من عنق الزجاجة ذي المتجه الثابت إلى البحث الديناميكي — كيف يمنح الانتباه كل خطوة من خطوات فك الترميز وصولًا مباشرًا لأي موضع في الترميز، ولماذا أعادت هذه الفكرة تشكيل التعلم العميق بأسره.
عنق الزجاجة
تضغط الشبكات التكرارية ذات الترميز–فك الترميز كل المدخل في متجه واحد ذي حجم ثابت. للتسلسلات الطويلة، تضيع المعلومات الحرجة. الانتباه يتخلى عن هذا العنق تمامًا.
استرجاع موزون
درجات المحاذاة etj تقيس الصلة. softmax تُعطي أوزانًا αtj مجموعها 1. السياق ct = مجموع موزون لجميع حالات الترميز. قابل للتفاضل تمامًا.
استعلام · مفتاح · قيمة
- الاستعلام (Q) — ماذا أبحث عن؟
- المفتاح (K) — ما الذي يحتويه كل موضع؟
- القيمة (V) — ما المعلومات التي يُعيدها كل موضع؟
- الثلاثة إسقاطات خطية: Q=XWQ, K=XWK, V=XWV
ضرب مصفوفي واحد
القسمة على √dk تمنع تشبع التدرج. القناع الاختياري يُعيّن المواضع المستقبلية إلى −∞ للانتباه السببي.
التحكم في التباين
حواصل الضرب العشوائية بين متجهات Q وK الطبيعية الوحدوية لها تباين dk. بدون تعيير، يجعل dk الكبير softmax شبه متجه وحدوي — تدرجات تقترب من الصفر، تدريب بطيء.
h رأس بالتوازي
- h رؤوس انتباه مستقلة، كل منها في أبعاد dk = dmodel/h
- كل رأس يتعلم نوعًا مختلفًا من العلاقات (نحوية، دلالية، موضعية)
- تُدمج المخرجات وتُسقط إلى dmodel بواسطة WO
- نفس العدد الإجمالي للمعاملات كرأس واحد كامل الأبعاد
كل موضع ينتبه لكل موضع آخر
- Q وK وV جميعها مشتقة من نفس تسلسل المدخل X
- كل رمز يجمع السياق من جميع الرموز الأخرى في وقت واحد
- يُحسب بالتوازي — لا تبعية تسلسلية كالشبكات التكرارية
- التكلفة: O(n²d) — تربيعي في طول التسلسل
تسلسلان يتفاعلان
- الاستعلامات من تسلسل (فاك الترميز)، المفاتيح والقيم من آخر (الترميز)
- نفس الرياضيات كالانتباه الذاتي — يختلف مصدر Q وK وV فقط
- يُتيح: الترجمة، توصيف الصور، التعرف على الكلام
- أداة موحدة لكل تفاعل بين التسلسلات والطرائق
ما الذي تعلّمته
الانتباه يستبدل عنق الزجاجة ذا المتجه الثابت باسترجاع موزون ديناميكي. تجريد Q–K–V يوحّد انتباه بهداناو وانتباه حاصل الضرب القياسي المُعيَّر والانتباه متعدد الرؤوس والانتباه الذاتي والمتقاطع في أداة واحدة أنيقة. الدرس 9.2 يُجمّع هذه القطع في بنية المحوّل الكاملة.