LA 101
M08 · L03
الوحدة 8: روابط حساب المتجهات
الجبر الخطي في تعلم الآلة
كل نموذج في تعلم الآلة هو عملية جبر خطي في جوهره — مصفوفة المزايا تُشفّر البيانات، والمعادلات الطبيعية تحل الانحدار بصيغة مغلقة، ومصفوفات الأوزان تتسلسل في الشبكات العصبية لتتعلم تمثيلات غنية.
01 / 11
LA 101
M08 · L03
مصفوفات المزايا
البيانات كمصفوفة
n × p
شكل مصفوفة التصميم
rank(X)
المزايا المستقلة
κ(XᵀX)
رقم التكييف
صلة بـ PCA
SVD لـ X = UΣVᵀ يعطي المكونات الأساسية (أعمدة V). أعلى r متجهات شاذة يمينية تلتقط أقصى تباين. XV_r تُسقط إلى فضاء r-الأبعاد — تخفيض الأبعاد كإسقاط خطي.
02 / 11
LA 101
M08 · L03
الانحدار الخطي
المعادلات الطبيعية
الحل المغلق OLS
\mathbf{w}^* = (X^T X)^{-1} X^T \mathbf{y}
المعنى الهندسي
w* هو إسقاط y على col(X). البواقي y − Xw* متعامدة على كل عمود من X. عمليًا: استخدم QR لـ X لاستقرار عددي أفضل (تجنب تربيع رقم التكييف).
03 / 11
LA 101
M08 · L03
التنظيم
انحدار ريدج
- الهدف: تصغير ‖Xw − y‖² + λ‖w‖²
- الحل: w* = (XᵀX + λI)⁻¹Xᵀy
- الأثر: يُضيف λ لكل قيمة ذاتية من XᵀX
- رقم التكييف: (λ_max + λ)/(λ_min + λ) يتحسن بزيادة λ
- المقايضة: λ أكبر = تحيز أكثر، تباين أقل
04 / 11
LA 101
M08 · L03
الانحدار اللوجستي
تصنيف محدب
خسارة لوجستية
L(\mathbf{w}) = -\sum_i \left[y_i \log \sigma_i + (1-y_i)\log(1-\sigma_i)\right]
هيسيان H = XᵀDX (D قطري موجب) موجب شبه التعريف → خسارة محدبة. خطوة نيوتن = IRLS: حل (XᵀDX)δ = −∇L. تقارب تربيعي في ~5–10 تكرارات. SGD للحجم الكبير.
05 / 11
LA 101
M08 · L03
الشبكات العصبية
سلاسل ضرب المصفوفات
التمريرة الأمامية للطبقة
\mathbf{z}^{(\ell)} = W_\ell \mathbf{a}^{(\ell-1)} + \mathbf{b}_\ell,\quad \mathbf{a}^{(\ell)}=\sigma(\mathbf{z}^{(\ell)})
في وضع الدفعة
المدخل A⁽⁰⁾ ∈ ℝⁿˣᵈ. كل طبقة: Z = A Wᵀ + b (ضرب مصفوفة). على GPU: نواة GEMM تهيمن على الحساب. كامل التمريرة الأمامية لنموذج LLM = سلسلة عمليات ضرب مصفوفات.
06 / 11
LA 101
M08 · L03
الانتشار الخلفي
قاعدة السلسلة في شكل مصفوفي
- تدرج الأوزان: ∂L/∂W_ℓ = (δ^(ℓ))ᵀ A^(ℓ-1)
- تدرج الانحياز: مجموع δ^(ℓ) على الدفعة
- التدرج المجرى: δ^(ℓ-1) = δ^(ℓ) W_ℓ ⊙ σ'(Z^(ℓ-1))
- كل العمليات: ضرب مصفوفات + ضرب عنصري
- Autograd: PyTorch/JAX تفاضل تلقائيًا
07 / 11
LA 101
M08 · L03
آلية الانتباه
المحولات كجبر مصفوفي
الانتباه النقطي المقيَّس
\text{Attention}(Q,K,V)=\text{softmax}\!\left(\tfrac{QK^T}{\sqrt{d_k}}\right)V
ما تفعله
QKᵀ ∈ ℝⁿˣⁿ مصفوفة الدرجات — كم يُولي كل رمز انتباهًا لكل رمز آخر. softmax تُوحّد الصفوف. الناتج AV مجموع موزون من متجهات القيمة. كل عملية: ضرب مصفوفة.
08 / 11
LA 101
M08 · L03
التهيئة والشرط
هندسة مصفوفات الأوزان
- القيم الشاذة لـ W: σᵢ تتحكم بتضخيم التدرج
- σ_max ≫ 1: انفجار التدرجات عبر الطبقات
- σ_max ≪ 1: تلاشي التدرجات عبر الطبقات
- تهيئة Xavier: تحافظ على التباين للتنشيطات الخطية
- تهيئة He: تُقاس لـ ReLU (نصف الوحدات يُصفَّر)
- تهيئة متعامدة: كل σᵢ = 1 — حفظ تام للنورم
10 / 11
LA 101
M08 · L03
الوحدة 8 · الدرس 3 مكتمل
تعلم الآلة = جبر خطي
مصفوفة التصميم X تُشفّر البيانات. المعادلات الطبيعية w* = (XᵀX)⁻¹Xᵀy تحل الانحدار. ريدج يُضيف λI لتحسين الشرط. هيسيان اللوجستي XᵀDX موجب شبه التعريف → محدب. الشبكات العصبية = سلاسل مصفوفات. الانتباه = softmax(QKᵀ/√d)V.
الوحدة 8: روابط حساب المتجهات
التدرجات · التحسين · تطبيقات تعلم الآلة
11 / 11