اختر سطحًا تربيعيًّا، واضبط معدّل تعلّم η، ثم اخطُ في عرض المُحسِّن العابر للمقرّرات، وتوقَّع — قبل أن تخبرك الشاشة — قيمة gradient ∇f عند نقطة، وأين تحطّ خطوة واحدة x ← x − η∇f(x)، وعند أيّ معدّل تعلّم بالضبط يتوقّف النزول العادي عن التقارب، وماذا يحدث بعده مباشرةً.
النزول التدرّجي هو حصان العمل في التحسين، وعلى دالّة تربيعية f(x) = ½ x⊤Ax يكون جبرًا خطّيًّا خالصًا. التدرّج هو ∇f = Ax؛ وخطوةٌ واحدة تنقل x إلى (I − ηA)x، فيتقارب المسار كلّه تمامًا حين تقع كل قيمة ذاتية لـI − ηA داخل دائرة الوحدة — أي حين η < 2 / λmax. القيم الذاتية لـA تحدّد السرعة وحدّ الاستقرار معًا.
افتح العرض (يقع في مقرر ML 101، وهذا الرابط يصل إليه). تُسمّي كل خطوة السطح، ومعدّل التعلّم η، ونقطة البداية التي تضبطها؛ اقرأ أسهم التدرّج، والمسار، ولوحة الخسارة، وعلامة عتبة 2 / λmax على شريط معدّل التعلّم.
Surface = Bowl eta = 0.50 start = (-2.4, 2.0)
Read: grad f at a point x after one step 2 / lambda_max threshold
راقب أسهم التدرّج على خطوط التساوي، والمسار وأنت تخطو، وقراءة الخسارة، وعلامة العتبة على مُنزلِق معدّل التعلّم — كل رقم تتوقّعه موجودٌ على الشاشة.
اختر سطح Bowl، f(x,y) = ½(x2 + y2)، وضع البداية عند (−2.4, 2.0). تدرّجه هو ∇f = [x, y]. توقَّع مُركّبتَي ∇f عند تلك النقطة، ثم اقرأ سهم التدرّج من المخطّط.
∇f(−2.4, 2.0) = [−2.4, 2.0]. على الـBowl يساوي التدرّج مُتّجه موضعك، فيُشير مبتعدًا مباشرةً عن النقطة الصغرى في الأصل — والنزول يحرّكك نحوها مباشرةً.
أبقِ Bowl والبداية (−2.4, 2.0)، واضبط معدّل التعلّم η = 0.50. اخطُ خطوةً واحدة بالضبط: x ← x − η∇f(x). توقَّع إحداثيّ x الذي يحطّ عليه التكرار بعد تلك الخطوة الواحدة.
يحطّ عند (−1.2, 1.0): −2.4 − 0.5·(−2.4) = −1.2 و2.0 − 0.5·2.0 = 1.0. تهبط الخسارة من 4.88 إلى 1.22 — خطوةٌ واحدة تُنصِّف المسافة إلى النقطة الصغرى على هذا الـBowl الحَسَن التكييف.
بدّل إلى Ravine، f(x,y) = ½(30x2 + y2) — نفس الـBowl مشدودًا بنسبة 30:1. مصفوفة هسه A لها القيمتان الذاتيّتان λ = 30 و1، إذن λmax = 30. توقَّع معدّل التعلّم بالضبط 2 / λmax الذي يكون عنده النزول العادي على حافّة التباعد، ثم اقرأ علامة العتبة على الشريط.
العتبة هي 2 / 30 = 0.0667. تحتها تكون كل |1 − ηλ| < 1 وتهبط الخسارة كل خطوة؛ وفوقها يكون للاتّجاه الحادّ (λ = 30) |1 − ηλ| > 1 فتنفجر التكرارات. القيمة الذاتية الحادّة الواحدة تضع سقف المسار كلّه.
ابقَ على Ravine وارفع معدّل التعلّم إلى η = 0.08 — فوق عتبة 0.0667 مباشرةً. شغّل المسار. توقَّع هل يتقارب النزول التدرّجي العادي أم يتباعد.
يتباعد. عند η = 0.08 يكون للاتّجاه الحادّ |1 − 0.08·30| = 1.4 > 1، فتضرب كل خطوة تلك المُركّبة في 1.4 وتنطلق التكرارات إلى ما لا نهاية — ويُعلِّم العرض المسار بأنّه متباعد. تجاوز 2 / λmax بشعرة هو الفرق بين التقارب والانفجار.
كل ما سبق ينتظرك في العرض. اسحب معدّل التعلّم متجاوزًا علامة العتبة وراقب مسارًا متقاربًا يتحوّل إلى متباعد، وبدّل الأسطح لتحسّ كيف يُغيّر توزّع القيم الذاتية الصورة، واخطُ خلال المسار تدرّجًا تدرّجًا.
- قرأتَ التدرّج ∇f(−2.4, 2.0) = [−2.4, 2.0] من الـBowl — وعلى الـBowl يساوي موضعك
- خطوتَ خطوةً واحدة x ← x − η∇f عند η = 0.5 فحططتَ عند (−1.2, 1.0)، والخسارة 4.88 → 1.22
- وجدتَ عتبة التقارب بالضبط 2 / λmax = 0.0667 على الـRavine
- رفعتَ η إلى 0.08 وراقبتَ النزول العادي يتباعد — القيم الذاتية تضع حدّ الاستقرار
- كل قيمة توقّعتها هي حساب التدرّج / الخطوة / القيمة الذاتية الخاصّ بالعرض، لا منحنى مرسوم