المربعات الصغرى
حين يكون النظام زائد التحديد — معادلات أكثر من مجاهيل — لا يمكن حله بدقة. عوضاً عن ذلك نجد أفضل تقريب بتصغير مربع الخطأ.
معادلات أكثر من مجاهيل
A ذات أبعاد m×n مع m > n. المتجه b يقع عادةً خارج فضاء أعمدة A. لا يوجد x يحقق Ax = b بالضبط.
الإسقاط على C(A)
أقرب نقطة في C(A) إلى b هي إسقاطه المتعامد p = Ax̂. الباقي r = b − p يكون عمودياً على كل عمود من A.
المعادلات الاعتيادية
من Aᵀ(b − Ax̂) = 0 نشتق المعادلات الاعتيادية. عندما تكون لـA رتبة عمودية كاملة، الحل الوحيد هو:
P = A(AᵀA)⁻¹Aᵀ
الانحدار الخطي
ملاءمة b = x₁ + x₂t لـm نقطة بيانات هي بالضبط مربعات صغرى. مصفوفة التصميم A لها عمود من الواحدات وعمود من قيم t.
- المعادلات الاعتيادية → المقطع x̂₁ والميل x̂₂
- يمتد لكثيرات الحدود والمتنبئات المتعددة
- الانحدار الموزون: تصغير ‖W(b − Ax)‖²
- ‖b − Ax̂‖² / (m−n) يُقدّر تباين الضوضاء
QR أفضل من AᵀA
تكوين AᵀA يُربّع رقم التكييف. استخدم QR عوضاً: اكتب A = QR، ثم حلّ Rx̂ = Qᵀb بالإحلال العكسي.
المربعات الصغرى تطبيقياً
- تقدير القناة — رموز إرشادية → ĥ = (ΦᵀΦ)⁻¹Φᵀy
- تشكيل الحزمة — أوزان تُصغّر ‖d − Aw‖²
- تعريف النظام — ملاءمة نموذج FIR/AR من بيانات الدخل والخرج
- تحديد مواقع GPS — معادلات المسافة زائدة التحديد
- SVD — الحل ذو الطول الأدنى للـA ناقصة الرتبة
الوحدة 5 مكتملة!
أتممت الوحدة 5: التعامد — الإسقاطات، غرام-شميت، المصفوفات المتعامدة، والمربعات الصغرى. هذه الأدوات تُشكّل العمود الفقري لتحليل البيانات الحديث ومعالجة الإشارات.