المربعات الصغرى

المسألة زائدة التحديد

في العلوم والهندسة، القياسات وفيرة والمجاهيل قليلة. مستقبل GPS يأخذ عشرات قراءات المسافة من الأقمار الاصطناعية لتحديد ثلاث إحداثيات. عالم البيانات يُلائم خطاً لمئات نقاط البيانات المضوضاة. مهندس الاتصالات يُقدّر قناة من رموز إرشادية أكثر من عدد نقرات القناة. في كل هذه الحالات، لدينا نظام زائد التحديد Ax = b — صفوف أكثر من أعمدة — حيث b تقع خارج فضاء الأعمدة لـA ولا يوجد حل دقيق.

بدلاً من المطالبة بـAx = b بالضبط، نطلب أفضل تقريب: إيجاد x̂ الذي يُصغّر البواقي r = b − Ax̂. "الأفضل" يعني تصغير الطول التربيعي لـr — ومن هنا جاء مصطلح المربعات الصغرى.

مسألة المربعات الصغرى

\hat{\mathbf{x}} = \arg\min_{\mathbf{x}} \|\mathbf{b} - A\mathbf{x}\|^2

نبحث عن x̂ الذي يُصغّر مجموع مربعات البواقي ‖b − Ax‖². المصفوفة A ذات أبعاد m×n مع m > n (زائدة التحديد). يتحقق الحد الأدنى عندما يكون الباقي r = b − Ax̂ متعامداً مع كل عمود من أعمدة A.

الرؤية الهندسية: الإسقاط على فضاء الأعمدة

هنا تكمن البصيرة الهندسية الجوهرية. فضاء الأعمدة C(A) هو فضاء جزئي من ℝᵐ. قد لا يقع المتجه b في C(A). أقرب نقطة إلى b تقع في C(A) هي الإسقاط المتعامد لـb على C(A)، الذي نسميه p = Ax̂. يكون الباقي r = b − p عمودياً على C(A).

تعامد r مع C(A) يعني أن r متعامد مع كل عمود من أعمدة A، أي Aᵀr = 0. بتعويض r = b − Ax̂:

المعادلات الاعتيادية

A^T A\,\hat{\mathbf{x}} = A^T \mathbf{b} \quad \Longrightarrow \quad \hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}

Aᵀ(b − Ax̂) = 0 تتوسّع إلى AᵀAx̂ = Aᵀb. هذه هي المعادلات الاعتيادية. عندما يكون لـA رتبة عمودية كاملة، يكون AᵀA قابلاً للعكس والحل الوحيد هو x̂ = (AᵀA)⁻¹Aᵀb.

لماذا "اعتيادية"؟

كلمة "اعتيادي" هنا تعني عمودي — الباقي اعتيادي (عمودي) على فضاء الأعمدة. لا علاقة لها بالتوزيعات الغاوسية، رغم أن حل المربعات الصغرى يتطابق مع مُقدِّر الاحتمالية الأقصى عندما تكون الأخطاء اعتيادية (غاوسية).

الشبه-معكوس ومصفوفة الإسقاط

المصفوفة A⁺ = (AᵀA)⁻¹Aᵀ تسمى الشبه-معكوس (أو معكوس مور-بنروز) لـA. تحقق x̂ = A⁺b وتُعمّم مفهوم عكس المصفوفة على المصفوفات غير المربعة.

المتجه p = Ax̂ = A(AᵀA)⁻¹Aᵀb هو إسقاط b على C(A). المصفوفة التي تُنفّذ هذا الإسقاط هي:

مصفوفة الإسقاط

P = A(A^T A)^{-1} A^T, \qquad P^2 = P, \quad P^T = P

P = A(AᵀA)⁻¹Aᵀ هي المُسقِط المتعامد على C(A). الخصائص الرئيسية: P² = P (idempotent — الإسقاط مرتين لا يُغيّر شيئاً)، Pᵀ = P (متماثلة)، و(I − P) هي المُسقِط على المتمم المتعامد لـC(A). ‖b‖² = ‖Pb‖² + ‖(I−P)b‖² (نظرية فيثاغورس).

افتراض الرتبة الكاملة

صيغة x̂ = (AᵀA)⁻¹Aᵀb تتطلب أن يكون AᵀA قابلاً للعكس، وهذا يحدث بالضبط عندما تكون لـA رتبة عمودية كاملة (رتبة n). إذا كانت أعمدة A خطياً تابعة، فلن يكون حل المربعات الصغرى وحيداً — أي x̂ في فضاء فيني محدد يحقق نفس الحد الأدنى للباقي. في هذه الحالة نبحث عادةً عن الحل ذو الطول الأدنى عبر الشبه-معكوس الكامل أو التنظيم.

الانحدار الخطي بوصفه مربعات صغرى

الانحدار الخطي — ملاءمة خط أو مستوى أو كثير حدود للبيانات — هو بالضبط المربعات الصغرى. بإعطاء m نقطة بيانات (tᵢ, bᵢ)، ملاءمة النموذج b = x₁ + x₂t تُؤدي إلى النظام:

نظام الانحدار

A = \begin{pmatrix} 1 & t_1 \\ 1 & t_2 \\ \vdots & \vdots \\ 1 & t_m \end{pmatrix}, \quad \mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \quad \mathbf{b} = \begin{pmatrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{pmatrix}

A هي مصفوفة التصميم بأسلوب فاندرموند مع عمود من الواحدات (المقطع) وعمود من قيم t (الميل). المعادلات الاعتيادية AᵀAx̂ = Aᵀb تحل للمقطع x̂₁ والميل x̂₂ اللذين يُصغّران إجمالي الانحراف التربيعي العمودي عن الخط.

يمتد هذا بصورة طبيعية إلى انحدار كثير الحدود (أعمدة 1, t, t², …, tᵏ)، والانحدار المتعدد (متنبئات متعددة)، والانحدار الموزون (تصغير ‖W(b − Ax)‖² لمصفوفة وزن قطرية W).

مجموع مربعات البواقي

بعد إيجاد x̂، تكون القيمة الدنيا للهدف ‖b − Ax̂‖² = ‖(I − P)b‖²، وهي المسافة التربيعية من b إلى إسقاطه. القسمة على درجات الحرية m − n تعطي متوسط مربع الخطأ — التقدير القياسي لتباين الضوضاء في الانحدار الخطي.

تحليل QR: النهج المستقر عددياً

تكوين AᵀA وحل المعادلات الاعتيادية مباشرة صحيح من الناحية المفاهيمية لكنه إشكالي عددياً. عدد حالة AᵀA هو مربع عدد حالة A — لذا إذا كانت A سيئة الحالة ولو قليلاً، فإن تكوين AᵀA يضاعف خسارة الأرقام المعنوية.

تحليل QR لـA يتجنب هذا. نكتب A = QR حيث Q هي m×n بأعمدة متعامدة موحّدة (Q بالمعنى المرفّه/المخفَّض) وR هي n×n مثلثة علوية. عندها:

حل QR للمربعات الصغرى

A = QR \quad \Rightarrow \quad R\hat{\mathbf{x}} = Q^T \mathbf{b}

A = QR يعني AᵀA = RᵀQᵀQR = RᵀR وAᵀb = RᵀQᵀb. تتبسط المعادلات الاعتيادية إلى Rx̂ = Qᵀb — نظام مثلث يُحل بالإحلال العكسي. هذا يتجنب تكوين AᵀA كلياً ولديه عدد حالة κ(A) بدلاً من κ(A)².

لهذا تحل جميع البرامج العددية الجادة (LAPACK، عامل الشرطة المائلة في MATLAB، lstsq في NumPy) الأنظمة زائدة التحديد عبر QR أو SVD — لا بتكوين المعادلات الاعتيادية مباشرة.

SVD: الأداة المثلى للمربعات الصغرى

التحليل بالقيم المفردة A = UΣVᵀ يعطي حل المربعات الصغرى ذو الطول الأدنى x̂ = VΣ⁺Uᵀb لأي A — حتى الناقصة الرتبة. وهو النهج الأكثر عمومية ومتانة، يُستخدم عندما لا تكون لـA رتبة عمودية كاملة أو حين يكون التكييف العددي بالغ الأهمية.

التطبيقات في معالجة الإشارات والاتصالات

تقدير القناة

تُقدَّر القناة اللاسلكية بإرسال تسلسل إرشادي معروف. إذا كان لاستجابة نبضة القناة n نقرة وأرسلنا m > n رمزاً إرشادياً، يُحقق الإشارة المستقبلة y ≈ Φh حيث Φ مصفوفة تلافيف وh متجه القناة المجهول. تقدير المربعات الصغرى ĥ = (ΦᵀΦ)⁻¹Φᵀy هو المُقدِّر المعياري لتقدير القناة المعتمد على الرموز الإرشادية.

تصميم أوزان تشكيل الحزمة

في معالجة مصفوفات الهوائيات، نريد أوزان تشكيل الحزمة w التي تُقرّب استجابةً مكانية مرغوبة d(θ) عند اتجاهات معيّنة. مصفوفة متجهات التوجيه A تجمع الاستجابات؛ أوزان المربعات الصغرى تُصغّر ‖d − Aw‖².

تعريف النظام

بإعطاء قياسات الدخل والخرج من نظام خطي مجهول، ملاءمة نموذج AR أو FIR هي مسألة مربعات صغرى. مصفوفة التصميم تُبنى من عينات الدخل المؤخرة؛ متجه المعاملات يُقدَّر عبر المعادلات الاعتيادية أو QR.

أبرز النقاط

النظام زائد التحديد Ax = b (m > n) لا حل دقيق له عندما b ∉ C(A). حل المربعات الصغرى x̂ يُصغّر ‖b − Ax‖² ويُحقق المعادلات الاعتيادية AᵀAx̂ = Aᵀb — هندسياً، يُسقط b على C(A). مصفوفة الإسقاط P = A(AᵀA)⁻¹Aᵀ تحقق P² = P وPᵀ = P. الانحدار الخطي هو مربعات صغرى بمصفوفة تصميم. للاستقرار العددي، حلّ عبر QR (Rx̂ = Qᵀb) لا بتكوين AᵀA. SVD يتعامل مع الحالات ناقصة الرتبة ويعطي الحل ذو الطول الأدنى.