PCA وتقليل الأبعاد

البيانات كنقاط في فضاء عالي الأبعاد

لنفترض أن لدينا N ملاحظة، يصفها كل منها d خاصية — كثافات البكسلات، أو قراءات الحساسات، أو أسعار الأسهم، أو معاملات مجال التردد. كل ملاحظة نقطة في ℝᵈ، والبيانات الكاملة سحابة من N نقطة في ذلك الفضاء. السؤال الجوهري لتقليل الأبعاد هو: هل تقع هذه السحابة فعلًا بالقرب من فضاء جزئي أدنى بعدًا؟

الإجابة في الغالب نعم. البيانات الطبيعية متكررة للغاية — البكسلات المجاورة مترابطة، وقراءات الحساسات تتغير معًا، والأدوات المالية تتحرك بتناسق. البعد الجوهري للبيانات أصغر بكثير من d. تجد PCA أفضل فضاء جزئي خطي منخفض الأبعاد لتمثيل البيانات، إذ "الأفضل" يعني أدنى خطأ إعادة بناء، وهو ما يعادل أقصى تباين محفوظ.

الفكرة الجوهرية

تُدوِّر PCA نظام الإحداثيات بحيث تتوافق المحاور الجديدة (المركّبات الرئيسية) مع اتجاهات أكبر انتشار في البيانات. تشير المركّبة الرئيسية الأولى في اتجاه أقصى تباين؛ والثانية عمودية على الأولى وتلتقط أكبر تباين تالٍ؛ وهكذا. يُنتج التحليل الطيفي لمصفوفة التباين المشترك هذا الدوران تمامًا.

مصفوفة التباين المشترك

لتكن مصفوفة البيانات X ∈ ℝ^{N×d} يمثل كل صف فيها ملاحظة واحدة. الخطوة الأولى هي توسيط البيانات بطرح متوسط كل خاصية، للحصول على المصفوفة X̃ ذات المتوسط الصفري. وتكون مصفوفة التباين المشترك العينية حينئذٍ:

مصفوفة التباين المشترك العينية

C = \frac{1}{N-1}\tilde{X}^T \tilde{X} \;\in\; \mathbb{R}^{d \times d}

C مصفوفة d×d متماثلة وشبه موجبة التحديد. يمثل العنصر (i,j) التباين المشترك العيني بين الخاصيتين i وj. العناصر القطرية هي تباينات الخصائص الفردية؛ وتقيس العناصر خارج القطر التغاير الخطي. القيم الكبيرة خارج القطر تشير إلى التكرار — أي أن البيانات قابلة للضغط.

تُشفِّر مصفوفة التباين المشترك البنية الإحصائية الكاملة من الدرجة الثانية للبيانات. وهي الكيان المحوري في PCA، ويكشف تحليلها الطيفي هندسة سحابة البيانات.

التحليل الطيفي لمصفوفة التباين المشترك

بما أن C حقيقية ومتماثلة وشبه موجبة التحديد، يضمن المبرهنة الطيفية وجود قاعدة تعامدية معيارية كاملة من المتجهات الذاتية. نُجري التحليل التالي:

التحليل الطيفي

C = Q\,\Lambda\,Q^T, \quad Q^T Q = I, \quad \Lambda = \mathrm{diag}(\lambda_1, \lambda_2, \ldots, \lambda_d)

Q = [q₁ | q₂ | … | qd] هي المصفوفة المتعامدة d×d التي أعمدتها متجهات ذاتية (اتجاهات رئيسية). Λ = diag(λ₁, λ₂, …, λd) مع λ₁ ≥ λ₂ ≥ … ≥ λd ≥ 0. كل قيمة ذاتية λₖ تساوي تباين البيانات المُسقطة على المتجه الذاتي qₖ. المتجهات الذاتية متعامدة ومعيارية: qᵢᵀqⱼ = δᵢⱼ.

هذا التحليل ذو معنى هندسي وإحصائي في آنٍ معًا. هندسيًا، يكشف المحاور الرئيسية لقطع البيانات الإهليلجي. إحصائيًا، يُجزِّئ التباين الكلي (tr C = Σλₖ) إلى d مركّب مستقل، يلتقط كل منها نسبة λₖ / Σλⱼ من المجموع.

الصلة بالتحليل إلى قيم أحادية (SVD)

متجهات PCA الذاتية هي المتجهات الأحادية اليمنى لـ X̃، والقيم الذاتية تستوفي λₖ = σₖ² / (N−1)، حيث σₖ هي القيم الأحادية لـ X̃. عمليًا، حساب PCA عبر SVD لـ X̃ أكثر استقرارًا عدديًا من تكوين C = X̃ᵀX̃ / (N−1) ثم تحليلها طيفيًا — إذ يُربع تكوين الحاصل الخارجي عدد شرط المسألة.

المركّبات الرئيسية والإسقاطات

لإسقاط نقطة بيانات x̃ (موسّطة) على أعلى k مركّبات رئيسية، اضربها في منقولة المصفوفة Qₖ = [q₁ | q₂ | … | qₖ] بأبعاد d×k، التي أعمدتها هي أول k متجه ذاتي:

إسقاط PCA

\mathbf{z} = Q_k^T\,\tilde{\mathbf{x}} \;\in\; \mathbb{R}^k, \quad Q_k = \begin{bmatrix}\mathbf{q}_1 & \cdots & \mathbf{q}_k\end{bmatrix}

z ∈ ℝᵏ هو التمثيل منخفض الأبعاد (الدرجات). الدرجة رقم j هي zⱼ = qⱼᵀx̃، أي الطول الموجّه لإسقاط x̃ على الاتجاه الرئيسي j. لإعادة بناء تقريب لنقطة البيانات الأصلية: x̃_approx = Qₖz = QₖQₖᵀx̃. وخطأ إعادة البناء هو ||x̃ − x̃_approx||² = Σ_{j=k+1}^{d} (qⱼᵀx̃)²، وتوقعه يساوي Σ_{j=k+1}^{d} λⱼ — مجموع القيم الذاتية المهملة.

إذن PCA هي المشفِّر-المُفكِّك الخطي الأمثل: بين جميع الإسقاطات الخطية على k بُعدًا، تُصغِّر إسقاط PCA خطأ إعادة البناء المتوقع. وهذا هو مبرهنة إيكارت-يونغ مُطبَّقةً على مصفوفة البيانات.

اختيار عدد المركّبات

كم مركّبة رئيسية ينبغي الاحتفاظ بها؟ تُرشد إلى ذلك أداتان متكاملتان.

نسبة التباين المُفسَّر

نسبة التباين الكلي التي يفسرها أعلى k مركّبات هي:

التباين المُفسَّر

\mathrm{EVR}(k) = \frac{\sum_{j=1}^{k} \lambda_j}{\sum_{j=1}^{d} \lambda_j}

عتبة شائعة هي k* = min{ k : EVR(k) ≥ 0.95 }. بالنسبة للصور والإشارات الطبيعية، يُلتقط عادةً 90–99% من التباين في عدد أقل بكثير من المركّبات مقارنةً بالبعد الأصلي — مستغلًا الترابط القوي بين الخصائص.

مخطط الحصاة (Scree Plot)

يرسم مخطط الحصاة القيم الذاتية λ₁ ≥ λ₂ ≥ … ≥ λd بترتيب تنازلي. في كثير من مجموعات البيانات، يُظهر المخطط "مرفقًا" حادًا — نقطة تنخفض بعدها القيم الذاتية بسرعة وتستوي عند مستوى ضوضاء ثابت تقريبًا. يُلمح المرفق إلى البعد الجوهري الطبيعي للبيانات. يُوازن اختيار k عند المرفق بين الحفاظ على الإشارة وكفاءة الضغط.

قاعدة عملية

إن لم يظهر في مخطط الحصاة مرفق واضح، استخدم نسبة التباين المُفسَّر بعتبة تناسب التطبيق: 95% للتصوير أو الضغط، 99%+ لمهام إعادة البناء التي تتطلب دقة عالية. لتقليل الضوضاء، اختر k ليشمل المركّبات ذات القيم الذاتية الأعلى بشكل ملحوظ من مستوى الضوضاء.

PCA للضغط والتصوير

تُستخدم PCA على نطاق واسع في مهمتين فوريتين: ضغط البيانات عالية الأبعاد وتصويرها في الفضاء ثنائي أو ثلاثي الأبعاد.

ضغط الصور

يمكن تمثيل صورة بحجم N × d بكسل كـ N صف في ℝᵈ. تُنتج PCA على هذه المصفوفة قاعدة من "الوجوه الذاتية" (للصور الوجهية) أو "البقع الذاتية" (للأنسجة). تمثيل كل صف بـ k ≪ d معامل وإرسال تلك المعاملات فحسب، إلى جانب المتجهات الأساسية k، يُقلِّل التخزين تقليلًا كبيرًا مع الحفاظ على الجودة الإدراكية.

التصوير

بضبط k = 2 أو k = 3، تُسقِّط البيانات على مستوى أو حجم أقصى تباين. التجمعات التي كانت غير مرئية في الفضاء عالي الأبعاد الأصلي كثيرًا ما تنفصل بوضوح في إسقاط PCA — مما يجعل PCA الخطوة الأولى في أي تحليل استكشافي للبيانات أو عملية تجميع.

PCA في معالجة الإشارات: تقليل الضوضاء واستخلاص الخصائص

في معالجة الإشارات، ترتبط PCA بـ تحويل كارهونن-لوف (KLT) — التحويل الخطي الأمثل لإزالة ترابط العملية العشوائية. بالنسبة لعملية ثابتة، تكون مصفوفة التباين المشترك تيبليتز، وتقترب المتجهات الذاتية لـ KLT من الجيبيات مع اقتراب d من اللانهاية، مُستردَّةً DFT حالةً خاصة. وبذلك، PCA هي تعميم يعتمد البيانات لتحويل فورييه على الإشارات غير الثابتة.

تقليل الضوضاء عبر اقتطاع الرتبة

لنفترض أن الملاحظات مشوبة: x̃ = s + n، حيث s إشارة ذات رتبة منخفضة (بُعد جوهري k)، وn ضوضاء بيضاء بتباين σ². تباين x̃ هو C = C_s + σ²I. أعلى k قيمة ذاتية لـ C تتجاوز σ² (فضاء جزئي الإشارة)، بينما تساوي d−k قيمة ذاتية متبقية σ² (فضاء جزئي الضوضاء). الإسقاط على فضاء جزئي الإشارة وإعادة البناء — بالاحتفاظ بأعلى k مركّبة فحسب — يُزيل الضوضاء في المكمل المتعامد:

إسقاط الفضاء الجزئي للإشارة

\hat{\mathbf{s}} = Q_k Q_k^T\,\tilde{\mathbf{x}}

تحتوي Qₖ على أعلى k متجه ذاتي (فضاء جزئي الإشارة). الإسقاط QₖQₖᵀ مُسقِّط متعامد على هذا الفضاء الجزئي. بالنسبة للإشارات ذات الرتبة المعروفة، يُعدّ هذا المُقلِّل الضوضاء بالعتبة الصلبة أمثلًا بمعنى معيار فروبينيوس (إيكارت-يونغ). تعمل الاستراتيجيات الأكثر تطورًا (العتبة الناعمة، التقليص الأمثل) على تخفيف المركّبات الصاخبة بدلًا من إلغائها.

استخلاص الخصائص

قبل تدريب المُصنِّفات أو نماذج الانحدار على البيانات عالية الأبعاد، تُختزل المدخلات بـ PCA إلى k بُعدًا من أكثر الأبعاد إفادةً، مُزيلةً التكرار والضوضاء في آنٍ معًا. الخصائص الناتجة غير مترابطة (تباين مشترك مُقطري)، مما يُفيد الأساليب التي تفترض استقلالية الخصائص أو تستلزم عكس تباين الخصائص المشترك. بالنسبة للبيانات عالية الأبعاد جدًا (d ≫ N)، تُعالج PCA أيضًا "لعنة الأبعاد" — بتركيز البيانات المتاحة في فضاء منخفض الأبعاد حيث تصبح مقاييس المسافة وتقديرات الكثافة ذات معنى.

أهم النقاط

تجد PCA أفضل فضاء جزئي خطي منخفض الأبعاد لمجموعة بيانات بتحليل مصفوفة التباين المشترك العينية طيفيًا C = X̃ᵀX̃/(N−1). المتجهات الذاتية هي الاتجاهات الرئيسية؛ والقيم الذاتية هي التباينات على طول كل اتجاه. إسقاط البيانات على أعلى k متجه ذاتي يُعطي أفضل إعادة بناء برتبة k (إيكارت-يونغ)، محافظًا على نسبة EVR(k) = (λ₁+…+λₖ)/(λ₁+…+λd) من إجمالي التباين. يكشف مخطط الحصاة البعد الجوهري عبر مرفق القيم الذاتية. يحسب SVD للمصفوفة الموسّطة PCA بصورة أكثر استقرارًا من التحليل الطيفي المباشر لمصفوفة التباين المشترك. في معالجة الإشارات، تُعمِّم PCA DFT على الإشارات غير الثابتة، وتُمكِّن تقليل الضوضاء بالإسقاط على فضاء جزئي الإشارة، وتستخلص خصائص متكافئة غير مترابطة للتعلم الآلي اللاحق.