یافتن محورهای متعامد: تحلیل مؤلفه‌های اساسی چگونه با به حداکثر رساندن واریانس، داده‌های با ابعاد بالا را فشرده می‌کند

لحظه دقیقی که یک مجموعه داده با ابعاد بالا بدون از دست دادن ساختار زیربنایی‌اش با موفقیت فشرده می‌شود، در طول تجزیه مقادیر ویژه ماتریس کوواریانس آن رخ می‌دهد. این عملیات ماتریسی خاص دقیقاً تعیین می‌کند که کدام محورها بیشترین اطلاعات را در خود جای داده‌اند و کدام‌یک صرفاً نویز آماری هستند. یک الگوریتم با جداسازی بردارهای ویژه مرتبط با بزرگ‌ترین مقادیر ویژه، پیش از انجام هرگونه تبدیل واقعی روی داده‌ها، تصویرسازی بهینه در ابعاد پایین‌تر را تثبیت می‌کند.[4][6]

خطوط لوله یادگیری ماشین مدرن اغلب با کاهش ابعاد مانند یک مرحله پیش‌پردازش جعبه‌سیاه برخورد می‌کنند و جبر خطی نهفته در آن را پنهان می‌سازند. وقتی یک مجموعه داده ۱۰۰۰ بعدی به یک شبکه عصبی خورانده می‌شود، هزینه محاسباتی به صورت نمایی بالا می‌رود. تحلیل مؤلفه‌های اساسی (PCA) زبان بازاریابی پر زرق و برق «استخراج ویژگی» را کنار می‌زند تا یک فرآیند قطعی ریاضیاتی را آشکار کند: چرخش سیستم مختصات برای هم‌راستا شدن با گستردگی طبیعی داده‌ها.[3][7]

این فرآیند با مرکزیت بخشیدن به داده‌ها آغاز می‌شود؛ یعنی کم کردن میانگین هر متغیر تا کل مجموعه داده در مبدأ مختصات قرار گیرد. از آنجا، الگوریتم یک ماتریس کوواریانس را محاسبه می‌کند؛ یک شبکه مربعی که نشان می‌دهد هر متغیر منفرد چگونه در رابطه با سایر متغیرها نوسان می‌کند. همان‌طور که در تحلیل سال ۲۰۲۲ گرگوری گاندرسن اشاره شده است، این ماتریس متقارن و نیمه‌معین مثبت است، که تضمین می‌کند تجزیه بعدی آن به مقادیر ویژه حقیقی و غیرمنفی منجر خواهد شد.[6]

گام حیاتی، استخراج بردارهای ویژه و مقادیر ویژه از این ماتریس کوواریانس است. یک بردار ویژه نشان‌دهنده یک جهت در فضای با ابعاد بالا است، در حالی که مقدار ویژه متناظر با آن، اندازه واریانس در امتداد آن جهت خاص را کمّی‌سازی می‌کند. اولین مؤلفه اساسی به سادگی همان بردار ویژه‌ای است که مطلقاً بالاترین مقدار ویژه را دارد.[4][5]

این در واقع همان اصل به حداکثر رساندن واریانس در عمل است. طبق تعریف، اولین مؤلفه اساسی بیشترین واریانس ممکن از داده‌های تصویرشده را در بر می‌گیرد. سپس مؤلفه اساسی دوم تحت یک محدودیت سخت‌گیرانه محاسبه می‌شود: این مؤلفه باید کاملاً بر مؤلفه اول متعامد باشد (یعنی در فضای چندبعدی زاویه ۹۰ درجه بسازد)، در حالی که بیشترین واریانس باقی‌مانده را نیز به خود اختصاص دهد.[1][2]

این محدودیت تعامد تضمین می‌کند که محورهای جدید کاملاً بدون همبستگی هستند. اگر مجموعه داده اصلی شامل دو ویژگی بود که همگام با هم حرکت می‌کردند، مانند متراژ و قیمت خانه، PCA آن‌ها را در یک مؤلفه غالب واحد ادغام می‌کند. بُعد اضافی عملاً مسطح شده و هم‌خطی چندگانه از مجموعه داده حذف می‌شود.[3][7]

کریستوفر بیشاپ در کتاب بنیادین خود در سال ۲۰۰۶ با عنوان «تشخیص الگو و یادگیری ماشین»، این بهینه‌سازی را به دقت تعریف می‌کند. بیشاپ می‌نویسد که PCA را می‌توان به عنوان «تصویرسازی متعامد داده‌ها روی یک فضای خطی با ابعاد پایین‌تر، معروف به زیرفضای اساسی، به گونه‌ای که واریانس داده‌های تصویرشده به حداکثر برسد» تعریف کرد.[2]

بیشاپ همچنین خاطرنشان می‌کند که این کار از نظر ریاضی معادل به حداقل رساندن مجموع خطاهای بازسازی مجذور شده است؛ یعنی فاصله خطی بین نقاط داده اصلی و مکان‌های جدید تصویرشده آن‌ها. به حداکثر رساندن گستردگی داده‌ها به طور همزمان اطلاعات از دست رفته در طول فشرده‌سازی را به حداقل می‌رساند.[2]

در کاربردهای سازمانی، همان‌طور که در مستندات فنی سال ۲۰۲۴ شرکت IBM به تفصیل آمده است، PCA به طور معمول برای فشرده‌سازی مجموعه داده‌های تصویری یا توالی‌های ژنومی که ابعاد آن‌ها می‌تواند به ده‌ها هزار برسد، به کار گرفته می‌شود. گلوگاه محاسباتی در مرحله تجزیه مقادیر ویژه نهفته است، که با پیچیدگی زمانی O(p^3) مقیاس می‌شود، جایی که p تعداد ویژگی‌ها است.[3]

برای تصمیم‌گیری در مورد اینکه چه تعداد از ابعاد باید حفظ شوند، متخصصان به منحنی افت مقادیر ویژه تکیه می‌کنند که معمولاً نمودار اسکری نامیده می‌شود. در حالی که متون نظری اغلب توصیه می‌کنند مؤلفه‌های کافی برای حفظ ۹۵ درصد از کل واریانس نگه داشته شوند، واقعیتِ استقرار این مدل‌ها در محیط عملیاتی اغلب آستانه پایین‌تری را دیکته می‌کند.[2][8]

اگر نمودار اسکری یک افت شدید (یک «آرنج») را پس از مؤلفه سوم نشان دهد، مهندسان معمولاً داده‌ها را در همان‌جا قطع می‌کنند، حتی اگر آن سه مؤلفه تنها ۷۵ یا ۸۰ درصد از واریانس را در بر بگیرند. ۲۰ درصد باقی‌مانده از نظر ریاضی به عنوان نویز طبقه‌بندی می‌شود و دور ریختن آن اغلب با جلوگیری از بیش‌برازش، عملکرد الگوریتم‌های خوشه‌بندی در مراحل بعدی را بهبود می‌بخشد.[3][8]

با این حال، PCA اساساً یک تبدیل خطی است. این الگوریتم فرض می‌کند که ساختار زیربنایی داده‌ها می‌تواند توسط خطوط راست و صفحات تخت ثبت شود. اگر داده‌ها روی یک منیفولد پیچیده و منحنی قرار داشته باشند (مانند یک رولت سوئیسی لوله‌شده در فضای سه‌بعدی)، PCA در باز کردن آن شکست می‌خورد و صرفاً لایه‌های هم‌پوشانی‌شده را روی یک شبکه تخت تصویر کرده و توپولوژی را از بین می‌برد.[1][5]

بنابراین، تصمیم برای استفاده از PCA به این فرض بستگی دارد که واریانس معادل سیگنال است. وقتی حیاتی‌ترین اطلاعات در یک مجموعه داده در ناهنجاری‌های با واریانس پایین پنهان شده باشد، چرخاندن محورها برای به حداکثر رساندن گستردگی، دقیقاً همان الگوهایی را که الگوریتم برای یافتن آن‌ها مستقر شده بود، مدفون می‌کند. ظرافت ریاضیاتی ماتریس کوواریانس تنها یک تصویرسازی خطی بهینه را تضمین می‌کند؛ اما نمی‌تواند تضمین کند که این تصویرسازی واقعاً مفید است.[1][8]