چگونه عامل تورم واریانس، هم‌خطی چندگانه را آشکار کرده و از تورم خطاهای استاندارد در رگرسیون جلوگیری می‌کند

یک فرض رایج در علم داده کاربردی بر این باور است که تغذیه یک مدل رگرسیون با متغیرهای مرتبط بیشتر، ناگزیر دقت آن را افزایش می‌دهد. راهنمای روش‌شناختی CASRAI خاطرنشان می‌کند: «یک تصور غلط رایج این است که ریختن هر پیش‌بینی‌کننده در دسترس به داخل یک مدل، تمام مخدوش‌کننده‌های احتمالی را کنترل می‌کند» [4]. واقعیت ریاضی رگرسیون حداقل مربعات معمولی دقیقاً عکس این موضوع را دیکته می‌کند. وقتی دو یا چند متغیر مستقل اطلاعات زیربنایی یکسانی را دنبال می‌کنند — وضعیتی که به عنوان هم‌خطی چندگانه شناخته می‌شود — آنها وضوح بیشتری به مدل نمی‌بخشند. در عوض، آنها برای توضیح دقیقاً همان واریانس با یکدیگر رقابت می‌کنند، که باعث می‌شود خطاهای استاندارد مدل به شدت متورم شده و اثرهای واقعاً معنادار از نظر آماری نامرئی شوند [5].[4][5]

عامل تورم واریانس (VIF) دقیقاً برای کمّی کردن همین نقص ساختاری به وجود آمده است. این عامل اندازه‌گیری می‌کند که واریانس یک ضریب رگرسیون برآورد شده، زمانی که پیش‌بینی‌کننده‌ها با هم همبستگی دارند، در مقایسه با زمانی که کاملاً مستقل هستند، چقدر افزایش می‌یابد [3]. محاسبه آن از نظر مکانیکی ساده است: برای هر پیش‌بینی‌کننده معین، VIF برابر است با ۱ تقسیم بر ۱ منهای R-squared آن پیش‌بینی‌کننده که در برابر تمام متغیرهای مستقل دیگر رگرسیون شده است. اگر یک متغیر هیچ واریانسی با بقیه به اشتراک نگذارد، R-squared آن صفر است و VIF آن دقیقاً ۱٫۰ خواهد بود [4].[3][4]

با افزایش هم‌پوشانی، این جریمه به جای خطی، به‌صورت نمایی مقیاس می‌یابد. یک R-squared معادل ۰٫۸۰ بین پیش‌بینی‌کننده‌ها، VIF برابر با ۵ را به دست می‌دهد، به این معنی که واریانس ضریب پنج برابر بزرگتر از حالتی است که در یک مدل کاملاً متعامد وجود داشت [5]. اگر R-squared به ۰٫۹۰ برسد، VIF به ۱۰ جهش می‌کند. در این سطح، فواصل اطمینان حول برآوردها آن‌قدر گسترده می‌شوند که مدل دیگر نمی‌تواند به‌طور قابل‌اعتمادی تعیین کند که آیا متغیر تأثیر مثبت بر نتیجه دارد یا منفی [2].[2][5]

این تورم خطاهای استاندارد همان چیزی است که هم‌خطی چندگانه را برای استنتاج علّی تا این حد مخرب می‌سازد. در یک مرور روش‌شناختی در سال ۲۰۲۰ که در arXiv منتشر شد، پژوهشگران نشان دادند که مقادیر بالای VIF مستقیماً توان آماری را خنثی می‌کنند [1]. از آنجا که خطای استاندارد در مخرج معادله آماره t قرار دارد، تورم مصنوعی آن مقدار t را به سمت صفر کوچک می‌کند. در نتیجه، متغیری که واقعاً یک پیامد را هدایت می‌کند، صرفاً به این دلیل که با یک همتای دارای همبستگی بالا جفت شده است، نمی‌تواند به آستانه معناداری استاندارد p < 0.05 دست یابد [1].[1]

این مشکل فراتر از همبستگی ساده دو به دو است. یک ارزیابی در سال ۲۰۱۹ در SAGE Publications با استفاده از مدل‌سازی متغیر پنهان نشان داد که هم‌خطی چندگانه اغلب از تعاملات پیچیده و چندمتغیره ناشی می‌شود که نمودارهای پراکنش دو به دو کاملاً از تشخیص آنها عاجزند [2]. سه یا چهار متغیر ممکن است در کنار هم متغیر پنجمی را به‌طور کامل پیش‌بینی کنند و VIF آن را به صدها برسانند، حتی اگر هیچ همبستگی دو به دوی منفردی از ۰٫۵۰ تجاوز نکند. نویسندگان SAGE ثابت کردند: «تشخیص این هم‌پوشانی‌های چندمتغیره نیازمند بررسی ماتریس کامل واریانس-کوواریانس است، نه فقط یک جدول همبستگی» [2].[2]

رسیدگی به این تورم نیازمند مداخله ساختاری است. گروه مشاوره آماری کتابخانه دانشگاه ویرجینیا سه راه‌حل ریاضی اصلی را بیان می‌کند [5]. رایج‌ترین روش، صرفاً حذف یکی از متغیرهای با همبستگی بالا است، که یک پیش‌بینی‌کننده اضافی را برای تثبیت ضرایب باقی‌مانده قربانی می‌کند. از طرف دیگر، پژوهشگران می‌توانند متغیرهای هم‌پوشان را در یک شاخص ترکیبی واحد ادغام کنند، یا از تکنیک‌های کاهش ابعاد مانند تحلیل مؤلفه‌های اصلی (PCA) استفاده کنند تا پیش‌بینی‌کننده‌ها را به مؤلفه‌های متعامد و بدون همبستگی تبدیل کنند [5].[5]

استخراج این تشخیص‌ها از پژوهش‌های قدیمی، زمانی که نویسندگان ماتریس‌های خود را منتشر نمی‌کنند، همچنان یک چالش است. یک چارچوب روش‌شناختی منتشر شده توسط Taylor & Francis در سال ۲۰۱۷ به تفصیل توضیح داد که چگونه پژوهشگران می‌توانند VIF را از نتایج رگرسیون معمولی مهندسی معکوس کنند [3]. با جداسازی خطاهای استاندارد گزارش‌شده و اندازه نمونه، تحلیلگران می‌توانند درجه هم‌خطی چندگانه موجود در مجموعه داده اصلی را بازسازی کنند، که اغلب نشان می‌دهد یافته‌های پذیرفته‌شده تاریخی بر روی ضرایب بسیار بی‌ثباتی بنا شده‌اند [3].[3]

وجود یک VIF بالا قدرت پیش‌بینی کلی مدل را بی‌اعتبار نمی‌کند، زیرا هم‌خطی چندگانه بر R-squared کل مدل یا پیش‌بینی‌های متغیر وابسته تأثیری نمی‌گذارد [4]. این آسیب کاملاً محدود به ضرایب فردی است. اگر یک تیم پژوهشی فقط نیاز به پیش‌بینی یک مقدار در آینده داشته باشد، VIF برابر با ۲۰ ممکن است از نظر ریاضی بی‌ضرر باشد. اما اگر هدف، تفکیک وزن علّی خاص یک متغیر منفرد باشد، عامل تورم واریانس دقیقاً دیکته می‌کند که چه زمانی داده‌ها دیگر نمی‌توانند از این ادعا پشتیبانی کنند.[4]