چگونه آماره F واریانس تبیین‌شده را با واریانس پسماند تبیین‌نشده مقایسه می‌کند

در سال ۱۹۲۵، رونالد فیشر، آمارشناس بریتانیایی، تحلیل واریانس (ANOVA) را در کتاب برجسته خود با عنوان «روش‌های آماری برای پژوهشگران» معرفی کرد و یک روش ریاضیاتی را برای جداسازی سیگنال واقعی از نویز تصادفی پایه‌گذاری نمود. هسته اصلی این روش، آماره F است که در سال ۱۹۳۴ توسط جورج دبلیو. اسندکور به افتخار فیشر نام‌گذاری شد. این آماره بر اساس یک فرض ظاهراً ساده عمل می‌کند: مقایسه واریانسی که یک مدل آماری تبیین می‌کند با واریانسی که تبیین‌نشده باقی می‌گذارد.[6]

برای درک این سازوکار، باید به نحوه تقسیم‌بندی واریانس نگاه کرد. وقتی یک پژوهشگر مدلی می‌سازد — چه در حال آزمایش ۳ داروی مختلف فشار خون باشد و چه در حال پیش‌بینی قیمت مسکن با استفاده از ۴ متغیر مجزا — کل تغییرات موجود در داده‌ها به دو دسته جداگانه تقسیم می‌شود. دسته اول «واریانس تبیین‌شده» است که به طور رسمی با عنوان میانگین مربعات مدل (MSM) شناخته می‌شود. این بخش نشان‌دهنده تفاوت‌هایی است که می‌توان مستقیماً به متغیرهای مورد آزمایش پژوهشگر نسبت داد.[1][3]

دسته دوم «واریانس تبیین‌نشده» یا میانگین مربعات خطا (MSE) است. این همان نویز پسماند است — یعنی نوسان طبیعی و تصادفی نقاط داده‌های منفرد در اطراف پیش‌بینی‌های مدل. آماره F با تقسیم دسته اول بر دسته دوم محاسبه می‌شود: MSM تقسیم بر MSE. اگر متغیرهای مورد آزمایش هیچ اثر واقعی نداشته باشند، واریانس تبیین‌شده توسط مدل تقریباً برابر با نویز تصادفی خواهد بود.[2][3]

کتابچه الکترونیکی روش‌های آماری NIST/SEMATECH خاطرنشان می‌کند: «مقدار F برابر با ۱ نشان می‌دهد که مدل، واریانسی بیشتر از آنچه بر اساس شانس تصادفی انتظار داریم را تبیین نمی‌کند.» با این حال، اگر مدل یک رابطه واقعی را ثبت کند، واریانس تبیین‌شده بر نویز پسماند غلبه خواهد کرد. در این حالت، صورت کسر بزرگ‌تر از مخرج آن می‌شود و آماره F را به مراتب بالاتر از ۱٫۰ می‌برد.[5]

آستانه دقیق برای معناداری آماری به درجات آزادی بستگی دارد که به عنوان یک جریمه ریاضیاتی برای پیچیدگی عمل می‌کنند. درجات آزادی نشان‌دهنده تعداد قطعات مستقل اطلاعاتی هستند که برای تخمین یک قطعه اطلاعاتی دیگر در دسترس قرار دارند. صورت کسر (واریانس تبیین‌شده) به ازای هر پارامتری که به مدل اضافه می‌شود، یک درجه آزادی را از دست می‌دهد.[1][2]

به عنوان مثال، در یک مجموعه داده با ۱۰۰ مشاهده که ۴ متغیر را آزمایش می‌کند، صورت کسر دارای ۴ درجه آزادی است، در حالی که مخرج کسر ۹۵ درجه آزادی دارد (۱۰۰ مشاهده کل منهای ۴ پارامتر منهای ۱ برای عرض از مبدأ). این جریمه دوگانه تضمین می‌کند که پژوهشگران نمی‌توانند صرفاً با ریختن ده‌ها متغیر بی‌فایده در یک مدل رگرسیون، آماره F را به طور مصنوعی متورم کنند.[3]

اگر یک متغیر جدید واریانس اضافی کافی برای توجیه حضور خود در مدل را تبیین نکند، آماره F در واقع کاهش می‌یابد. در عمل، نرم‌افزارهای آماری آماره F را محاسبه کرده و آن را به یک مقدار پی (p-value) ترجمه می‌کنند. یک آستانه رایج، آلفای ۰٫۰۵ است؛ به این معنی که اگر فرض صفر درست باشد، تنها ۵٪ احتمال مشاهده آماره F به آن بزرگی وجود دارد.[1][4]

آزمون F به عنوان یک آزمون همه‌گیر عمل می‌کند. در رگرسیون چندگانه، این آزمون ارزیابی می‌کند که آیا کل مدل — یعنی ترکیب همه پیش‌بین‌ها — به طور معناداری بهتر از مدلی بدون پیش‌بین است یا خیر؛ مدلی که صرفاً یک خط صاف و نشان‌دهنده میانگین داده‌هاست. وب‌سایت Statistics By Jim توضیح می‌دهد: «آزمون F برای معناداری کلی نشان می‌دهد که آیا مدل رگرسیون خطی شما برازش بهتری نسبت به مدلی که فاقد متغیرهای مستقل است، برای داده‌ها فراهم می‌کند یا خیر.»[1]

اگر آزمون F کلی معنادار باشد، پژوهشگران می‌توانند به بررسی آزمون‌های t منفرد برای هر متغیر خاص بپردازند. اگر آزمون F رد شود، آزمون‌های t منفرد عموماً نامعتبر در نظر گرفته می‌شوند. این اصل سلسله‌مراتبی مشخصاً برای جلوگیری از نتایج مثبت کاذبی طراحی شده است که از اجرای همزمان مقایسه‌های چندگانه ناشی می‌شوند.[2][3]

قابلیت اطمینان آماره F به شدت به سه فرض اساسی بستگی دارد: پسماندها باید دارای توزیع نرمال باشند، واریانس باید در تمام سطوح متغیرهای مستقل برابر باشد (هم‌گنی واریانس)، و مشاهدات باید مستقل باشند. زمانی که این مفروضات نقض شوند، نسبت میانگین مربعات دچار اعوجاج می‌شود.[4][5]

برای نمونه، ناهم‌گنی واریانس شدید می‌تواند آماره F را به طور مصنوعی متورم کند و پژوهشگران را به این نتیجه برساند که یک مدل معنادار است، در حالی که مدل صرفاً در حال ثبت واریانس نابرابر است. برای اصلاح این موضوع، نرم‌افزارهای آماری مدرن اغلب از خطاهای استاندارد استوار استفاده می‌کنند که مخرج آزمون F را برای در نظر گرفتن واریانس نابرابر تعدیل کرده و تضمین می‌کنند که این نسبت همچنان معیار معتبری برای سیگنال به نویز باقی بماند.[1][6]

آماره F با تقلیل تعامل پیچیده متغیرهای متعدد و خطای تصادفی به یک نسبت واحد و قابل‌تفسیر، اثبات ریاضیاتی لازم برای جداسازی کشف واقعی از تصادف آماری را فراهم می‌کند. این آماره همچنان به عنوان معیار بنیادین برای ارزیابی مدل در سراسر علوم باقی مانده است.[6]