پنج فرضی که تضمین می‌کنند حداقل مربعات معمولی بهترین برآوردگر خطی نااریب است

برای اینکه یک مدل رگرسیون خطی از نظر ریاضی بهینه باشد، خطاهایی که مرتکب می‌شود باید کاملاً تصادفی و مستقل از متغیرهای اندازه‌گیری‌شده باشند. اگر همین یک محدودیت الزام‌آور نقض شود، کل سازوکار حداقل مربعات معمولی (OLS) شروع به انحراف از حقیقت می‌کند. قضیه گائوس-مارکف دقیقاً مشخص می‌کند که چه شرایطی باید برقرار باشد تا OLS تاج «بهترین برآوردگر خطی نااریب» (BLUE) را بر سر بگذارد. در عمل، این شرایط تقریباً هرگز به‌طور کامل محقق نمی‌شوند و تحلیلگران را مجبور می‌کنند تا میزان انحراف داده‌های خود را از ایده‌آل نظری اندازه‌گیری کنند.[2][6]

مخفف BLUE تضمین‌های خاص این قضیه را باز می‌کند. «خطی» به این معناست که پارامترهای مدل به‌عنوان ترکیب خطی از داده‌های نمونه برآورد می‌شوند. «نااریب» تضمین می‌کند که در نمونه‌گیری‌های مکرر بی‌نهایت، میانگین برآورد مدل دقیقاً با پارامتر واقعی جامعه مطابقت خواهد داشت. «بهترین» سخت‌گیرانه‌ترین ادعای ریاضی است: به این معنا که برآوردگر کمترین واریانس ممکن را در میان تمام برآوردگرهای خطی نااریب دارد. همان‌طور که جیم فراست، آماردان، اشاره می‌کند: «بهترین یعنی دارای فشرده‌ترین توزیع نمونه‌گیری است» [۴].[4]

دو فرض اول از پنج فرض، هندسه پایه داده‌ها را پایه‌گذاری می‌کنند. فرض اول نیازمند خطی بودن در پارامترهاست، به این معنی که رابطه بین متغیرهای مستقل و متغیر وابسته می‌تواند به‌صورت یک خط راست رسم شود، حتی اگر خود متغیرها به توان رسیده یا تبدیل شده باشند [۵]. فرض دوم نمونه‌گیری تصادفی را می‌طلبد. نقاط داده باید به‌طور تصادفی از جامعه استخراج شوند تا اطمینان حاصل شود که نمونه، واقعیت گسترده‌تر را بدون سوگیری انتخاب سیستماتیک، به‌دقت نمایندگی می‌کند [۲].[2][5]

فرض سوم هم‌خطی کامل را ممنوع می‌کند. در یک مدل رگرسیون چندگانه، هیچ متغیر مستقلی نمی‌تواند ترکیب خطی کاملی از متغیر دیگر باشد. اگر یک مجموعه داده شامل دمای سلسیوس و دمای فارنهایت باشد، جبر ماتریسی مدل فرو می‌پاشد. ماتریس طراحی باید دارای رتبه ستونی کامل باشد، به این معنی که هر متغیر اطلاعاتی از نظر ریاضی منحصربه‌فرد را به معادله وارد می‌کند [۳]. بدون این رتبه که حداقل ۱ برای هر پارامتر است، برآوردگر OLS نمی‌تواند اثر فردی هیچ متغیر واحدی را تفکیک کند.[3]

فرض چهارم - میانگین شرطی صفر برای جمله خطا - دشوارترین فرضی است که در دنیای واقعی می‌توان آن را برآورده کرد. این فرض ایجاب می‌کند که خطاهای مشاهده‌نشده در مدل کاملاً با متغیرهای مستقل همبستگی نداشته باشند [۱]. اگر یک تحلیلگر دستمزدها را بر اساس تحصیلات مدل‌سازی کند، اما متغیر مهمی مانند توانایی ذاتی را از قلم بیندازد، آن متغیر حذف‌شده جذب جمله خطا می‌شود. اگر توانایی با تحصیلات همبستگی داشته باشد، جمله خطا دیگر مستقل نیست و برآورد OLS اساساً دچار سوگیری می‌شود.[1]

فرض نهایی واریانس همسان است که دیکته می‌کند واریانس جمله خطا باید در تمام سطوح متغیرهای مستقل ثابت بماند [۲]. اگر مدلی هزینه‌های خانوار را بر اساس درآمد پیش‌بینی کند، معمولاً با افزایش درآمد، خطاها به شکل بادبزن پخش می‌شوند، زیرا خانوارهای ثروتمندتر واریانس اختیاری بیشتری دارند. این مخروط در حال گسترش از داده‌ها، فرض پنجم را نقض کرده و ویژگی‌های ریاضی خط رگرسیون حاصل را تغییر می‌دهد.[2]

ظرافت ریاضی قضیه گائوس-مارکف در نحوه تقسیم ویژگی‌های BLUE توسط این فرض‌ها نهفته است. اثبات نااریب بودن منحصراً به چهار فرض اول متکی است [۲]. اگر مدلی از ناهمسانی واریانس رنج ببرد (نقض فرض پنجم)، برآوردهای OLS کاملاً نااریب باقی می‌مانند. آن‌ها همچنان روی پارامتر واقعی جامعه متمرکز خواهند بود، به این معنی که مدل به‌طور سیستماتیک اثر را بیش از حد یا کمتر از حد برآورد نمی‌کند.[2][6]

با این حال، نقض آن فرض پنجم، عنوان «بهترین» را از OLS سلب می‌کند. بدون واریانس همسان، برآوردگر دیگر دارای کمترین واریانس ممکن نیست [۴]. برآوردها گسترده‌تر و با دقت کمتری همراه می‌شوند و خطاهای استانداردی که توسط مدل محاسبه می‌شوند از نظر ریاضی نامعتبر می‌گردند. این امر قابلیت اطمینان مقادیر پی (p-values) و فواصل اطمینان را از بین می‌برد و آزمون دقیق فرضیه‌ها را غیرممکن می‌سازد، حتی اگر ضریب اصلی نااریب باشد.[4]

ریشه‌های این قضیه به کارل فریدریش گائوس در سال ۱۸۲۱ و آندری مارکف در سال ۱۹۰۰ برمی‌گردد. گائوس در ابتدا بهینگی روش حداقل مربعات را تحت فرض خطاهای دارای توزیع نرمال اثبات کرد. مارکف بعداً این اثبات را تعمیم داد و نشان داد که نیازی به نرمال بودن نیست؛ بلکه تنها گشتاورهای خاصی از توزیع خطا که در پنج فرض بیان شده‌اند، کفایت می‌کنند [۳]. بر اساس مدخل ولفرام مث‌ورلد، این قضیه بیان می‌کند که «در یک مدل رگرسیون خطی که در آن خطاها دارای امید ریاضی صفر هستند، همبستگی ندارند و واریانس‌های برابری دارند، بهترین برآوردگر خطی نااریب ضرایب توسط برآوردگر حداقل مربعات معمولی به دست می‌آید» [۱].[1][3]

در علم داده مدرن، قضیه گائوس-مارکف کمتر به‌عنوان یک تضمین و بیشتر به‌عنوان یک خط پایه تشخیصی عمل می‌کند. وقتی فرض‌ها با شکست مواجه می‌شوند، تحلیلگران OLS را رها نمی‌کنند؛ بلکه اصلاحاتی را اعمال می‌کنند. خطاهای استاندارد استوار برای رفع تورم واریانس ناشی از ناهمسانی واریانس به کار گرفته می‌شوند، در حالی که متغیرهای ابزاری برای بازگرداندن فرض میانگین شرطی صفر به مسیر درست استفاده می‌شوند [۵]. این قضیه یک خلأ کامل را تعریف می‌کند و به آماردانان اجازه می‌دهد تا اصطکاک دنیای واقعی را اندازه‌گیری کنند.[5][6]