چگونه نابرابری کرامر-رائو کف مطلق واریانس آماری را تعیین می‌کند

در سال ۱۹۴۵، هارالد کرامر، ریاضیدان سوئدی، قضیه‌ای را منتشر کرد که یک محدودیت ریاضی سخت بر دانش بشر اعمال می‌کرد. او با کار بر روی مدل‌های آماری، ثابت کرد که صرف نظر از اینکه یک الگوریتم چقدر هوشمند یا یک مجموعه داده چقدر تمیز باشد، واریانس یک برآورد نااریب هرگز نمی‌تواند از یک آستانه مشخص و قابل محاسبه پایین‌تر بیاید.[3][4]

این آستانه به عنوان کران پایین کرامر-رائو (CRLB) شناخته می‌شود، که به طور مشترک به نام کرامر و آمارشناس هندی، سی.آر. رائو، که به طور مستقل همان نابرابری را در همان سال کشف کرد، نامگذاری شده است. این کران حداقل مطلق واریانسی را تعریف می‌کند که هر برآوردگر نااریب می‌تواند هنگام تلاش برای مشخص کردن یک حقیقت پنهان از یک نمونه داده، به آن دست یابد.[3]

برای درک اینکه چرا این موضوع اهمیت دارد، مسئله اصلی تحلیل داده را در نظر بگیرید: برآورد یک پارامتر از یک نمونه محدود. چه یک سیستم راداری در حال ردیابی موقعیت یک هواپیما باشد و چه یک کارآزمایی بالینی در حال اندازه‌گیری اثربخشی یک دارو، هدف شناسایی یک عدد خاص با محدودترین بازه اطمینان ممکن است.[5]

مستندات دپارتمان فیزیک دانشگاه نیویورک در مورد برآورد پارامتر اشاره می‌کند: «کران کرامر-رائو یک معیار برای ما فراهم می‌کند. اگر برآوردگری پیدا کنیم که واریانس آن برابر با کران کرامر-رائو باشد، می‌دانیم که هیچ برآوردگر نااریب دیگری نمی‌تواند بهتر عمل کند.»[4]

این کران با استفاده از «اطلاعات فیشر» محاسبه می‌شود، که معیاری است برای سنجش میزان اطلاعاتی که یک متغیر تصادفی قابل مشاهده درباره یک پارامتر ناشناخته حمل می‌کند. CRLB بیان می‌کند که واریانس هر برآوردگر نااریب، قویاً بزرگتر یا مساوی معکوس آن اطلاعات فیشر است.[3][6]

اگر یک برآوردگر واقعاً به این کف برسد، به عنوان «کارآمد» طبقه‌بندی می‌شود. اما یافتن یک برآوردگر کاملاً کارآمد برای یک مجموعه داده کوچک و محدود، اغلب از نظر ریاضی غیرممکن است. اینجاست که برآوردگر حداکثر درستنمایی (MLE) وارد صحنه می‌شود.[2][3]

MLE که اولین بار توسط آمارشناس بریتانیایی، آر.ای. فیشر، در دهه ۱۹۲۰ رسمی شد، روشی است که پارامترها را با یافتن مقادیر خاصی تخمین می‌زند که درستنمایی مشاهده داده‌های واقعی جمع‌آوری شده را به حداکثر می‌رساند. این روش می‌پرسد: کدام پارامتر این مجموعه داده دقیق را محتمل‌ترین نتیجه می‌سازد؟[2]

قدرت واقعی MLE در رفتار مجانبی آن نهفته است. همانطور که گرگوری گاندرسن، محقق یادگیری ماشینی، در تحلیل خود در سال ۲۰۱۹ توضیح می‌دهد، MLEها دارای خاصیتی به نام نرمال بودن مجانبی هستند. گاندرسن می‌نویسد: «با افزایش اندازه نمونه، توزیع MLE به سمت یک توزیع گوسی (نرمال) میل می‌کند.»[2]

مهم‌تر از آن، با نزدیک شدن اندازه نمونه به بی‌نهایت، واریانس این توزیع گوسی دقیقاً تا کران پایین کرامر-رائو کاهش می‌یابد. برآوردگر کاملاً کارآمد می‌شود.[2][6]

این خاصیت—کارایی مجانبی—دلیلی است که MLE موتور پیش‌فرض زیربنای یادگیری ماشینی مدرن و پردازش سیگنال است. این تضمین را می‌دهد که اگر داده کافی به مدل بدهید، در نهایت هر قطره اطلاعات مفید را استخراج خواهد کرد و به کمترین نرخ خطای ممکن که قوانین احتمال اجازه می‌دهند، دست خواهد یافت.[1][5]

با این حال، بسته شواهد یک محدودیت حیاتی را در تنظیمات کاربردی نشان می‌دهد. CRLB فقط برای برآوردگرهای نااریب اعمال می‌شود—آنهایی که، به طور متوسط در نمونه‌های متعدد، دقیقاً به پارامتر واقعی می‌رسند.[3][6]

در بسیاری از سناریوهای دنیای واقعی، وارد کردن مقدار کمی اریب می‌تواند در واقع واریانس کلی را به زیر CRLB کاهش دهد. این اساس ریاضی تکنیک‌های تنظیم‌کنندگی (رگولاریزاسیون) مدرن مانند رگرسیون ریج و لاسو است که عمداً مدل را اریب می‌کنند تا به پیش‌بینی‌های محدودتر و قابل اعتمادتر در داده‌های جدید و دیده نشده دست یابند.[6]

علاوه بر این، تضمین مجانبی MLE قویاً مستلزم اندازه‌های نمونه بزرگ است. در سال ۱۹۵۳، لوسین لو کام، آمارشناس، مقاله‌ای بنیادی را در مجموعه مقالات سمپوزیوم برکلی در آمار ریاضی و احتمال منتشر کرد که به طور دقیق این ویژگی‌های مجانبی و محدودیت‌های آن‌ها را بررسی می‌کرد.[1]

لو کام نشان داد که در حالی که MLEها به صورت مجانبی کارآمد هستند، رفتار آنها در نمونه‌های کوچک و محدود می‌تواند بسیار نامنظم باشد. نظریه کلاسیک برآورد حداکثر درستنمایی اساساً یک نظریه مجانبی است، به این معنی که تضمین‌های آن زمانی که داده‌ها کمیاب هستند، از بین می‌روند.[1]

در یک نمونه محدود شامل ۲۰ یا ۳۰ مشاهده، یک MLE ممکن است نه تنها در رسیدن به CRLB شکست بخورد، بلکه ممکن است به شدت اریب نیز باشد. به عنوان مثال، MLE استاندارد برای واریانس یک توزیع نرمال، واریانس واقعی را به طور سیستماتیک دست‌کم می‌گیرد، مگر اینکه با ضریب بسل تصحیح شود، که به جای n بر n-۱ تقسیم می‌کند.[3][6]

برای مهندسانی که سیستم‌های فیزیکی می‌سازند، CRLB به عنوان یک ابزار تشخیصی ضروری عمل می‌کند. همانطور که GaussianWaves، یک پلتفرم آموزشی پردازش سیگنال، در سال ۲۰۱۲ منتشر کرد: «CRLB برای معیار قرار دادن عملکرد یک برآوردگر استفاده می‌شود.»[5]

اگر مهندسی یک الگوریتم جدید طراحی کند و واریانس آن بسیار بالاتر از CRLB باشد، می‌داند که هنوز جای زیادی برای بهینه‌سازی ریاضی وجود دارد. اگر دقیقاً روی کران قرار گیرد، می‌داند که باید تلاش برای بهبود نرم‌افزار را متوقف کند و در عوض بر ارتقای سخت‌افزار برای جمع‌آوری داده‌های بهتر تمرکز نماید.[5][6]

تعامل بین نابرابری کرامر-رائو و برآورد حداکثر درستنمایی، سنگ بنای استنتاج آماری مدرن را تشکیل می‌دهد. این تعامل هم حد نظری آنچه را که می‌توان دانست فراهم می‌کند و هم ابزار عملی مورد نیاز برای رسیدن به آن حد را، به شرطی که جریان داده به اندازه کافی طولانی باشد.[4][6]