بده‌بستان ریاضیاتی میان میانگین و میانه در بهینه‌سازی تابع زیان

هنگام خلاصه‌سازی یک مجموعه داده، «نما» (mode) با اعمال یک جریمه سخت‌گیرانه صفر و یک، پرتکرارترین مقدار را شناسایی می‌کند؛ این روش تنها به تطابق‌های دقیق پاداش می‌دهد و تمام انحراف‌ها را بدون توجه به فاصله‌شان، به طور یکسان مجازات می‌کند. در مقابل، میانگین و میانه هر دو با اندازه‌گیری فاصله هر نقطه داده از یک برآورد پیشنهادی، به دنبال یافتن مرکز توزیع هستند. تنها وجه تمایز آن‌ها در نحوه جریمه کردن این فاصله است.[3]

این تمایز صرفاً یک ویژگی توصیفی نیست؛ بلکه یک خاصیت بنیادین در بهینه‌سازی ریاضیاتی است. در مدل‌سازی آماری و یادگیری ماشین، یک برآوردگر برای کمینه کردن یک «تابع زیان» مشخص انتخاب می‌شود - فرمولی ریاضی که هزینه اشتباه کردن را کمّی می‌کند. انتخاب تابع زیان، شکل مدل نهایی را دیکته می‌کند.[4]

تابع زیان L2 که معمولاً با نام خطای میانگین مربعات (MSE) شناخته می‌شود، فاصله بین برآورد و هر نقطه داده را به توان ۲ می‌رساند. از آنجا که جریمه به صورت درجه دوم رشد می‌کند، خطایی به اندازه ۴ واحد، ۱۶ برابر شدیدتر از خطای ۱ واحدی مجازات می‌شود. برای یافتن برآورد بهینه‌ای که این مجموع جریمه‌های مجذور را به حداقل برساند، باید از تابع زیان مشتق گرفت و آن را برابر با صفر قرار داد.[1][3]

حساب دیفرانسیل یک نتیجه تمیز و ظریف را آشکار می‌کند: مشتق فاصله مجذور، یک معادله خطی به دست می‌دهد که در آن مقدار بهینه، به سادگی برابر با مجموع تمام نقاط داده تقسیم بر تعداد آن‌هاست. این دقیقاً همان تعریف میانگین حسابی است. بنابراین، میانگین، تنها کمینه‌کننده ریاضیاتی برای زیان L2 است.[4]

تابع زیان L1، یا خطای مطلق میانگین (MAE)، رویکردی کاملاً متفاوت در پیش می‌گیرد. این تابع فاصله مطلق بین برآورد و نقاط داده را بدون به توان رساندن آن اندازه‌گیری می‌کند. تحت L1، خطایی به اندازه ۴ واحد دقیقاً ۴ برابر شدیدتر از خطای ۱ واحدی مجازات می‌شود. در اینجا جریمه به جای رشد نمایی، به صورت خطی مقیاس‌بندی می‌شود.[2]

بهینه‌سازی تابع زیان L1 نیازمند یافتن نقطه‌ای است که در آن مجموع انحرافات مطلق کمینه شود. مشتق یک قدر مطلق، یک تابع پله‌ای است: برای نقاط بالاتر از برآورد مقدار ۱+ و برای نقاط پایین‌تر از آن مقدار ۱- را برمی‌گرداند. این سازوکار یک گرادیان ثابت ایجاد می‌کند که بزرگی خطا را نادیده گرفته و تنها جهت آن را ثبت می‌کند.[1]

برای برابر قرار دادن این مشتق با صفر و یافتن نقطه کمینه، تعداد ۱+ها باید دقیقاً با تعداد ۱-ها متوازن شود. به عبارت دیگر، برآورد بهینه باید دقیقاً به همان تعداد که نقطه داده در بالای خود دارد، در پایین خود نیز داشته باشد. این تعریف دقیق میانه است. میانه، تنها کمینه‌کننده برای زیان L1 است.[3][4]

این واقعیت ریاضیاتی دیکته می‌کند که الگوریتم‌ها در حضور داده‌های پرت چگونه رفتار کنند. از آنجا که میانگین خطاهای مجذور را کمینه می‌کند، یک داده پرت عظیم به تنهایی کششی گرانشی بر روی برآورد اعمال کرده و میانگین را به سمت خود می‌کشد تا از جریمه فاجعه‌بار درجه دوم جلوگیری کند. اما میانه که خطاهای مطلق را کمینه می‌کند، داده پرت را تنها به عنوان یک ۱+ ساده در معادله توازن خود ثبت کرده و بزرگی آن را به کلی نادیده می‌گیرد.[2]