سازوکار عملکرد مدل: مقایسه ضریب تعیین (R-Squared)، میانگین مجذور خطا (RMSE) و اعتبارسنجی متقابل

شایع‌ترین اشتباه در علم داده، باور کردن کارنامه خود مدل است. وقتی یک الگوریتم پیش‌بینی نرخ دقت ۹۹٪ را اعلام می‌کند، فرض اولیه این است که واقعیت زیربنایی را به طور کامل ترسیم کرده است. اما در عمل، مدلی که در داده‌هایی که با آن‌ها ساخته شده است بی‌نقص عمل می‌کند، اغلب به جای یادگیری نحوه پیش‌بینی آینده، در حال حفظ کردن گذشته است. این پدیده که به عنوان بیش‌برازش (Overfitting) شناخته می‌شود، دلیلی است که چرا مدل‌هایی که در آزمایشگاه عالی به نظر می‌رسند، هنگام استقرار در دنیای واقعی اغلب شکست می‌خورند.[2][7]

برای درک اینکه آمارگران و مهندسان یادگیری ماشین چگونه ارزش یک مدل را اندازه‌گیری می‌کنند، باید فراتر از خلاصه‌های تک‌عددی نگاه کنیم. ارزیابی مدل‌های پیش‌بینانه متکی بر یک سه‌گانه از بررسی‌های مکانیکی متمایز است: اندازه‌گیری نسبت واریانس توضیح داده شده، محاسبه بزرگی مطلق خطاها، و شبیه‌سازی جهل آینده از طریق تقسیم داده‌ها.[3][7]

اولین و مشهورترین این معیارها، ضریب تعیین یا R-squared است. R-squared به یک سؤال خاص پاسخ می‌دهد: چه مقدار از پراکندگی (واریانس) در متغیر هدف توسط ورودی‌های مدل توضیح داده می‌شود؟ اگر یک مدل پیش‌بینی قیمت مسکن دارای R-squared معادل ۰.۸۰ باشد، به این معنی است که ۸۰٪ از تفاوت‌های قیمت توسط متغیرهایی که مدل از آن‌ها آگاه است، مانند متراژ و موقعیت مکانی، توجیه شده است.[1][3]

تحقیقات تطبیقی اخیر نشان می‌دهد که R-squared به دلیل ارائه یک مقیاس نرمال‌شده—که همیشه بین ۰ و ۱ (یا ۰٪ و ۱۰۰٪) قرار می‌گیرد—به طور منحصر به فردی آموزنده باقی می‌ماند و آن را در انواع مختلف مجموعه‌داده‌ها قابل تفسیر می‌سازد. برخلاف سایر معیارها، این معیار فوراً به شما می‌گوید که آیا مدل شما بهتر از این است که صرفاً هر بار میانگین مقدار را حدس بزنید یا خیر.[1]

با این حال، R-squared در صورت استفاده انفرادی، یک نقص اساسی دارد: به شما نمی‌گوید که پیش‌بینی‌های شما در واقعیت چقدر با مقادیر واقعی فاصله دارند. یک مدل می‌تواند R-squared بالایی داشته باشد اما همچنان به طور سیستماتیک با حاشیه بزرگی اشتباه کند، یا می‌تواند R-squared پایینی داشته باشد اما پیش‌بینی‌هایی انجام دهد که برای استفاده عملی به اندازه کافی نزدیک باشند. علاوه بر این، افزودن متغیرهای بیشتر به یک مدل همیشه به طور مصنوعی R-squared را افزایش می‌دهد، حتی اگر آن متغیرها نویز تصادفی باشند.[3][7]

اینجاست که میانگین مجذور خطای ریشه (RMSE) وارد معادله می‌شود. اگر R-squared معیاری برای همبستگی و واریانس توضیح داده شده باشد، RMSE معیاری برای فاصله مطلق است. این معیار میانگین فاصله بین پیش‌بینی‌های مدل و مقادیر مشاهده شده واقعی را محاسبه می‌کند، که با همان واحدهای متغیر هدف اندازه‌گیری می‌شود.[1][3]

"مجذور" (Square) در میانگین مجذور خطای ریشه یک انتخاب ریاضی عمدی است. با مجذور کردن خطاها قبل از میانگین‌گیری، RMSE خطاهای بزرگ را به شدت جریمه می‌کند. اگر یک مدل پیش‌بینی تقاضای موجودی کالا ده بار به اندازه یک واحد خطا کند، و مدل دیگری یک بار به اندازه ده واحد خطا کند، RMSE مدل دوم را بسیار بدتر ارزیابی خواهد کرد. در زمینه‌هایی مانند تشخیص‌های پزشکی یا پیش‌بینی مالی، یک خطای بزرگ واحد اغلب بسیار فاجعه‌بارتر از مجموعه‌ای از عدم دقت‌های جزئی است.[2][3]

با این حال، حتی یک مدل با R-squared بالا و RMSE پایین نیز برای دنیای واقعی آماده نیست، اگر این معیارها با استفاده از داده‌های آموزشی محاسبه شده باشند. مدلی که پاسخ‌ها را قبل از آزمون دیده باشد، همیشه به طور مصنوعی عملکرد خوبی خواهد داشت. برای کشف اینکه آیا یک مدل واقعاً الگوهای زیربنایی را آموخته است، دانشمندان داده از تکنیکی به نام اعتبارسنجی متقابل (Cross-validation) استفاده می‌کنند.[6][7]

اعتبارسنجی متقابل، نهایی‌ترین بررسی واقعیت است. به جای آموزش مدل بر روی کل مجموعه داده، داده‌ها به بخش‌های متعدد یا "تا" (folds) تقسیم می‌شوند. در رایج‌ترین رویکرد، اعتبارسنجی متقابل کا-تا (k-fold)، مدل بر روی زیرمجموعه‌ای از داده‌ها آموزش داده می‌شود و سپس بر روی بخش "نگه‌داشته‌شده" (holdout) که قبلاً هرگز ندیده است، آزمایش می‌شود.[4][6]

این فرآیند چندین بار تکرار می‌شود، به طوری که در هر دور، بخش متفاوتی به عنوان آزمون نگه‌داشته‌شده عمل می‌کند. با میانگین‌گیری عملکرد در تمام این آزمون‌های شبیه‌سازی شده دنیای واقعی، مهندسان تخمین بسیار صادقانه‌تری از نحوه عملکرد مدل بر روی داده‌های آینده و دیده نشده به دست می‌آورند. این روش به صراحت توانایی مدل در تعمیم دادن (Generalize) را آزمایش می‌کند، نه حفظ کردن.[4][5]

ضرورت این سه‌گانه—R-squared برای واریانس توضیح داده شده، RMSE برای بزرگی خطا، و اعتبارسنجی متقابل برای تعمیم‌پذیری—به طور فزاینده‌ای در دستورالعمل‌های بالینی و صنعتی مدون می‌شود. به عنوان مثال، ارزیابی مدل‌های یادگیری ماشین برای ارزش تشخیصی در مراقبت‌های بهداشتی اکنون به شدت نیازمند معیارهای اعتبارسنجی متقابل است تا از تشخیص اشتباه مطمئن بیماران توسط الگوریتم‌ها بر اساس همبستگی‌های کاذبی که در داده‌های آموزشی یافت شده‌اند، جلوگیری شود.[2][7]

در نهایت، هیچ معیار واحدی نمی‌تواند تمام واقعیت یک مدل پیش‌بینانه را به تصویر بکشد. R-squared به شما می‌گوید که آیا در مسیر درست هستید، RMSE به شما می‌گوید که چقدر ممکن است بد تصادف کنید، و اعتبارسنجی متقابل به شما می‌گوید که آیا وسیله نقلیه شما واقعاً می‌تواند در جاده‌ای که قبلاً ندیده است رانندگی کند. درک این سازوکارها تمرکز را از دنبال کردن یک امتیاز عالی به سمت ساختن یک سیستم قوی و قابل اعتماد تغییر می‌دهد.[7]