موازنه سوگیری-واریانس: چرا مدل‌های ساده دچار کم‌برازش و مدل‌های پیچیده دچار بیش‌برازش می‌شوند

در فیزیک کلاسیک، افزایش دقت یک ابزار اندازه‌گیری معمولاً تا رسیدن به محدودیت‌های فیزیکی، نتیجه دقیق‌تری به همراه دارد. اما در مدل‌سازی آماری، افزایش پیچیدگی یک مدل برای برازش کامل با یک مجموعه داده، اغلب توانایی آن را برای انجام پیش‌بینی‌های دقیق در دنیای واقعی از بین می‌برد. این جریمه دور از انتظار به عنوان موازنه سوگیری-واریانس شناخته می‌شود؛ یک اصل بنیادین که توضیح می‌دهد چرا الگوریتم‌های ساده دچار کم‌برازش و الگوریتم‌های پیچیده دچار بیش‌برازش می‌شوند. اما در شرایطی که صنعت هوش مصنوعی در حال مقیاس‌دهی شبکه‌های عصبی به صدها میلیارد پارامتر است، پژوهشگران درمی‌یابند که این قانون تثبیت‌شده ریاضی دقیقاً در همان نقطه‌ای که یادگیری عمیق مدرن آغاز می‌شود، در هم می‌شکند.[1][6]

این موازنه بر خطای کل مورد انتظار در هر مدل پیش‌بینی‌کننده حاکم است و آن را به سه جزء ریاضی مجزا تقسیم می‌کند: سوگیری، واریانس و خطای تقلیل‌ناپذیر. خطای تقلیل‌ناپذیر نشان‌دهنده نویز ذاتی در خود مجموعه داده است؛ یعنی نوسانات تصادفی که هیچ الگوریتمی قادر به پیش‌بینی آن‌ها نیست. دو جزء باقی‌مانده، یعنی سوگیری و واریانس، کاملاً به معماری مدلی بستگی دارند که توسط تیم مهندسی انتخاب شده است.[2][3]

سوگیری (Bias) خطایی است که از تقریب زدن یک مسئله دنیای واقعی - که ممکن است بسیار پیچیده باشد - با یک مدل بسیار ساده‌تر ناشی می‌شود. اعمال یک الگوریتم رگرسیون خطی بر روی یک مجموعه داده غیرخطی، مانند پیش‌بینی قیمت مسکن صرفاً بر اساس متراژ، سوگیری بالایی را نشان می‌دهد. این مدل مفروضات قوی و ساده‌انگارانه‌ای درباره داده‌ها در نظر می‌گیرد که نتیجه آن مدلی است که پیوسته الگوهای پنهان را نادیده می‌گیرد. در اصطلاحات علم داده، می‌گوییم یک مدل با سوگیری بالا در حال «کم‌برازش» (Underfitting) داده‌های آموزشی است.[3][4]

در مقابل، واریانس (Variance) اندازه‌گیری می‌کند که اگر مدل روی مجموعه داده متفاوتی آموزش ببیند، پیش‌بینی‌های آن چقدر تغییر خواهد کرد. یک مدل بسیار پیچیده، مانند یک چندجمله‌ای درجه ۱۵ یا یک درخت تصمیم هرس‌نشده، خود را خم و راست می‌کند تا تک‌تک نقاط داده در مجموعه آموزشی خود را در بر بگیرد. اگرچه این کار خطای آموزشی را به صفر می‌رساند، اما مدل را نسبت به نویز به شدت حساس می‌کند. وقتی چنین مدلی در معرض داده‌های جدید و دیده نشده قرار می‌گیرد، پیش‌بینی‌های آن به شدت نوسان می‌کند. این دقیقاً تعریف «بیش‌برازش» (Overfitting) است.[4][6]

در طول تاریخ یادگیری آماری، رابطه میان این دو نیرو به عنوان یک منحنی U شکل دقیق در نظر گرفته می‌شد. وقتی یک دانشمند داده پیچیدگی مدل را افزایش می‌دهد، سوگیری کاهش می‌یابد زیرا مدل می‌تواند الگوهای پیچیده‌تری را درک کند. همزمان، با شروع حفظ کردن نویزهای تصادفی توسط مدل، واریانس افزایش می‌یابد. خطای کل آزمون تا یک نقطه حداقل (یعنی پیچیدگی بهینه مدل) کاهش می‌یابد و سپس با غلبه واریانس، به شدت بالا می‌رود.[3][6]

محاسبه این نقطه حداقلِ دقیق در یک محیط عملیاتی به طرز مشهوری دشوار است. از آنجا که تابع پنهان و واقعی داده‌ها ناشناخته است، سوگیری و واریانس دقیق را نمی‌توان به طور مستقیم محاسبه کرد. در عوض، متخصصان به تکنیک‌های تقریب‌زنی تکیه می‌کنند. در سال ۲۰۲۰، جیسون براونلی (Jason Brownlee)، مدرس یادگیری ماشین، نشان داد که چگونه توسعه‌دهندگان از کتابخانه‌های پایتون مانند mlxtend برای تخمین این مقادیر از طریق اعتبارسنجی متقابل k-fold استفاده می‌کنند؛ روشی که معمولاً داده‌ها را به ۱۰ زیرمجموعه تقسیم می‌کند تا واریانس را در نمونه‌های آموزشی مختلف شبیه‌سازی کند.[2]

از آنجا که منابع مرجع ارائه‌شده بیشتر شامل اثبات‌های ریاضی و آموزش‌های فنی هستند تا مصاحبه‌ها، حاوی نقل‌قول‌های مستقیم و شفاهی نیستند؛ با این حال، اجماع ریاضیاتی که آن‌ها مستند می‌کنند کاملاً واضح است. عبور از آستانه پیچیدگی بهینه، افزایش فاجعه‌باری را در خطای آزمون تضمین می‌کند. این اصل سال‌ها طراحی سیستم‌های یادگیری ماشین را دیکته می‌کرد و مهندسان را مجبور می‌ساخت تا درخت‌های تصمیم را به شدت هرس کنند و جریمه‌های منظم‌سازی (Regularization) را برای پایین نگه داشتن تعداد پارامترها اعمال نمایند.[4][6]

با این حال، صنعت مدرن هوش مصنوعی در تضاد مستقیم با این قانون کلاسیک عمل می‌کند. مدل‌های زبانی بزرگ و شبکه‌های عصبی پیچشی عمیق به شدت فوق‌پارامتری هستند و اغلب برای مجموعه داده‌هایی با تنها چند میلیون نمونه، میلیاردها وزن (Weight) دارند. بر اساس منحنی U شکل کلاسیک، این مدل‌ها باید واریانس بی‌نهایت از خود نشان دهند و پیش‌بینی‌هایی کاملاً بی‌فایده تولید کنند.[1]

در سال ۲۰۱۹، پژوهشگرانی که مقاله‌ای در نشریه آکادمی ملی علوم (PNAS) منتشر کردند، مکانیسمی را که به این مدل‌های عظیم اجازه عملکرد می‌دهد، فرموله کردند. آن‌ها پدیده‌ای به نام «نزول دوگانه» را شناسایی کردند. با افزایش پیچیدگی مدل، خطای آزمون از منحنی U شکل کلاسیک پیروی می‌کند و با رسیدن مدل به آستانه درون‌یابی (Interpolation Threshold) - دقیقاً نقطه‌ای که خطای آموزشی به صفر می‌رسد - به شدت افزایش می‌یابد.[1]

اما با ادامه مقیاس‌پذیری و عبور پیچیدگی از این آستانه به سمت ناحیه فوق‌پارامتری، خطای آزمون برای بار دوم کاهش می‌یابد. پژوهشگران نشان دادند که وقتی یک شبکه عصبی پارامترهایی بسیار بیشتر از حد نیاز دارد، تعداد بی‌نهایتی از راه‌حل‌های ریاضی را کشف می‌کند که کاملاً با داده‌های آموزشی برازش دارند. الگوریتم بهینه‌سازی، که معمولاً کاهش گرادیان تصادفی (SGD) است، به طور طبیعی به سمت هموارترین و تعمیم‌پذیرترین راه‌حل در میان آن‌ها گرایش پیدا می‌کند.[1]

این منظم‌سازی ضمنی به عنوان یک محافظ در برابر واریانس عمل می‌کند. این مطالعه دو پارادایم را با هم آشتی داد و نشان داد که موازنه کلاسیک سوگیری-واریانس یک قانون جهانی نیست، بلکه یک پدیده محلی است که عمدتاً در مورد مدل‌های کم‌پارامتر (Under-parameterized) صدق می‌کند. زمانی که یک مدل به اندازه کافی عظیم شود، قوانین یادگیری آماری وارونه می‌شوند.[1]

پیامدهای این موضوع برای تیم‌های علم داده سازمانی بسیار عمیق است. هنگام استقرار الگوریتم‌های سنتی مانند جنگل‌های تصادفی (Random Forests) یا ماشین‌های بردار پشتیبان (SVM) روی داده‌های جدولی، موازنه کلاسیک همچنان پویایی حاکم است. مهندسان باید با دقت فراوان ابرپارامترها (Hyperparameters) را برای ایجاد تعادل میان سوگیری و واریانس تنظیم کنند، زیرا این مدل‌ها ظرفیت رسیدن به نزول دوم را ندارند.[3][5]

برای کاربردهای یادگیری عمیق، استراتژی کاملاً تغییر می‌کند. هدف دیگر یافتن پایین‌ترین نقطه منحنی U شکل نیست، بلکه عبور دادن پیچیدگی مدل به مراتب فراتر از آستانه درون‌یابی است. با این حال، این امر نیازمند افزایش نمایی در قدرت پردازشی و حافظه است و شرکت‌ها را مجبور می‌کند تا ظرافت الگوریتمی را فدای مقیاس‌پذیری سخت‌افزاری و قدرت خام کنند.[1]

آستانه میان آمار کلاسیک و یادگیری ماشین مدرن دیگر تنها یک مرز نظری نیست. این یک نقطه قابل اندازه‌گیری روی منحنی ریسک است که دیکته می‌کند آیا یک تیم علم داده باید افزودن پارامترها را متوقف کند یا برای یافتن نزول دوم، از قله واریانس عبور کند.