موازنه سوگیری-واریانس: چگونه پیچیدگی مدل، خطای پیش‌بینی را تعیین می‌کند

هنگامی که یک سیستم هوش مصنوعی داده‌های آموزشی خود را به طور کامل حفظ می‌کند، اغلب در دنیای واقعی به طرز چشمگیری شکست می‌خورد. این قطعیت ریاضیاتی بر هر الگوریتمی که امروزه به کار گرفته می‌شود حاکم است و تعیین می‌کند که چرا یک مدل تشخیص تقلب که ۱۰۰ درصد کلاهبرداری‌های تاریخی را شناسایی می‌کند، ممکن است ناگهان ناهنجاری‌های آشکار را در محیط عملیاتی واقعی تأیید کند. قبل از پرداختن به ادعاهای بازاریابی استدلال خودکار یا هوش عمومی مصنوعی، باید محدودیت‌های مکانیکی نحوه یادگیری واقعی این سیستم‌ها را درک کرد.[1][8]

مدل‌های یادگیری ماشین استدلال نمی‌کنند؛ آنها با موازنه دو منبع متضاد خطای آماری، توابع هدف را تقریب می‌زنند. متن بنیادی گروه پردازش زبان طبیعی استنفورد در این زمینه اشاره می‌کند که «موازنه سوگیری-واریانس، مسئله اصلی در یادگیری تحت نظارت است». هر بار که یک دانشمند داده معماری مدل را تنظیم می‌کند، مستقیماً این موازنه را دستکاری می‌کند.[2]

اولین جزء این معادله، سوگیری (Bias) است. در یادگیری آماری، سوگیری به تعصب الگوریتمی یا نابرابری اجتماعی اشاره ندارد. بلکه، طبق مستندات فنی سال ۲۰۲۵ IBM، «سوگیری، فرضیات ساده‌کننده‌ای است که مدل برای آسان‌تر کردن تقریب تابع هدف، اتخاذ می‌کند». مدلی با سوگیری بالا توجه بسیار کمی به داده‌های آموزشی دارد و یک قانون سخت و بیش از حد ساده را برای یک واقعیت پیچیده اعمال می‌کند.[1]

مثال کلاسیک سوگیری بالا، تلاش برای برازش یک خط مستقیم بر روی نقاط داده‌ای است که یک منحنی را تشکیل می‌دهند. مدل به طور مداوم خطا خواهد کرد زیرا فرض بنیادی آن—که رابطه خطی است—نادرست است. این وضعیت به عنوان کم‌برازش (Underfitting) شناخته می‌شود، جایی که الگوریتم هم بر روی داده‌هایی که دیده و هم بر روی داده‌هایی که ندیده است، عملکرد ضعیفی دارد.[5]

در نقطه مقابل، واریانس (Variance) قرار دارد. واریانس اندازه‌گیری می‌کند که اگر مدل بر روی مجموعه داده متفاوتی آموزش داده می‌شد، پیش‌بینی‌های آن چقدر تغییر می‌کرد. مدلی با واریانس بالا توجه زیادی به داده‌های آموزشی می‌کند و نه تنها سیگنال اصلی، بلکه نویز تصادفی و ناهنجاری‌های خاص آن مجموعه داده دقیق را نیز ثبت می‌کند.[6]

واریانس بالا منجر به وضعیتی به نام بیش‌برازش (Overfitting) می‌شود. الگوریتم اساساً مثال‌های آموزشی را حفظ می‌کند و خطای تقریباً صفر در آزمایشگاه به دست می‌آورد. با این حال، هنگامی که در محیط عملیاتی به کار گرفته می‌شود و در معرض داده‌های جدید و دیده نشده قرار می‌گیرد، عملکرد آن سقوط می‌کند زیرا فاقد انعطاف‌پذیری لازم برای تعمیم فراتر از پارامترهای آموزشی دقیق خود است.[7]

برای دهه‌ها پس از رسمی شدن این مفهوم توسط استوارت گمان و همکارانش در سال ۱۹۹۲، رابطه بین این دو نیرو به عنوان یک بازی سخت و با حاصل جمع صفر درک می‌شد. با افزایش پیچیدگی مدل—افزودن پارامترهای بیشتر، درختان تصمیم عمیق‌تر، یا لایه‌های اضافی—سوگیری کاهش می‌یابد در حالی که واریانس افزایش می‌یابد.[2][8]

این پویایی، منحنی ریسک کلاسیک U شکل را ایجاد می‌کند. اگر خطای پیش‌بینی را در برابر پیچیدگی مدل ترسیم کنید، خطای کل در ابتدا کاهش می‌یابد زیرا مدل ظرفیت کافی برای یادگیری سیگنال را به دست می‌آورد و در نتیجه سوگیری را کاهش می‌دهد. اما در نهایت، منحنی به یک نقطه عطف می‌رسد. با ادامه افزایش پیچیدگی، مدل شروع به برازش نویز می‌کند، واریانس افزایش می‌یابد و خطای کل دوباره بالا می‌رود.[5]

پیدا کردن پایین‌ترین نقطه در آن منحنی U شکل—نقطه بهینه که در آن جریمه ترکیبی سوگیری و واریانس به حداقل می‌رسد—برای یک نسل، دغدغه اصلی دانشمندان داده بوده است. تکنیک‌هایی مانند اعتبارسنجی متقابل (cross-validation)، تنظیم‌کنندگی (regularization) و روش‌های ترکیبی (ensemble methods) همگی به طور خاص برای یافتن و حفظ این حد وسط بهینه توسعه یافته‌اند.[4]

اما یادگیری عمیق مدرن این درک کلاسیک را به شدت پیچیده کرده است. هنگامی که شرکت‌های فناوری مدل‌های زبان عظیمی را با صدها میلیارد پارامتر معرفی می‌کنند، نظریه آماری کلاسیک نشان می‌دهد که این مدل‌ها باید به طور فاجعه‌باری دچار بیش‌برازش شوند. واریانس آنها باید آنقدر بالا باشد که برای وظایف عمومی بی‌فایده باشند.[3][8]

با این حال، آنها کار می‌کنند. در سال ۲۰۱۸، محققان یک مقاله بنیادی را در آرکایو (arXiv) با عنوان «نگاهی مدرن به موازنه سوگیری-واریانس در شبکه‌های عصبی» منتشر کردند که پدیده‌ای را مستند می‌کرد که مستقیماً منحنی U شکل را به چالش می‌کشید. آنها مشاهده کردند که با بیش‌پارامتری شدن گسترده شبکه‌های عصبی، قوانین این موازنه اساساً تغییر می‌کند.[3]

محققان یک منحنی ریسک نزول مضاعف (Double Descent) را شناسایی کردند. در ابتدا، با افزایش ظرفیت مدل، خطا منحنی سنتی U شکل را دنبال می‌کند، کاهش می‌یابد و سپس با شروع بیش‌برازش، دوباره افزایش می‌یابد. اوج این خطا در آستانه درون‌یابی (Interpolation Threshold) رخ می‌دهد—نقطه دقیقی که در آن مدل به اندازه کافی ظرفیت دارد تا داده‌های آموزشی را کاملاً حفظ کند و خطای آموزشی صفر را به دست آورد.[3]

آنچه فراتر از آن آستانه اتفاق می‌افتد، همان چیزی است که صنعت هوش مصنوعی مدرن را تقویت می‌کند. اگر به افزودن پارامترها ادامه دهید و پیچیدگی مدل را بسیار فراتر از اندازه مجموعه داده آموزشی ببرید، خطای آزمون دوباره شروع به کاهش می‌کند. مدل وارد «رژیم بیش‌پارامتری» می‌شود، جایی که توابع هموارتر و تعمیم‌یافته‌تری را کشف می‌کند که داده‌ها را بدون نوسانات نامنظم واریانس بالا برازش می‌دهند.[3]

این کشف توضیح می‌دهد که چرا شرکت‌ها میلیاردها دلار برای خوشه‌های محاسباتی هزینه می‌کنند تا مدل‌هایی با ابعاد بزرگ‌تر آموزش دهند. آنها فقط دقت را با زور محاسباتی به دست نمی‌آورند؛ آنها عمداً معماری‌های خود را فراتر از آستانه درون‌یابی به سمت «نزول دوم» سوق می‌دهند، جایی که پیچیدگی عظیم به طور متناقضی تعمیم بهتری را به همراه دارد.[8]

با این حال، این قابلیت مدرن اغلب توسط بازاریابی انسان‌انگارانه پنهان می‌شود. فروشندگان، نتیجه پدیده نزول مضاعف را به عنوان یک درک یا قابلیت استدلال نوظهور می‌فروشند. در واقعیت، این یک ویژگی ریاضیاتی از تقریب‌کننده‌های تابع بسیار بیش‌پارامتری است که در یک رژیم آماری خاص عمل می‌کنند.[8]

موازنه سوگیری-واریانس حل یا حذف نشده است، اما هندسه آن گسترش یافته است. برای وظایف استاندارد سازمانی که از داده‌های جدولی استفاده می‌کنند—پیش‌بینی ریزش مشتری یا سطوح موجودی—منحنی کلاسیک U شکل همچنان قانون مطلق است و مدل‌های ساده‌تر همچنان برنده می‌شوند. اما برای داده‌های بدون ساختار مانند متن و تصاویر، قوانین خطای پیش‌بینی به طور دائمی بازنویسی شده‌اند.[4][8]