جریمه L2: چگونه کاهش وزن و دراپ‌اوت از بیش‌برازش شبکه‌های عصبی جلوگیری می‌کنند

در سال ۲۰۱۴، در آزمایشگاهی در دانشگاه تورنتو، پژوهشگرانی به نام‌های نیتیش سریواستاوا و جفری هینتون یک حالت شکست مداوم را در شبکه‌های عصبی عمیق مشاهده کردند: هرچه مدل‌ها بزرگ‌تر می‌شدند، صرفا داده‌های آموزشی را حفظ می‌کردند. ظرفیت این شبکه‌ها برای تقریب توابع پیچیده، از توانایی آن‌ها برای تعمیم به نمونه‌های جدید پیشی گرفته بود. این پژوهشگران در مجله تحقیقات یادگیری ماشین نوشتند: «شبکه‌های عصبی عمیق با تعداد زیادی پارامتر، سیستم‌های یادگیری ماشین بسیار قدرتمندی هستند. با این حال، بیش‌برازش یک مشکل جدی در چنین شبکه‌هایی است.»[2]

وقتی یک شبکه حاوی میلیون‌ها پارامتر باشد، می‌تواند هم‌سازگاری‌های پیچیده‌ای ایجاد کند که در آن نورون‌های خاصی اشتباهات دیگران را اصلاح می‌کنند. شبکه به‌جای یادگیری سیگنال اصلی، خود را با نویز مجموعه آموزشی تطبیق می‌دهد. یک واحد پنهان برای پردازش یک ویژگی، کاملا به حضور یک واحد همسایه خاص وابسته می‌شود و معماری شکننده‌ای ایجاد می‌کند که هنگام مواجهه با داده‌های جدید فرو می‌پاشد.[2]

برای شکستن این هم‌سازگاری‌ها، پژوهشگران تکنیک دراپ‌اوت (Dropout) را معرفی کردند. این مکانیزم یک متغیر برنولی را به هر نورون متصل می‌کند و به آن احتمال p می‌دهد تا در یک مرحله آموزشی خاص حفظ شود. نویسندگان توضیح دادند: «ایده اصلی این است که در حین آموزش، واحدها (به همراه اتصالاتشان) به‌طور تصادفی از شبکه عصبی حذف شوند.»[2]

در پیکربندی استاندارد، مقدار p برابر با ۰.۵ برای واحدهای پنهان تنظیم می‌شود، به این معنی که ۵۰ درصد از نورون‌های لایه به همراه اتصالات ورودی و خروجی‌شان به‌طور موقت حذف می‌شوند. واحدهای مرئی که ورودی خام را پردازش می‌کنند، معمولا از نرخ دراپ‌اوت ۲۰ درصد استفاده می‌کنند. این حذف تصادفی، شبکه را مجبور می‌کند تا بازنمایی‌های اضافی و پشتیبان را یاد بگیرد.[2]

از آنجا که هیچ نورون واحدی نمی‌تواند برای اصلاح اشتباهاتش به همسایگان خود تکیه کند، این الگوریتم از هم‌سازگاری‌های پیچیده‌ای که منجر به بیش‌برازش می‌شوند، جلوگیری می‌کند. در زمان تست، شبکه کامل پیاده‌سازی می‌شود، اما وزن‌ها به نسبت احتمال حفظ شدن کاهش می‌یابند تا ترکیبی از تعداد نمایی شبکه‌های کوچک‌شده را تقریب بزنند.[2]

در حالی که دراپ‌اوت معماری شبکه را به‌طور پویا تغییر می‌دهد، تکنیک دوم یعنی کاهش وزن (Weight Decay)، مستقیما روی تابع زیان عمل می‌کند تا رشد پارامترها را محدود کند. با آموزش شبکه‌های عصبی، آن‌ها اغلب وزن‌های بسیار بزرگی ایجاد می‌کنند تا خطا را در نمونه‌های آموزشی خاص و نویزدار به حداقل برسانند.[1]

کاهش وزن که اغلب به‌عنوان منظم‌سازی L2 پیاده‌سازی می‌شود، یک عبارت جریمه متناسب با مجموع مربعات وزن‌ها اضافه می‌کند. با جریمه کردن وزن‌های بزرگ، بهینه‌ساز پارامترها را به سمت صفر سوق می‌دهد، مگر اینکه کاهش قابل‌توجهی در زیان اولیه ایجاد کنند.[1]

این محدودیت ریاضی منجر به توابع هموارتری می‌شود که بهتر به داده‌های جدید تعمیم می‌یابند. بهینه‌ساز مجبور می‌شود یادگیری را در میان بسیاری از وزن‌های کوچک توزیع کند، به‌جای اینکه به چند اتصال عظیم وابسته باشد.[1][3]

در روش استاندارد گرادیان کاهشی تصادفی (SGD)، کاهش وزن و منظم‌سازی L2 از نظر ریاضی کاملا یکسان هستند. جریمه L2 قبل از اعمال به‌روزرسانی گرادیان، وزن را با یک ضریب ثابت کوچک می‌کند. سال‌ها، متخصصان یادگیری ماشین این دو عبارت را کاملا قابل تعویض می‌دانستند.[3][5]

با این حال، هنگام استفاده از بهینه‌سازهای تطبیقی مانند Adam که نرخ یادگیری هر پارامتر را بر اساس اندازه گرادیان‌های گذشته تنظیم می‌کنند، یک تفاوت اساسی پدیدار می‌شود. روش‌های تطبیقی میانگین متحرکی از گرادیان‌های گذشته را برای تسریع همگرایی حفظ می‌کنند که اساسا نحوه اعمال جریمه‌ها را تغییر می‌دهد.[5]

در مقاله‌ای در سال ۲۰۱۷، پژوهشگرانی به نام‌های ایلیا لوشچیلوف و فرانک هاتر نشان دادند که اعمال جریمه L2 در Adam، منظم‌سازی را بر اساس گرادیان تاریخی مقیاس‌بندی می‌کند. آن‌ها خاطرنشان کردند: «منظم‌سازی L2 و منظم‌سازی کاهش وزن برای گرادیان کاهشی تصادفی استاندارد معادل هستند، اما همان‌طور که نشان می‌دهیم، این موضوع در مورد الگوریتم‌های گرادیان تطبیقی صدق نمی‌کند.»[5]

از آنجا که Adam گرادیان‌ها را بر اساس اندازه‌های تاریخی‌شان مقیاس‌بندی می‌کند، جریمه L2 اضافه‌شده به تابع زیان، به‌طور ناخواسته برای وزن‌هایی با گرادیان‌های تاریخی بزرگ، کاهش می‌یابد. فعال‌ترین پارامترها که بیشترین احتمال بیش‌برازش را دارند، کمترین منظم‌سازی را دریافت می‌کنند.[5]

برای رفع این مشکل، آن‌ها AdamW را معرفی کردند که کاهش وزن را از به‌روزرسانی گرادیان تفکیک می‌کند. با جدا کردن جریمه از گرادیان تابع زیان، بهینه‌ساز تضمین می‌کند که عبارت منظم‌سازی توسط مکانیزم نرخ یادگیری تطبیقی رقیق نمی‌شود.[4][5]

در پیاده‌سازی PyTorch، الگوریتم استاندارد Adam وزن‌ها را با استفاده از فرمول weight = weight - lr * (grad + weight_decay * weight) به‌روز می‌کند. این کار، کاهش وزن را به گام گرادیان متصل کرده و نقصی را که لوشچیلوف و هاتر شناسایی کرده بودند، در خود جای می‌دهد.[4]

الگوریتم AdamW به‌طور کامل از مقیاس‌بندی گرادیان عبور کرده و جریمه را مستقیما اعمال می‌کند: weight = weight - lr * grad - lr * weight_decay * weight. مستندات PyTorch بیان می‌کند: «AdamW کاهش وزن را تفکیک کرده و آن را مانند SGD مستقیما روی وزن‌ها اعمال می‌کند.»[4]

این فریم‌ورک یک نرخ یادگیری معمول بین 1e-3 و 1e-4 با عبارت پایداری اپسیلون 1e-8 را برای AdamW توصیه می‌کند. این رویکرد تفکیک‌شده تضمین می‌کند که همه وزن‌ها بدون توجه به تاریخچه گرادیانشان، به‌طور مساوی منظم می‌شوند.[4]

در آزمایش‌های تجربی روی مجموعه داده‌های CIFAR-10 و ImageNet 32x32، الگوریتم AdamW به بهبود نسبی ۱۵ درصدی در خطای تست نسبت به Adam استاندارد دست یافت. این بهینه‌ساز تفکیک‌شده در بودجه‌های آموزشی از ۱۰۰ تا ۱۸۰۰ ایپاک، با عملکرد تعمیم SGD همراه با مومنتوم برابری کرد یا از آن فراتر رفت.[5]

امروزه، ترکیب دراپ‌اوت برای استحکام معماری و کاهش وزن تفکیک‌شده برای محدودیت پارامترها، خط پایه استاندارد منظم‌سازی را برای یادگیری عمیق مدرن تشکیل می‌دهد. مقادیر بهینه و دقیق ابرپارامترها همچنان یک حوزه فعال برای تنظیم است، اما ضرورت ریاضی این جریمه‌ها قطعی شده است. مرز بعدی شامل تطبیق این تکنیک‌ها برای مدل‌های ترکیب خبرگان با فعال‌سازی پراکنده است، جایی که تعریف یک وزن بزرگ به‌شدت به بافتار بستگی دارد.[6]