چگونه نرخ‌های یادگیری تطبیقی «آدام» گلوگاه همگرایی در یادگیری عمیق را برطرف می‌کنند

سنت‌گرایان و طرفداران سرسخت یادگیری عمیق مدت‌هاست استدلال می‌کنند که نزول گرادیان تصادفی (SGD) با تنظیم دستی تکانه، تنها راه برای رسیدن به تعمیم‌پذیری بهینه در شبکه‌های عصبی است؛ آن‌ها بهینه‌سازهای تطبیقی را صرفاً میان‌برهایی می‌دانند که سریع آموزش می‌بینند اما در یافتن بهترین راه‌حل‌ها ناکام می‌مانند.

با این حال، شواهد ریاضی و کالیبراسیون‌های اخیر بهینه‌ساز آدام (Adam) مستقیماً این سلسله‌مراتب را نقض می‌کنند. آدام و نسخه‌های مدرن آن با تنظیم پویای نرخ یادگیری برای تک‌تک پارامترها در طول آموزش، نه‌تنها فاز اولیه یادگیری را شتاب می‌بخشند، بلکه می‌توانند به دقت نهایی مدل‌های SGD که با وسواس و به‌صورت دستی تنظیم شده‌اند، برسند یا حتی از آن‌ها پیشی بگیرند.[1][2]

برای درک سازوکار این موضوع، باید بدانیم که مشکل اصلی در آموزش یک شبکه عصبی، پیمایش در یک چشم‌انداز زیانِ با ابعاد بالا برای یافتن کمترین خطای ممکن است. در نزول گرادیان استاندارد، یک نرخ یادگیری واحد و سراسری تعیین می‌کند که شبکه پس از پردازش هر دسته از داده‌ها چه گام بزرگی بردارد. اگر این گام بیش از حد بزرگ باشد، مدل از راه‌حل بهینه رد می‌شود؛ و اگر بیش از حد کوچک باشد، آموزش هفته‌ها طول می‌کشد و اغلب در دره‌های کم‌عمق متوقف می‌شود.[3]

الگوریتم آدام — که مخفف برآورد تطبیقی گشتاور است — دقیقاً برای حل همین گلوگاه معرفی شد. در مقاله بنیادین سال ۲۰۱۴، پژوهشگران دیدریک کینگما و جیمی با، ابداع خود را به‌عنوان «الگوریتمی برای بهینه‌سازی توابع هدف تصادفی مبتنی بر گرادیان مرتبه اول، بر اساس برآوردهای تطبیقی گشتاورهای مرتبه پایین» توصیف کردند. آدام به‌جای اینکه تمام وزن‌های شبکه را مجبور کند با یک سرعت ثابت به‌روزرسانی شوند، نرخ‌های یادگیری مجزایی را برای هر یک از میلیون‌ها یا میلیاردها پارامتر محاسبه می‌کند.[1]

این سازوکار بر دو نرخ واپاشی مجزا متکی است که در ریاضیات با نام‌های بتای ۱ و بتای ۲ شناخته می‌شوند. گشتاور اول، یعنی بتای ۱، مانند تکانه فیزیکی عمل می‌کند و با به خاطر سپردن گرادیان‌های قبلی، بهینه‌ساز را از روی دست‌اندازهای کوچک در چشم‌انداز زیان عبور می‌دهد. گشتاور دوم، یعنی بتای ۲، نرخ یادگیری را برای پارامترهایی که گرادیان‌های بزرگ و نامنظم را تجربه می‌کنند کاهش می‌دهد، در حالی که این نرخ را برای پارامترهایی که به‌ندرت به‌روزرسانی می‌شوند، تقویت می‌کند.[4]

همین سیستم حافظه دوگانه است که به آدام اجازه می‌دهد تا این‌قدر سریع همگرا شود. پارامتری که با یک ویژگی نادر در مجموعه داده مرتبط است، زمانی که در نهایت ظاهر می‌شود، به‌روزرسانی‌های بزرگ‌تری دریافت می‌کند؛ این امر تضمین می‌کند که شبکه نقاط داده‌ایِ کم‌تکرار اما حیاتی را نادیده نمی‌گیرد. در مقابل، پارامترهای مرتبط با ویژگی‌های رایج تعدیل می‌شوند تا از نوسانات شدید آن‌ها و بی‌ثبات شدن کل مدل جلوگیری شود.[3]

با وجود پذیرش گسترده آدام به‌عنوان بهینه‌ساز پیش‌فرض در کتابخانه‌هایی مانند PyTorch و TensorFlow، این الگوریتم همواره با انتقاداتی در مورد همگرایی در مراحل پایانی مواجه بوده است. نسخه‌های اولیه این الگوریتم گاهی اوقات نمی‌توانستند به کمینه مطلق همگرا شوند، زیرا نرخ یادگیری تطبیقی با شدت زیادی کوچک می‌شد و عملاً آموزش را پیش از آنکه یادگیری مدل به پایان برسد، متوقف می‌کرد.[2]

پژوهش‌های اخیر به‌طور سیستماتیک این محدودیت را برطرف کرده‌اند. نسخه‌های کالیبره‌شده آدام اکنون کران‌های پویایی را بر روی اندازه گام‌ها اعمال می‌کنند و از کاهش زودهنگام نرخ یادگیری به صفر جلوگیری می‌نمایند. علاوه بر این، نوآوری‌های بخش هوش مصنوعی متا، مانند چارچوب D-Adaptation در سال ۲۰۲۳، روش‌های بدون نیاز به نرخ یادگیری را معرفی کرده‌اند که به‌طور خودکار اندازه گام اولیه بهینه را تخمین می‌زنند و نیاز به تنظیم دستی ابرپارامترها را کاملاً از بین می‌برند.[2][5]

پیامدهای این موضوع برای صنعت هوش مصنوعی بسیار عمیق است. آموزش مدل‌های زبانی بزرگ نیازمند هزاران پردازنده گرافیکی است که ماه‌ها کار کنند و میلیون‌ها دلار هزینه پردازشی به همراه داشته باشند. بهینه‌سازهای تطبیقی با تسریع همگرایی تا ۲۰ درصد و حذف نیاز به اجراهای مکرر آزمون و خطا برای یافتن نرخ یادگیری اولیه بی‌نقصِ ۰٫۰۰۱، موانع مالی و محاسباتی برای توسعه سیستم‌های پیشگام هوش مصنوعی را به‌شدت کاهش می‌دهند. با رسیدن مقیاس مدل‌ها به تریلیون‌ها پارامتر، کارایی بهینه‌ساز دیگر صرفاً یک سهولت ریاضیاتی نیست، بلکه موتور بنیادین پیشرفت است.[5][6]