موتور بهینه‌سازی میانی: ترانسفورمرها چگونه برای یادگیری درون‌بافتی، گرادیان کاهشی را شبیه‌سازی می‌کنند؟

یک مدل زبانی بزرگ و مدرن می‌تواند تنها با ۳ مثال در یک پرامپت، ترجمه یک زبان خیالی جدید یا قالب‌بندی کدهای پیچیده را بیاموزد؛ دستاوردی که در روش‌های سنتی نیازمند به‌روزرسانی ۷۰ میلیارد تا ۱ تریلیون پارامتر در طی ۱۰۰,۰۰۰ مرحله آموزشی است. این قابلیت که با عنوان یادگیری درون‌بافتی شناخته می‌شود، به یک مدل ثابت و فریز شده اجازه می‌دهد تا فوراً با وظایف جدید سازگار شود. سال‌ها بود که سازوکار پسِ این سازگاری به عنوان یک معمای نوظهور در نظر گرفته می‌شد؛ محصول جانبیِ افزایش مقیاس داده‌ها و توان پردازشی. اما کارهای نظری اخیر، یک موتور ریاضیاتی ملموس را که محرک این پدیده است، آشکار کرده‌اند: معماری ترانسفورمر در خفا در حال اجرای الگوریتم بهینه‌سازی درونی خود است.[7]

روش سنتی برای آموزش یک شبکه عصبی، استفاده از گرادیان کاهشی است. در این فرآیند استاندارد، یک الگوریتم بیرونی خطای مدل را روی یک مجموعه داده اندازه‌گیری کرده و وزن‌های دائمی آن را برای به حداقل رساندن این خطا به‌روزرسانی می‌کند. این کار نیازمند یک مسیر پس‌رو در شبکه است که از نظر محاسباتی پرهزینه بوده و مدل را برای همیشه تغییر می‌دهد. در مقابل، یادگیری درون‌بافتی کاملاً در مسیر پیش‌رو اتفاق می‌افتد. وزن‌های مدل قفل می‌مانند، اما خروجی‌های آن به گونه‌ای بهبود می‌یابند که گویی به طور صریح روی نمونه‌های پرامپت آموزش دیده است.[7]

پژوهشگران گوگل، ام‌آی‌تی و مایکروسافت به طور مستقل نشان داده‌اند که این دو فرآیند از نظر ریاضیاتی به هم مرتبط هستند. بر اساس یک مقاله بنیادین در دسامبر ۲۰۲۲ توسط یوهانس فون اسوالد و همکارانش در موسسه فناوری فدرال زوریخ و گوگل ریسرچ، لایه خودتوجهی یک ترانسفورمر می‌تواند به گونه‌ای ساخته شود که دقیقاً یک گام از گرادیان کاهشی را شبیه‌سازی کند. هدهای توجه به جای به‌روزرسانی وزن‌های واقعی مدل، یک «مدل ضمنی» را که به طور موقت در فعال‌سازی‌های شبکه ذخیره شده است، به‌روزرسانی می‌کنند.[1]

این پدیده با عنوان بهینه‌سازی میانی شناخته می‌شود؛ سناریویی که در آن سیستمی که توسط یک بهینه‌ساز بیرونی آموزش دیده است، یاد می‌گیرد که خودش به یک بهینه‌ساز تبدیل شود. همان‌طور که نویسنده ارشد، یوهانس فون اسوالد، پژوهشگر موسسه فناوری فدرال زوریخ، در مطالعه بنیادین ۲۰۲۲ نوشت: «ترانسفورمرهای آموزش‌دیده به بهینه‌سازهای میانی تبدیل می‌شوند، یعنی مدل‌ها را با استفاده از گرادیان کاهشی در مسیر پیش‌روی خود یاد می‌گیرند.» بهینه‌ساز پایه، مانند گرادیان کاهشی تصادفی، به دنبال وزن‌هایی می‌گردد که زیان آموزشی را به حداقل برسانند. وزن‌های به دست آمده، مسیر پیش‌رویی را رمزگذاری می‌کنند که یک حلقه جستجوی درونی را اجرا می‌کند. ترانسفورمر صرفاً حقایق حفظ شده را بازیابی نمی‌کند؛ بلکه در زمان اجرا فعالانه در حال محاسبه یک الگوریتم یادگیری است.[1][2][7]

مکانیک این شبیه‌سازی بر عملیات هسته‌ای سازوکار خودتوجهی متکی است: پرس‌وجوها، کلیدها و مقادیر. وقتی یک پرامپت شامل چندین مثال باشد که به دنبال آن یک پرس‌وجوی آزمایشی جدید می‌آید، سازوکار توجه، شباهت بین پرس‌وجوی جدید و مثال‌های قبلی را که به عنوان کلید عمل می‌کنند، محاسبه می‌کند. اکین آکیورک و پژوهشگران ام‌آی‌تی نشان دادند که با ضرب این شباهت‌ها در خروجی‌های مثال، یا همان مقادیر، هد توجه عملاً یک گام گرادیان را محاسبه می‌کند. مثال‌های بافتار به عنوان یک مجموعه داده آموزشی موقت عمل می‌کنند و ماتریس توجه، به‌روزرسانی گرادیان حاصل را روی بازنمایی پرس‌وجوی آزمایشی اعمال می‌کند.[3]

این بهینه‌سازی درونی به یک گام واحد محدود نمی‌شود. در حالی که یک لایه توجه منفرد می‌تواند ۱ تکرار از گرادیان کاهشی را شبیه‌سازی کند، مدل‌های عمیق‌تر می‌توانند این عملیات‌ها را به یکدیگر زنجیر کنند. یک مطالعه در اکتبر ۲۰۲۴ توسط بو چن و همکارانش نشان داد که ترانسفورمرهای حلقوی می‌توانند گرادیان کاهشی چندمرحله‌ای را پیاده‌سازی کرده و دقت مدل ضمنی را با هر لایه متوالی اصلاح کنند. پژوهشگران دیگر حتی شواهدی یافته‌اند که ترانسفورمرها می‌توانند روش‌های بهینه‌سازی مرتبه بالاتر، مانند روش تکراری نیوتن را تقریب بزنند، که به آن‌ها اجازه می‌دهد به طور نمایی سریع‌تر از گرادیان کاهشی استاندارد به سمت راه‌حل‌ها همگرا شوند.[6]

با این حال، این فرضیه که مدل‌های زبانی در دنیای واقعی کاملاً بازتاب‌دهنده گرادیان کاهشی هستند، همچنان مورد بحث است. اثبات‌های ریاضی به شدت بر تنظیمات سبک‌بندی‌شده متکی هستند، مانند وظایف رگرسیون خطی با پیشینه‌های گاوسی با میانگین صفر. وقتی پژوهشگران این نظریه‌ها را روی مدل‌های از پیش آموزش‌دیده با زبان طبیعی آزمایش می‌کنند، این معادل بودن شروع به فروپاشی می‌کند. مطالعه‌ای در نوامبر ۲۰۲۳ توسط گیلاد دویچ و پژوهشگران دانشگاه بار-ایلان به یک تناقض به نام «علیت لایه‌ای» اشاره کرد. در گرادیان کاهشی استاندارد، به‌روزرسانی‌ها به خطاهای محاسبه‌شده در تمام لایه‌ها بستگی دارند. در یادگیری درون‌بافتی، اطلاعاتی که بر یک حالت پنهان تأثیر می‌گذارند تنها از لایه‌های قبلی می‌آیند و این موازی بودن دقیق را در هم می‌شکنند.[4]

علاوه بر این، آزمایش‌های تجربی توسط لینگ‌فنگ شن در دانشگاه جانز هاپکینز در اکتبر ۲۰۲۳ نشان داد که یادگیری درون‌بافتی و گرادیان کاهشی حساسیت‌های متفاوتی نسبت به ترتیب مثال‌ها از خود نشان می‌دهند. اگر یک ترانسفورمر در حال اجرای گرادیان کاهشی خالص بود، ترتیب مثال‌های پرامپت نباید مدل ضمنی نهایی را به شدت تغییر می‌داد. با این وجود، مدل‌های دنیای واقعی به شدت به ترتیب پرامپت حساس هستند، که نشان می‌دهد اگرچه چارچوب بهینه‌سازی میانی یک قیاس قدرتمند است، اما الگوریتم واقعی یادگرفته‌شده توسط مدل‌های میلیارد پارامتری، چیزی متمایز و به طور منحصربه‌فردی سازگار با مدل‌سازی توالی است.[5]

با وجود این هشدارها، این کشف که ترانسفورمرها می‌توانند الگوریتم‌های یادگیری را در درون وزن‌های خود رمزگذاری کنند، دیدگاه پژوهشگران را نسبت به قابلیت‌های هوش مصنوعی به طور بنیادین تغییر می‌دهد. این موضوع نشان می‌دهد که افزایش مقیاس مدل‌ها صرفاً ظرفیت آن‌ها را برای حفظ کردن داده‌ها افزایش نمی‌دهد، بلکه توانایی آن‌ها را برای اجرای نرم‌افزارهای پیچیده و درونی گسترش می‌دهد. مرز بعدی در تفسیرپذیری مکانیکی، منزوی کردن این بهینه‌سازهای میانی در محیط‌های واقعی، تعیین دقیق هدفی که در حال بهینه‌سازی آن هستند، و اطمینان از همسویی اهداف درونی آن‌ها با وظایف بیرونی محول شده به آن‌هاست.[7]