دور زدن مدل پاداش: چگونه بهینه‌سازی ترجیح مستقیم (DPO) هوش مصنوعی متن‌باز را هم‌راستا می‌کند

در ۲۹ مه ۲۰۲۳، تیمی از محققان دانشگاه استنفورد یک اثبات ریاضیاتی را در arXiv منتشر کردند که اساس ساخت هوش مصنوعی متن‌باز را به طور بنیادین تغییر داد. این مقاله با عنوان «بهینه‌سازی ترجیح مستقیم: مدل زبانی شما مخفیانه یک مدل پاداش است»، نشان داد که فرآیند پیچیده و چندمرحله‌ای یادگیری تقویتی که برای هم‌راستاسازی مدل‌هایی مانند ChatGPT استفاده می‌شود، می‌تواند به صورت ریاضیاتی در یک مرحله خلاصه شود. با حذف نیاز به آموزش یک مدل پاداش مجزا، تیم استنفورد سربار محاسباتی هم‌راستاسازی هوش مصنوعی را نصف کرد. این تغییر به جوامع متن‌باز و توسعه‌دهندگان مستقل اجازه داد تا مدل‌های زبانی عظیم را روی سخت‌افزارهای تجاری استاندارد هم‌راستا کنند و انحصاری که آزمایشگاه‌های مرزی با بودجه کلان بر هم‌راستاسازی هوش مصنوعی با کیفیت بالا داشتند را از بین ببرند.[1]

پیش از این انتشار، استاندارد صنعتی برای آموزش یک هوش مصنوعی جهت رفتار ایمن و مفید، «یادگیری تقویتی از بازخورد انسانی» (RLHF) بود. این روش که توسط سازمان‌هایی مانند OpenAI و DeepMind پیشگام شد، نیازمند زیرساختی گسترده و پیچیده بود. مهندسان ابتدا باید یک «مدل پاداش» را آموزش می‌دادند—یک شبکه عصبی ثانویه که تنها وظیفه‌اش امتیازدهی به خروجی‌های مدل اولیه بر اساس ترجیحات انسانی بود. سپس، آن‌ها از یک الگوریتم یادگیری تقویتی، که معمولاً «بهینه‌سازی سیاست مجاورتی» (PPO) بود، استفاده می‌کردند تا وزن‌های مدل اولیه را به‌روزرسانی کنند تا این امتیازات به حداکثر برسد.[1]

بار سخت‌افزاری این رویکرد سنتی بسیار زیاد بود. در طول فاز PPO، سیستم نیاز داشت که چهار شبکه عصبی عظیم را به طور همزمان در حافظه اجرا کند. اول، مدل سیاست بود که فعالانه آموزش می‌دید. دوم، یک مدل مرجع فریز شده بود که برای محاسبه جریمه واگرایی کولبک-لایبلر (KL) استفاده می‌شد تا از تنزل هوش مصنوعی به تولید خروجی‌های بی‌معنی صرفاً برای به حداکثر رساندن امتیاز جلوگیری کند. سوم، خود مدل پاداش بود و چهارم، یک شبکه ارزش بود که برای تخمین پاداش‌های آتی در طول حلقه یادگیری تقویتی استفاده می‌شد.[1]

برای یک مدل ۷۰ میلیارد پارامتری، اجرای چهار حالت همزمان با دقت ۱۶ بیتی، تنها برای نگهداری وزن‌ها، به بیش از ۵۶۰ گیگابایت حافظه رم ویدئویی (VRAM) نیاز دارد، و این جدای از حافظه مورد نیاز برای حالت‌های بهینه‌ساز، فعال‌سازی‌ها و گرادیان‌ها است. این نیاز سخت‌افزاری، هم‌راستاسازی پیشرفته را به سازمان‌هایی محدود می‌کرد که توانایی استقرار خوشه‌های ابررایانه‌ای چند میلیون دلاری را داشتند. جامعه متن‌باز، که عمدتاً متکی بر اجاره پردازنده‌های گرافیکی ابری یا سخت‌افزارهای مصرفی بود، عملاً از مرحله نهایی و حیاتی توسعه هوش مصنوعی مدرن کنار گذاشته شده بود.[1]

محققان استنفورد، به رهبری رافائل رافایلوف، این گلوگاه را به طور کامل دور زدند. همانطور که مهندسان Hugging Face در مستندات پیاده‌سازی خود اشاره کردند، فرمول‌بندی DPO مرحله مدل‌سازی پاداش را دور می‌زند و مستقیماً مدل زبانی را بر روی داده‌های ترجیحی از طریق یک نگاشت تحلیلی از تابع پاداش به سیاست بهینه‌ی یادگیری تقویتی، بهینه می‌کند. به جای آموزش یک مدل ثانویه برای پیش‌بینی ترجیحات انسان و سپس آموزش مدل اولیه برای خشنود کردن مدل ثانویه، «بهینه‌سازی ترجیح مستقیم» از یک تابع زیان ساده آنتروپی متقاطع دوتایی استفاده می‌کند.[1][2]

این سازوکار بر یک ساختار داده خاص متکی است. DPO یک پرامپت را به همراه دو تکمیل به مدل می‌دهد: یک پاسخ ترجیح داده شده توسط انسان و یک پاسخ رد شده. الگوریتم مستقیماً وزن‌های مدل را به‌روزرسانی می‌کند تا احتمال پاسخ ترجیح داده شده را افزایش دهد و همزمان احتمال پاسخ رد شده را سرکوب کند. ظرافت ریاضیاتی DPO در استفاده از خود مدل زبانی به عنوان سازوکار پاداش نهفته است، که پاداش ضمنی را مستقیماً از توزیع احتمال خود سیاست استخراج می‌کند.[2]

این میانبر ریاضیاتی، مدل پاداش و شبکه ارزش را به طور کامل حذف می‌کند. همانطور که در دستورالعمل‌های پیاده‌سازی Hugging Face مستند شده است، DPO تنها به دو مدل در حافظه نیاز دارد: مدل سیاست که فعالانه آموزش می‌بیند و مدل مرجع فریز شده. این کاهش دقیق ۵۰ درصدی در حالت‌های مدل فعال به این معنی است که یک مدل ۷۰ میلیارد پارامتری می‌تواند با استفاده از تقریباً ۲۸۰ گیگابایت VRAM هم‌راستا شود، که مانع ورود برای محققان مستقل و استارتاپ‌های فناوری کوچک‌تر را به شدت کاهش می‌دهد.[2][3]

هنگامی که DPO با تکنیک‌های تنظیم دقیق با بهره‌وری پارامتر مانند LoRA (سازگاری با رتبه پایین) و کوانتیزاسیون ترکیب می‌شود، نیازهای حافظه حتی بیشتر کاهش می‌یابد. با فریز کردن مدل پایه و آموزش تنها مجموعه کوچکی از وزن‌های آداپتور، توسعه‌دهندگان می‌توانند DPO را بر روی مدل‌های متن‌باز کلاس مرزی با استفاده از یک سرور تجاری ۸-GPU اجرا کنند. این دسترسی سخت‌افزاری باعث انفجار مدل‌های تنظیم‌شده توسط جامعه شد و به توسعه‌دهندگان اجازه داد تا معماری‌های عظیم را بدون نیاز به زیرساخت گسترده مورد نیاز یادگیری تقویتی سنتی، هم‌راستا کنند.

تأثیر بر اکوسیستم متن‌باز فوری و قابل اندازه‌گیری در سراسر صنعت بود. ظرف چند ماه پس از انتشار اولیه مقاله، جدول امتیازات Open LLM Hugging Face به شدت توسط مدل‌هایی که با استفاده از DPO هم‌راستا شده بودند، پر شد. مدل‌های با وزن باز و عملکرد بالا، از جمله معماری Mixtral 8x7B میسترال و مشتقات مختلف LLaMA 3، این تکنیک را برای دستیابی به قابلیت‌های مکالمه‌ای که با سیستم‌های اختصاصی و بسته‌شده رقابت می‌کردند، به کار گرفتند. این الگوریتم یک مسیر استاندارد و بسیار در دسترس برای تبدیل مدل‌های پایه خام و هم‌راستا نشده به دستیاران دیجیتال مفید و ایمن فراهم کرد.[2]

فراتر از بهره‌وری سخت‌افزاری، DPO یک مشکل پایداری حیاتی ذاتی در فرآیند هم‌راستاسازی را حل کرد. یادگیری تقویتی به طرز بدنامی شکننده است؛ PPO نیازمند تنظیم دقیق ابرپارامترها است و به شدت به کیفیت مدل پاداش حساس است. اگر مدل پاداش حاوی یک نقص ریاضیاتی باشد، مدل سیاست به شدت از آن سوء استفاده خواهد کرد—پدیده‌ای که به عنوان هک پاداش شناخته می‌شود. DPO با چارچوب‌بندی هم‌راستاسازی به عنوان یک مسئله استاندارد طبقه‌بندی نظارت‌شده، از گرادیان‌های با واریانس بالا و حساسیت ابرپارامتری که به طور مداوم یادگیری تقویتی سنتی از بازخورد انسانی را آزار می‌دهد، اجتناب می‌کند.[1]

با این حال، این تکنیک قطعاً بدون مصالحه‌های مهندسی خاص خود نیست. در حالی که DPO در وظایف هم‌راستاسازی ساده عالی عمل می‌کند، ارزیابی‌های تجربی اخیر نشان می‌دهند که در مقایسه با RLHF سنتی، می‌تواند به طور قابل توجهی بیشتر مستعد بیش‌برازش (Overfitting) بر روی مجموعه داده ترجیحی باشد. از آنجایی که DPO منحصراً بر جفت‌های ایستا از پاسخ‌های ترجیح داده شده و رد شده که در طول آموزش ارائه می‌شوند، متکی است، فاقد قابلیت‌های کاوش پویا «بهینه‌سازی سیاست مجاورتی» است، که فعالانه پاسخ‌های جدید تولید می‌کند و در طول حلقه آموزشی به آن‌ها امتیاز می‌دهد.[1]

در یک تنظیمات استاندارد PPO، مدل فعالانه پاسخ‌های جدیدی را در طول آموزش تولید می‌کند که سپس توسط مدل پاداش در زمان واقعی امتیازدهی می‌شوند. این نمونه‌گیری «بر اساس سیاست» پوشش داده‌ای بهتری را فراهم می‌کند و به مدل اجازه می‌دهد تا از اشتباهات خود در زمان واقعی درس بگیرد. محققان Google DeepMind اشاره کرده‌اند که PPO اغلب در وظایف تولید پیچیده، مانند ریاضیات پیشرفته یا استدلال چندمرحله‌ای، که در آن‌ها مجموعه‌های داده ایستا نمی‌توانند توزیع کامل خطاهای ممکن را ثبت کنند، ۱۰ تا ۳۰ درصد بهتر از DPO عمل می‌کند.[1]

برای رسیدگی به این محدودیت‌های خاص، جامعه تحقیقاتی هوش مصنوعی به سرعت الگوریتم بنیادی DPO را تکرار کرده است. انواع مختلفی مانند «بهینه‌سازی ترجیح هویتی» (IPO) و «بهینه‌سازی کاهنمن-تورسکی» (KTO) برای مدیریت مجموعه‌های داده پرنویزتر و کاهش فعالانه خطر بیش‌برازش ظهور کرده‌اند. به ویژه KTO، نیاز سخت به جفت‌های کاملاً منطبق از پاسخ‌های ترجیح داده شده و رد شده را کاهش می‌دهد. در عوض، به مدل‌ها اجازه می‌دهد تا از بازخوردهای لایک یا دیس‌لایک جفت‌نشده درس بگیرند، که فرآیند جمع‌آوری داده را برای توسعه‌دهندگان متن‌باز که با منابع محدود کار می‌کنند، ساده‌تر می‌کند.[2]

با وجود این اصلاحات مداوم و بحث‌های نظری، سادگی معماری «بهینه‌سازی ترجیح مستقیم» نقش خود را به عنوان موتور هم‌راستاسازی پیش‌فرض برای جامعه متن‌باز تثبیت کرده است. تیم تحقیقاتی استنفورد با اثبات اینکه یک مدل زبانی به طور ضمنی حاوی مدل پاداش خود است، مهم‌ترین مانع محاسباتی برای دموکراتیزه شدن هوش مصنوعی را از میان برداشت. همانطور که صنعت به ناچار به سمت معماری‌های حتی بزرگتر حرکت می‌کند، توانایی هم‌راستاسازی مدل‌ها بدون دو برابر کردن ردپای سخت‌افزاری، مکانیسم حیاتی است که هوش مصنوعی متن‌باز را در رقابت با آزمایشگاه‌های مرزی بسته‌شده نگه می‌دارد.[1][3]