دور زدن مدل پاداش: چگونه بهینه‌سازی ترجیح مستقیم (DPO) هوش مصنوعی متن‌باز را هم‌راستا می‌کند

در ۲۹ مه ۲۰۲۳، تیمی از محققان دانشگاه استنفورد یک اثبات ریاضیاتی را در arXiv منتشر کردند که اساس ساخت هوش مصنوعی متن‌باز را به طور بنیادین تغییر داد. این مقاله با عنوان «بهینه‌سازی ترجیح مستقیم: مدل زبانی شما مخفیانه یک مدل پاداش است»، نشان داد که فرآیند پیچیده و چندمرحله‌ای یادگیری تقویتی که برای هم‌راستاسازی مدل‌هایی مانند ChatGPT استفاده می‌شود، می‌تواند به صورت ریاضیاتی در یک مرحله خلاصه شود. با حذف نیاز به آموزش یک مدل پاداش مجزا، تیم استنفورد سربار محاسباتی هم‌راستاسازی هوش مصنوعی را نصف کرد. این تغییر به جوامع متن‌باز و توسعه‌دهندگان مستقل اجازه داد تا مدل‌های زبانی عظیم را روی سخت‌افزارهای تجاری استاندارد هم‌راستا کنند و انحصاری که آزمایشگاه‌های مرزی با بودجه کلان بر هم‌راستاسازی هوش مصنوعی با کیفیت بالا داشتند را از بین ببرند.[1]

پیش از این انتشار، استاندارد صنعتی برای آموزش یک هوش مصنوعی جهت رفتار ایمن و مفید، «یادگیری تقویتی از بازخورد انسانی» (RLHF) بود. این روش که توسط سازمان‌هایی مانند OpenAI و DeepMind پیشگام شد، نیازمند زیرساختی گسترده و پیچیده بود. مهندسان ابتدا باید یک «مدل پاداش» را آموزش می‌دادند—یک شبکه عصبی ثانویه که تنها وظیفه‌اش امتیازدهی به خروجی‌های مدل اولیه بر اساس ترجیحات انسانی بود. سپس، آن‌ها از یک الگوریتم یادگیری تقویتی، که معمولاً «بهینه‌سازی سیاست مجاورتی» (PPO) بود، استفاده می‌کردند تا وزن‌های مدل اولیه را به‌روزرسانی کنند تا این امتیازات به حداکثر برسد.[1]

بار سخت‌افزاری این رویکرد سنتی بسیار زیاد بود. در طول فاز PPO، سیستم نیاز داشت که چهار شبکه عصبی عظیم را به طور همزمان در حافظه اجرا کند. اول، مدل سیاست بود که فعالانه آموزش می‌دید. دوم، یک مدل مرجع فریز شده بود که برای محاسبه جریمه واگرایی کولبک-لایبلر (KL) استفاده می‌شد تا از تنزل هوش مصنوعی به تولید خروجی‌های بی‌معنی صرفاً برای به حداکثر رساندن امتیاز جلوگیری کند. سوم، خود مدل پاداش بود و چهارم، یک شبکه ارزش بود که برای تخمین پاداش‌های آتی در طول حلقه یادگیری تقویتی استفاده می‌شد.[1]