چگونه ترجیحات انسانی مدل پاداش را برای هم‌سویی رفتار هوش مصنوعی آموزش می‌دهند

در سال ۲۰۱۷، پژوهشگرانی به نام پل کریستیانو (Paul Christiano) و همکارانش در OpenAI و DeepMind با یک بن‌بست ریاضی مواجه شدند. آن‌ها در تلاش بودند تا به یک ربات شبیه‌سازی‌شده آموزش دهند که پشتک بزند، اما نوشتن یک تابع ریاضی برای تعریف یک پشتک «خوب» غیرممکن به نظر می‌رسید.

در عوض، آن‌ها سیستمی ساختند که در آن انسان‌ها به سادگی به دو کلیپ ویدیویی نگاه می‌کردند و روی ویدیوی بهتر کلیک می‌کردند. این پژوهشگران دریافتند که می‌توانند الگوریتمی را با استفاده از «اهداف تعریف‌شده بر اساس ترجیحات انسانی (غیرمتخصص) میان جفت‌هایی از بخش‌های مسیر حرکت» آموزش دهند.[1]

آن آزمایش در سال ۲۰۱۷، پایه و اساس معماری هم‌سویی هوش مصنوعی مدرن را بنا نهاد. امروزه، مدل‌های زبانی بزرگ پایه صرفاً برای پیش‌بینی کلمه بعدی در یک توالی از میان تریلیون‌ها توکن متنی آموزش می‌بینند. این سازوکار آن‌ها را قادر به تولید متن می‌کند، اما لزوماً آن‌ها را به دستیارانی مفید، بی‌خطر یا صادق تبدیل نمی‌کند. برای پر کردن این شکاف، توسعه‌دهندگان به «یادگیری تقویتی از بازخورد انسانی» متکی هستند.[2][3]

خط لوله هم‌سویی در سه مرحله مجزا عمل می‌کند. ابتدا، مدل پایه تحت «تنظیم دقیق نظارت‌شده» قرار می‌گیرد؛ جایی که متخصصان انسانی نمونه‌هایی باکیفیت از رفتار مطلوب را می‌نویسند. این کار، قابلیت‌های پیش‌بینی گسترده مدل را به یک قالب مکالمه‌ای محدود و متمرکز می‌کند. با این حال، این تنظیم دستی پرهزینه است و مقیاس‌پذیری آن دشوار است، که همین امر نیاز به یک سیستم امتیازدهی خودکارتر را ایجاب می‌کند.[3][7]

اینجاست که «مدل پاداش» وارد معماری می‌شود. به جای نوشتن پاسخ‌های بی‌نقص، یک پرامپت و دو پاسخ متفاوت تولیدشده توسط مدل به حاشیه‌نویسان انسانی ارائه می‌شود. تنها وظیفه انسان رتبه‌بندی آن‌هاست؛ یعنی انتخاب پاسخ الف بر پاسخ ب. این رتبه‌بندی‌های ترجیحی دودویی در مقیاس ده‌ها هزارتایی جمع‌آوری می‌شوند تا یک مجموعه داده از ترجیحات را تشکیل دهند.[2][7]

این مجموعه داده ترجیحات، یک شبکه عصبی ثانویه یعنی مدل پاداش را آموزش می‌دهد. این مدل یاد می‌گیرد که به هر متن داده‌شده نگاه کند و یک ارزش عددی (اسکالر) منفرد - اغلب بین ۰ و ۱ - را به عنوان خروجی ارائه دهد که نشان‌دهنده میزان علاقه یک انسان به آن متن است. مدل پاداش با تعمیم دادن رتبه‌بندی‌های انسانی، به عنوان یک واسطه ریاضی برای قضاوت انسان عمل می‌کند و قادر است میلیون‌ها خروجی را سریع‌تر از هر نیروی کار انسانی ارزیابی کند.[4][7]

با استقرار مدل پاداش، سیستم وارد مرحله یادگیری تقویتی می‌شود که به طور سنتی از الگوریتمی به نام «بهینه‌سازی خط‌مشی نزدیک» (PPO) استفاده می‌کند. مدل زبانی اصلی یک پاسخ تولید می‌کند، مدل پاداش به آن امتیاز می‌دهد، و الگوریتم بهینه‌سازی، وزن‌های مدل اصلی را به‌روزرسانی می‌کند تا این امتیاز را در آینده به حداکثر برساند. همان‌طور که مستندات شرکت IBM اشاره می‌کند، این سازوکار به توسعه‌دهندگان اجازه می‌دهد تا «مدل‌های یادگیری ماشین را برای خودآموزی کارآمدتر بهینه‌سازی کنند.»[2]

با ورود مدل‌ها به مرحله تولید، پذیرش سازمانی این خط لوله به سرعت شتاب گرفته است. در ۳ اکتبر ۲۰۲۴، شرکت NVIDIA مدل‌های پاداش جدیدی را منتشر کرد که به طور خاص برای بهبود هم‌سویی مدل‌های زبانی با ترجیحات انسانی طراحی شده بودند؛ اتفاقی که نشان می‌دهد کیفیت مدل پاداش اکنون یک عامل متمایزکننده رقابتی اصلی در توسعه تجاری هوش مصنوعی است.[4]

با این حال، یادگیری تقویتی استاندارد اصطکاک مهندسی قابل‌توجهی را به همراه دارد. رویکرد سنتی نیازمند بارگذاری همزمان چندین مدل در حافظه است: مدل خط‌مشی، مدل پاداش، یک مدل مرجع و یک مدل ارزش. این امر به خوشه‌های عظیم پردازنده‌های گرافیکی (GPU) نیاز دارد و باعث بی‌ثباتی در آموزش می‌شود؛ جایی که مدل ممکن است دچار فروپاشی شود یا از رخنه‌های موجود در تابع پاداش سوءاستفاده کند، پدیده‌ای که به عنوان «هک کردن پاداش» شناخته می‌شود.[6][7]

برای حل این گلوگاه محاسباتی، پژوهشگران روش «بهینه‌سازی مستقیم ترجیحات» (DPO) را معرفی کردند. همان‌طور که OpenTrain AI در ۳ ژوئن ۲۰۲۶ به تفصیل شرح داد، این روش جدیدتر، مدل پاداش مجزا را به طور کامل دور می‌زند. به جای آموزش یک مدل واسطه برای امتیازدهی به خروجی‌ها، این روش داده‌های ترجیحی را از نظر ریاضی بازنویسی می‌کند تا وزن‌های مدل زبانی را مستقیماً از روی رتبه‌بندی‌های انسانی به‌روزرسانی کند.[6]

بحث میان این دو روش بهینه‌سازی اکنون صنعت را به دو دسته تقسیم کرده است. بهینه‌سازی مستقیم ترجیحات از نظر بار محاسباتی بسیار سبک‌تر است و راحت‌تر به ثبات می‌رسد، که آن را به انتخاب ارجح برای توسعه‌دهندگان متن‌باز تبدیل می‌کند. با این وجود، برخی از آزمایشگاه‌های سازمانی بر این باورند که یادگیری تقویتی سنتی، با کاوش در طیف وسیع‌تری از پاسخ‌های تولیدشده در طول مرحله آموزش، به تعمیم برتری در وظایف استدلالی پیچیده دست می‌یابد.[6][7]

فراتر از سازوکارهای الگوریتمی، اتکا به ترجیحات انسانی یک محدودیت بنیادین در مقیاس‌پذیری ایجاد می‌کند. هرچه مدل‌ها در برنامه‌نویسی، حقوق و ریاضیات توانمندتر می‌شوند، حاشیه‌نویسان انسانی غیرمتخصص برای قضاوت دقیق درباره اینکه کدام خروجی بهتر است، با مشکل مواجه می‌شوند. این موضوع باعث ایجاد علاقه به «بازخورد انسانی با کمک هوش مصنوعی» شده است؛ جایی که یک مدل مجزا به ارزیاب انسانی کمک می‌کند تا نقص‌های موجود در استدلال‌های پیچیده را تشخیص دهد.[5]

انجمن هم‌سویی (Alignment Forum) تاکید می‌کند که بازخورد با کمک هوش مصنوعی می‌تواند از فریب دادن ارزیاب‌های انسانی توسط مدل‌ها جلوگیری کند. اگر یک مدل قطعه کدی بسیار پیچیده اما با نقصی ظریف بنویسد، یک انسان ممکن است بر اساس قالب‌بندی و لحن مطمئن آن، رتبه بالایی به آن بدهد. یک دستیار هوش مصنوعی می‌تواند این خطای پنهان را علامت‌گذاری کند و اطمینان حاصل کند که مدل پاداش یاد می‌گیرد به جای پاداش دادن به چاپلوسی، فریبکاری را جریمه کند.[5]

سازوکارهای دقیقی که از طریق آن‌ها یک مدل، ارزش‌های عددی یک مدل پاداش را به مفاهیم رفتاری تعمیم‌یافته - مانند ادب یا ایمنی - درونی‌سازی می‌کند، هنوز در میان وزن‌های شبکه عصبی مبهم هستند. نقطه عطف قابل‌تایید بعدی برای این صنعت، استقرار گسترده «هوش مصنوعی قانون‌اساسی‌محور» (Constitutional AI) خواهد بود؛ جایی که مدل‌ها بر اساس یک قانون اساسی مکتوب به یکدیگر امتیاز می‌دهند و گلوگاه ترجیحات انسانی را به طور کامل از بین می‌برند.[5][7]