معمای هم‌سویی: چرا آزمایشگاه‌های هوش مصنوعی بازخورد انسانی را با داوران هوش مصنوعی جایگزین می‌کنند؟

در مارس ۲۰۲۲، شرکت OpenAI مقاله‌ای منتشر کرد که نشان می‌داد یک مدل زبانی با ۱.۳ میلیارد پارامتر می‌تواند تنها با آموزش دیدن برای پیروی از دستورالعمل‌ها، از مدلی که ۱۰۰ برابر بزرگ‌تر از آن است، عملکرد بهتری داشته باشد.[4]

این تکنیک، یعنی «یادگیری تقویتی از بازخورد انسانی» (RLHF)، به استاندارد صنعت تبدیل شد. این روش به حاشیه‌نویسان انسانی متکی است تا خروجی‌های مدل را رتبه‌بندی کنند و مجموعه داده‌ای از ترجیحات بسازند که یک «مدل پاداش» را برای امتیازدهی به پاسخ‌های آینده آموزش می‌دهد. اگرچه این روش در بازاریابی‌ها به‌عنوان یک پیشرفت بزرگ در «درک» نیت انسان معرفی می‌شود، اما RLHF در اساس تنها یک مکانیسم هدایت آماری است که خروجی‌های ناخوشایند برای انسان را جریمه می‌کند.[4][5]

اما با بزرگ‌تر شدن مدل‌ها، RLHF به یک دیوار ساختاری برخورد کرده است. برچسب‌گذاری انسانی گران، کند و مستعد تناقض است. آموزش یک مدل پاداش قوی می‌تواند به ده‌ها هزار مقایسه انسانی نیاز داشته باشد، که گلوگاهی ایجاد می‌کند که سرعت تکرار را کاهش داده و حجم بازخورد ایمنی قابل تولید توسط یک آزمایشگاه را محدود می‌کند.[1]

جایگزین نوظهور، «یادگیری تقویتی از بازخورد هوش مصنوعی» (RLAIF) است. توسعه‌دهندگان به‌جای پرداخت پول به انسان‌ها برای رتبه‌بندی خروجی‌ها، از یک مدل زبانی آماده و بسیار توانمند به‌عنوان داور استفاده می‌کنند و فرآیند تولید ترجیحات را خودکار می‌سازند.[1]

در اواخر سال ۲۰۲۲، شرکت Anthropic پیشگام نوع خاصی از این روش به نام «هوش مصنوعی قانون‌اساسی‌محور» (Constitutional AI) شد. در این روش، به‌جای تکیه بر ترجیحات مبهم انسانی، به مدل یک «قانون اساسی» مکتوب — مجموعه‌ای از اصول صریح — داده می‌شود و آموزش می‌بیند تا خروجی‌های خود را بر اساس آن قوانین نقد و اصلاح کند. این کار، هم‌سویی را از یک بررسی حسی و ضمنی انسانی به یک معیار صریح و قابل حسابرسی تغییر می‌دهد.[2]

نتایج به‌دست‌آمده، این فرض را که نظارت انسانی برای هم‌سویی کاملاً ضروری است، به چالش می‌کشد. همان‌طور که نویسندگان یک مطالعه گوگل در سال ۲۰۲۳ اشاره کردند: «این نتایج نشان می‌دهد که RLAIF می‌تواند عملکردی در سطح انسان ارائه دهد و راه‌حلی بالقوه برای محدودیت‌های مقیاس‌پذیری RLHF باشد.» در آزمایش‌های رودررو روی وظایف خلاصه‌سازی، ارزیاب‌های انسانی خروجی‌های هر دو روش RLAIF و RLHF را در حدود ۷۰ درصد مواقع به یک مدل پایه ترجیح دادند.[1]

هم‌زمان، محققان در حال ساده‌سازی خود مرحله بهینه‌سازی هستند. در ماه مه ۲۰۲۳، پژوهشگران استنفورد روش «بهینه‌سازی مستقیم ترجیحات» (DPO) را معرفی کردند که نیاز به آموزش یک مدل پاداش مجزا را به‌طور کامل از بین می‌برد و داده‌های ترجیحی را از نظر ریاضی مستقیماً روی خط‌مشی مدل زبانی نگاشت می‌کند تا بار محاسباتی کاهش یابد.[3]

مرزهای کنونی اکنون کاملاً مصنوعی (تولیدشده توسط ماشین) هستند. مقاله‌ای در اوت ۲۰۲۴ از Meta FAIR درباره «ارزیاب‌های خودآموز» نشان داد که یک داور هوش مصنوعی می‌تواند قابلیت‌های ارزیابی خود را به‌صورت تکرارشونده و تنها با استفاده از داده‌های مصنوعی بهبود بخشد؛ این کار امتیاز مدل Llama 3 70B را در معیار RewardBench از ۷۵.۴ به ۸۸.۳ ارتقا داد، آن هم بدون هیچ‌گونه داده ترجیحی برچسب‌گذاری‌شده.[6]

تغییر از بازخورد انسانی به هوش مصنوعی، اقتصاد آموزش ایمنی را اساساً دگرگون می‌کند. با خودکارسازی حلقه ترجیحات، آزمایشگاه‌ها می‌توانند هم‌سویی را با همان سرعتی که قابلیت‌های خام را تکرار می‌کنند، پیش ببرند — هرچند این امر فشار عظیمی بر اصول اولیه‌ای وارد می‌کند که داور هوش مصنوعی را هدایت می‌کنند، زیرا هرگونه نقطه کور در ارزیاب به‌طور دائمی در مدل نهایی حک خواهد شد.[7]