چگونه استراتژی اپسیلون-حریصانه تعادل میان اکتشاف و بهره‌برداری را در هوش مصنوعی برقرار می‌کند

در تست‌های سنتی A/B، یک سیستم ترافیک را به طور مساوی بین دو گزینه ثابت هدایت می‌کند تا زمانی که یک برنده از نظر آماری معنادار ظاهر شود؛ در این نقطه، گزینه بازنده به طور کامل کنار گذاشته می‌شود. عامل‌های یادگیری تقویتی با چالش کاملاً متفاوتی روبرو هستند: آن‌ها باید به طور مداوم با محیط‌هایی سازگار شوند که در آن‌ها «برنده» ممکن است در طول زمان تغییر کند، و این نیازمند یک سازوکار پویاست که هرگز ارزیابی شرایط را به طور کامل متوقف نکند.[5]

این تنش در علوم کامپیوتر به عنوان دوراهی اکتشاف-بهره‌برداری (exploration-exploitation dilemma) شناخته می‌شود. یک عامل هوش مصنوعی باید بین بهره‌برداری از اقداماتی که از قبل می‌داند پاداش بالایی به همراه دارند، یا اکتشاف اقدامات ناشناخته‌ای که ممکن است پاداش حتی بالاتری داشته باشند، یکی را انتخاب کند. اگر یک عامل فقط بهره‌برداری کند، در تکرار یک مسیر گیر می‌افتد.

استراتژی اپسیلون-حریصانه (Epsilon-Greedy) این دوراهی را با استفاده از یک متغیر احتمالی کاهنده که با حرف یونانی اپسیلون (ε) نشان داده می‌شود، حل می‌کند. اپسیلون نشان‌دهنده درصد دقیقی از زمان است که عامل هوشمند دانش فعلی خود را نادیده گرفته و یک اقدام کاملاً تصادفی انجام می‌دهد.[2]

هنگامی که یک عامل آموزش را آغاز می‌کند، اپسیلون معمولاً روی ۱.۰ تنظیم می‌شود، به این معنی که عامل در ۱۰۰ درصد مواقع به اکتشاف می‌پردازد. طبق برنامه درسی پایه در deeplizard: «در شروع آموزش، عامل هیچ چیز درباره محیط نمی‌داند، بنابراین باید برای کشف فضای حالت-اقدام به اکتشاف بپردازد.» در طول این مرحله، عامل اساساً به صورت تصادفی عمل می‌کند تا پیامدهای انتخاب‌های خود را نقشه‌برداری کند.[4]

همان‌طور که عامل با محیط تعامل می‌کند و تخمین‌های ارزش درونی خود را — که اغلب در یک ماتریس ریاضی به نام جدول Q (Q-table) ذخیره می‌شود — به‌روزرسانی می‌کند، مقدار اپسیلون به تدریج کاهش می‌یابد. این فرآیند که به عنوان کاهش اپسیلون (epsilon decay) یا بازپخت (annealing) شناخته می‌شود، رفتار عامل را از اکتشاف مطلق به سمت بهره‌برداری بهینه‌شده تغییر می‌دهد.[2][6]

در یک پیاده‌سازی استاندارد Q-learning، یک عامل ممکن است برای ۱۰۰۰ دوره (episode) اجرا شود. در طول ۱۰۰ دوره اول، اپسیلون ممکن است به صورت خطی از ۱.۰ به ۰.۱ کاهش یابد. برای ۹۰۰ دوره باقی‌مانده، عامل در ۹۰ درصد مواقع از سیاست آموخته‌شده خود بهره‌برداری می‌کند، در حالی که هنوز ۱۰ درصد از اقدامات خود را برای اکتشاف تصادفی حفظ می‌کند تا مطمئن شود مسیر بهتری را از دست نداده است.[2]

تحلیل سال ۲۰۲۰ لیلیان ونگ (Lilian Weng) از یادگیری تقویتی عمیق نشان می‌دهد که استراتژی‌های اکتشاف باید با پیچیدگی محیط مقیاس‌پذیر باشند. در شبکه‌های Q عمیق (DQN)، اپسیلون اغلب به جای صدها دوره، در طول میلیون‌ها فریم کاهش می‌یابد تا اطمینان حاصل شود که شبکه عصبی داده‌های متنوع و کافی برای همگرایی به یک سیاست پایدار را در اختیار دارد.[3]

ونگ با تاکید بر اینکه کاهش خطی ساده گاهی برای وظایف پیچیده که در آن‌ها عامل ممکن است به راحتی در یک بهینه محلی گرفتار شود ناکافی است، می‌نویسد: «اکتشاف در یادگیری تقویتی عمیق بسیار حیاتی است، زیرا فضای حالت اغلب پیوسته یا به طرز بازدارنده‌ای بزرگ است.»[3]

این استراتژی در یادگیری تقویتی چندعاملی (MARL) حتی پیچیده‌تر نیز می‌شود. مقاله‌ای که در سال ۲۰۲۲ در arXiv منتشر شد، یک «استراتژی اکتشاف اپسیلون-حریصانه معنایی» را معرفی کرد که نرخ اکتشاف را بر اساس تازگی معنایی حالت تنظیم می‌کند، نه اینکه صرفاً بر یک زمان‌بندی کاهش مبتنی بر زمان تکیه کند.[1]

در این سناریوهای چندعاملی، اگر تمام عامل‌ها مقادیر اپسیلون خود را به طور همزمان به صفر کاهش دهند، کل سیستم به راحتی می‌تواند دچار بن‌بست شود. حفظ یک کف دائمی برای اکتشاف — اغلب بین ۱ تا ۵ درصد — تضمین می‌کند که سیستم در برابر تغییرات محیطی ناشی از رفتارهای یادگیری سایر عامل‌ها، مقاوم باقی می‌ماند.[1][7]

فراتر از رباتیک و هوش مصنوعی بازی‌ساز، الگوریتم‌های اپسیلون-حریصانه نیروبخش نرم‌افزارهای سازمانی مدرن هستند. پلتفرم آزمایش Statsig از منطق اپسیلون-حریصانه برای تست‌های تطبیقی استفاده می‌کند و به شرکت‌ها اجازه می‌دهد تا بدون انتظار برای پایان یافتن یک تست سنتی A/B، ترافیک کاربران را به صورت پویا به سمت بهترین تغییرات ویژگی‌ها هدایت کنند.[5]

این رویکرد تطبیقی «پشیمانی» (regret) را به حداقل می‌رساند — زیان نظری ناشی از نشان دادن یک نسخه غیربهینه به کاربران در طول مرحله آزمایش. پلتفرم‌ها با بهره‌برداری مداوم از نسخه برنده و در عین حال اکتشاف گزینه‌های جایگزین با یک احتمال کوچک اپسیلون، تعامل کلی را به حداکثر می‌رسانند و همزمان داده‌های آماری را نیز جمع‌آوری می‌کنند.[5]

با وجود کاربرد گسترده، رویکرد استاندارد اپسیلون-حریصانه محدودیت‌هایی دارد. از آنجا که اکتشاف آن کاملاً تصادفی است، حالت‌هایی را که به شدت نامشخص هستند در اولویت قرار نمی‌دهد. الگوریتم‌های پیشرفته‌تری مانند کران بالای اطمینان (UCB) یا نمونه‌برداری تامپسون (Thompson Sampling) تلاش می‌کنند تا با کمی‌سازی عدم قطعیت ریاضیاتی هر اقدام، به شکل هوشمندانه‌تری به اکتشاف بپردازند.[6]

با این حال، سادگی محاسباتی تولید یک عدد تصادفی و مقایسه آن با اپسیلون تضمین می‌کند که این استراتژی همچنان به عنوان خط پایه پیش‌فرض برای اکثر چارچوب‌های یادگیری تقویتی باقی بماند. اجرای آن تقریباً به هیچ حافظه یا قدرت پردازشی اضافی نیاز ندارد.[4]

نقطه عطف قابل‌تایید بعدی برای الگوریتم‌های اکتشاف در استدلال مدل‌های زبانی بزرگ نهفته است. در حالی که پژوهشگران تلاش می‌کنند یادگیری تقویتی را در وظایف منطقی چندمرحله‌ای به کار بگیرند، تعیین اینکه یک LLM چگونه باید مسیرهای استدلالی جایگزین را بدون تولید نویز خالص «اکتشاف» کند، نیازمند معماری‌های کاهش کاملاً جدیدی خواهد بود که فراتر از انتخاب ساده و تصادفی اقدامات حرکت کنند.[7]