چگونه معادله بلمن تابع ارزش بهینه را در یادگیری تقویتی تعریف می‌کند

وقتی یک هوش مصنوعی یاد می‌گیرد در یک ماز حرکت کند، یک بازی ویدیویی انجام دهد یا پلاسمای همجوشی را کنترل کند، حرکت درست را برای هر سناریوی ممکنی حفظ نمی‌کند. در عوض، به یک اصل ریاضی بازگشتی واحد تکیه می‌کند که آینده‌ای با پیچیدگی غیرممکن را به یک پاداش فوری و یک پیامد تاخیری می‌شکند.

این اصل همان معادله بلمن است. این معادله که در سال ۱۹۵۷ توسط ریاضیدانی به نام ریچارد بلمن فرمول‌بندی شد، به عنوان شالوده مطلق یادگیری تقویتی مدرن عمل می‌کند. با اثبات اینکه ارزش بهینه هر وضعیت صرفاً برابر با پاداش فوری به علاوه ارزش تخفیف‌یافته وضعیت بعدی است، این معادله به عامل‌های هوش مصنوعی اجازه می‌دهد تا استراتژی‌های بلندمدت را بدون محاسبه تمام آینده‌های ممکن تا پایان زمان ارزیابی کنند.[5]

برای درک نحوه عملکرد آن، حرکت در یک شبکه را تصور کنید. اگر یک عامل فقط به پاداش فوری نگاه کند، ممکن است گامی بردارد که اکنون یک امتیاز به همراه دارد اما بعداً به یک تله ختم می‌شود. معادله بلمن این مشکل را با اعمال یک رابطه ریاضی بین وضعیت‌های متصل حل می‌کند. همان‌طور که در برنامه درسی یادگیری تقویتی DataCamp توضیح داده شده است، این معادله «یک مسئله پیچیده را به گام‌های کوچک‌تر می‌شکند و حل آن را آسان‌تر می‌کند»؛ این کار با ارزیابی هم‌زمان پاداش فوری و حداکثر ارزش مورد انتظار وضعیت بعدی انجام می‌شود.[3]

از نظر ریاضی، تابع ارزش وضعیت به صورت V(s) = R(s,a) + γV(s') بیان می‌شود. طبق گفته GeeksforGeeks، این بدان معناست که «ارزش یک وضعیت برابر است با پاداش دریافت‌شده در حال حاضر به علاوه ارزش مورد انتظار وضعیت بعدی». این حلقه بازگشتی — تعریف یک ارزش بر اساس ارزش آنچه در ادامه می‌آید — همان چیزی است که برنامه‌نویسی پویا را از نظر محاسباتی امکان‌پذیر می‌کند.[4]

ضریب تخفیف که با حرف یونانی گاما (γ) نشان داده می‌شود، مکانیزمی است که تفکر کوتاه‌مدت و بلندمدت را متعادل می‌کند. این ضریب که معمولاً بین ۰٫۹۰ تا ۰٫۹۹ تنظیم می‌شود، وزن پاداش‌هایی را که در آینده دورتر قرار دارند کاهش می‌دهد. گامای نزدیک به صفر عاملی بسیار تکانشی ایجاد می‌کند که فقط به گام بعدی اهمیت می‌دهد، در حالی که گامای نزدیک به یک عاملی استراتژیک می‌سازد که حاضر است جریمه‌های فوری را برای یک پاداش تاخیری عظیم تحمل کند.[1]

بلمن در ابتدا این مفهوم را در دهه ۱۹۵۰ هنگام کار در شرکت RAND توسعه داد. بر اساس سوابق تاریخی در ویکی‌پدیا، او نام «برنامه‌نویسی پویا» را تا حدی برای پنهان کردن ماهیت ریاضی تحقیقات خود از حامیان دولتی که با ریاضیات نظری خصومت داشتند، انتخاب کرد. بلمن بعدها نوشت: «فکر می‌کردم برنامه‌نویسی پویا نام خوبی است. این چیزی بود که حتی یک نماینده کنگره هم نمی‌توانست به آن اعتراض کند.» کتاب ۳۴۲ صفحه‌ای او در سال ۱۹۵۷ در این باره، زمینه‌ساز چیزی شد که در نهایت به نظریه کنترل بهینه تبدیل گردید.[5]

در هوش مصنوعی مدرن، این معادله از یک سازه نظری به موتور یادگیری تقویتی عمیق تکامل یافته است. پژوهشگر هوش مصنوعی، لیلیان ونگ (Lilian Weng)، در بررسی جامع خود از این حوزه در فوریه ۲۰۱۸، تاکید می‌کند که چگونه معادله بهینگی بلمن ساختار بازگشتی لازم را برای الگوریتم‌هایی مانند Q-learning و تکرار ارزش فراهم می‌کند. اگر سیاست یک عامل شرایط بهینگی را برآورده کند، از نظر ریاضی تضمین می‌شود که آن سیاست بهترین استراتژی ممکن است.[1]

با این حال، برنامه‌نویسی پویای دقیق نیازمند محاسبه ارزش تک‌تک وضعیت‌هاست. برای بازی‌هایی مانند شطرنج که تقریباً دارای ۱۰ به توان ۴۳ موقعیت معتبر صفحه است، یا بازی گو (Go) با ۱۰ به توان ۱۷۰ وضعیت، محاسبه دقیق از نظر فیزیکی غیرممکن است. اینجاست که تقریب وارد عمل می‌شود. همان‌طور که دیمیتری پی. برتسِکاس (Dimitri P. Bertsekas)، استاد MIT، در متون بنیادین خود در مورد کنترل بهینه به تفصیل شرح داده است، سیستم‌های مدرن از شبکه‌های عصبی برای تقریب خروجی‌های معادله بلمن استفاده می‌کنند. این کار پیچیدگی محاسباتی O(n^3) در برنامه‌نویسی پویای دقیق را به یک تقریب قابل مدیریت کاهش می‌دهد و به عامل اجازه می‌دهد تا ارزش یک وضعیت را بدون نقشه‌برداری جامع از کل محیط حدس بزند.[2]

این تلفیق از ریاضیات سال ۱۹۵۷ بلمن و یادگیری عمیق مدرن همان چیزی است که به سیستم‌هایی مانند AlphaGo اجازه عملکرد می‌دهد. شبکه عصبی به صفحه نگاه می‌کند و ارزش وضعیت فعلی را تخمین می‌زند، در حالی که معادله بلمن قانون به‌روزرسانی را ارائه می‌دهد که حدس‌های شبکه را بر اساس پاداش‌های واقعی دریافت‌شده در طول بازی اصلاح می‌کند.[1][2]

ظرافت معادله بلمن در جهان‌شمول بودن آن نهفته است. چه عامل یک ربات شبیه‌سازی‌شده در حال یادگیری راه رفتن باشد، چه یک الگوریتم معاملاتی برای به حداکثر رساندن بازده سبد سهام، یا یک مدل زبانی که پاسخ‌های خود را با ترجیحات انسانی هم‌راستا می‌کند، مکانیزم زیربنایی یکسان باقی می‌ماند. عامل وضعیت خود را مشاهده می‌کند، پاداش تخفیف‌یافته مورد انتظار گزینه‌های خود را محاسبه می‌کند و سیاست خود را برای ترجیح مسیری با بالاترین بازده ریاضی به‌روزرسانی می‌کند.

این معادله مسئله فلسفی تصمیم‌گیری در شرایط عدم قطعیت را به یک حلقه جبری قابل حل تبدیل می‌کند. یک عامل هوش مصنوعی با خودراه‌اندازی (bootstrapping) مداوم تخمین‌های خود — به‌روزرسانی ارزش امروز بر اساس ارزش تحقق‌یافته فردا — به تدریج به تسلط دست می‌یابد. تضمین ریاضی ارائه‌شده توسط ریچارد بلمن در نزدیک به هفت دهه پیش، همچنان مکانیزم دقیقی است که بر سیستم‌های خودمختار دهه آینده حاکم خواهد بود.