«انتقال از شبیه‌سازی به واقعیت» واقعاً چگونه کار می‌کند: مکانیسم‌های یادگیری رباتیک

رقابت جهانی برای تسلط بر سیستم‌های فیزیکی خودران به سرعت از یک کنجکاوی تحقیقاتی به یک موضوع سیاست صنعتی ملی تبدیل شده است، که با تلاش‌های اخیر ایالات متحده برای ایجاد موانع تجاری در اطراف پهپادها و ربات‌های ساخت خارجی برجسته شده است.[5]

اگر ویدیوی تبلیغاتی هر یک از استارتاپ‌های رباتیک با سرمایه‌گذاری سنگین را که پیشتاز این حرکت هستند تماشا کنید، احتمالاً ماشینی انسان‌نما را خواهید دید که پشتک‌های بی‌نقص می‌زند، لباس تا می‌کند یا قطعات پیچیده موتور را مونتاژ می‌کند. اما آنچه متون بازاریابی به ندرت به آن اشاره می‌کنند این است که این شاهکارها تقریباً هرگز در اولین تلاش در دنیای فیزیکی محقق نمی‌شوند. در یک شبیه‌سازی فیزیکی بکر، یک سیاست یادگیری تقویتی می‌تواند به راحتی به یک ربات دیجیتال آموزش دهد که کاملاً راه برود. اما وقتی همان نرم‌افزار دقیق روی یک ماشین واقعی با وزن ۱۵۰ پوند (حدود ۶۸ کیلوگرم) بارگذاری می‌شود، ربات اغلب به شدت می‌لرزد، موتورهایش بیش از حد داغ می‌شوند و ظرف چند ثانیه از کار می‌افتد. دنیای فیزیکی برای مغزی که در خلأ آموزش دیده، به سادگی بیش از حد آشفته است.[3]

این حالت شکست در صنعت به عنوان «شکاف واقعیت» شناخته می‌شود و از لحاظ تاریخی گورستان یادگیری رباتیک بوده است. شبیه‌ساز یک انتزاع ریاضی است که در آن سطوح کاملاً صاف هستند، دوربین‌ها فاقد اعوجاج نوری هستند و موتورها فوراً پاسخ می‌دهند. در مقابل، دنیای واقعی مملو از اصطکاک غیرقابل پیش‌بینی، نویز حسگر و تأخیرهای میکروسکوپی در پاسخ محرک‌ها است. پر کردن این شکاف، گلوگاه اصلی فنی در رباتیک مدرن است و تعیین می‌کند که آیا یک ماشین در حد یک پروژه تحقیقاتی باقی می‌ماند یا به یک محصول کاربردی تبدیل می‌شود.[4]

راه‌حل، یک خط لوله نرم‌افزاری به نام «انتقال از شبیه‌سازی به واقعیت» است. مهندسان به جای تلاش برای آینه‌ای کردن کامل شبیه‌سازی‌ها با واقعیت—که کاری غیرممکن و از نظر محاسباتی ویرانگر است—اکنون مدل‌های هوش مصنوعی را آموزش می‌دهند تا انتظار یک جهان آشفته و غیرقابل پیش‌بینی را داشته باشند. توسعه‌دهندگان با تزریق عمدی نویز و تصادفی‌سازی قوانین فیزیکی در طول فاز آموزش مجازی، سیاست کنترل ربات را مجبور می‌کنند که قبل از اینکه حتی کف فیزیکی را لمس کند، مقاوم شود.[4]

برای درک اینکه چرا انتقال از شبیه‌سازی به واقعیت ضروری است، باید به حجم عظیم داده‌های مورد نیاز برای آموزش یک سیستم هوش مصنوعی فیزیکی مدرن نگاه کرد. آموزش یک ربات برای انجام یک وظیفه دستکاری ساده، مانند برداشتن یک شیء شکننده، معمولاً نیازمند ده‌ها هزار اپیزود نمایشی است. سیستم باید یاد بگیرد که در شرایط نوری مختلف، موقعیت‌های شیء، بافت‌های سطح و جهت‌گیری‌های گیره، تعمیم‌پذیر باشد. اجرای صرف این اپیزودها بر روی سخت‌افزار فیزیکی به طرز دردناکی کُند، پرهزینه و بسیار پرخطر است.

شبیه‌سازی مستقیماً این گلوگاه داده را برطرف می‌کند. یک محیط مجازی با فیزیک دقیق می‌تواند داده‌های آموزشی را با سرعتی بسیار بیشتر از زمان واقعی تولید کند و هزاران سناریوی موازی را به طور همزمان بر روی یک خوشه از واحدهای پردازش گرافیکی اجرا کند. یک شرکت رباتیک می‌تواند داده‌های راه رفتن چندین سال را تنها در چند ساعت شبیه‌سازی کند. با این حال، مدلی که صرفاً بر روی داده‌های مصنوعی تمیز آموزش دیده باشد، یاد می‌گیرد که از بی‌نقصی شبیه‌سازی سوءاستفاده کند، که منجر به رفتارهای آموخته‌شده‌ای می‌شود که انتقال آن‌ها به سخت‌افزار فیزیکی کاملاً شکست می‌خورد.

مهندسان سخت‌افزار معمولاً شکاف واقعیت را در سه دسته متمایز تشخیص می‌دهند: تقریب‌های فیزیکی، اختلافات ادراکی و دینامیک محرک. تقریب‌های فیزیکی شامل ناتوانی شبیه‌ساز در مدل‌سازی کامل تماس‌های نرم، ضرایب اصطکاک و کشش کابل‌های داخلی است. اختلافات ادراکی به این دلیل به وجود می‌آیند که دوربین‌های واقعی نویز، اعوجاج و تغییرات نوردهی را معرفی می‌کنند که رندرهای مصنوعی به طور طبیعی آن‌ها را ثبت نمی‌کنند.[1]

دشوارترین دسته، که بدنام است، دینامیک محرک است. شبیه‌سازها فوراً عمل می‌کنند، به این معنی که دستور حرکت یک بازو منجر به حرکت فوری می‌شود. ربات‌های واقعی دارای موتورهای فیزیکی با لقی، رانش حرارتی و تأخیر در گذرگاه‌های USB و کنترل‌کننده‌های موتور هستند. اگر یک سیاست یادگیری تقویتی انتظار پاسخ فوری به یک فرمان گشتاور را داشته باشد، تأخیر جزئی در یک موتور فیزیکی باعث می‌شود نرم‌افزار بیش از حد جبران کند و به لرزش‌های خشنی منجر شود که ربات‌ها را از هم می‌پاشد.[3]

مکانیسم اصلی مورد استفاده برای بستن این شکاف، «تصادفی‌سازی دامنه» است. مهندسان به جای تلاش برای ساختن یک شبیه‌سازی بی‌نقص، هزاران شبیه‌سازی کمی نادرست ایجاد می‌کنند. در طول آموزش، سیستم به طور مداوم مقادیر مختلفی را برای جرم، اصطکاک، میرایی، جاذبه و اشکال اشیاء تغییر می‌دهد. ممکن است یک ربات مجازی در محیطی با جاذبه کم و اصطکاک زیاد آموزش ببیند، در حالی که دیگری با جاذبه سنگین و کف‌های لغزنده روبرو شود.[4]

با قرار دادن شبکه عصبی در معرض این توزیع گسترده از پارامترهای فیزیکی، سیاست کنترل یاد می‌گیرد که ثبات را بر بهینه‌سازی کامل اولویت دهد. ترفند هوشمندانه تصادفی‌سازی دامنه این است که دنیای واقعی را تنها به عنوان یک تغییر دیگر که ربات قبلاً دیده است، در نظر می‌گیرد. هنگامی که این سیاست در نهایت بر روی سخت‌افزار فیزیکی پیاده‌سازی می‌شود، اصطکاک غیرمنتظره یک فرش یا تأخیر جزئی یک موتور به خوبی مدیریت می‌شود، زیرا نرم‌افزار قبلاً در شبیه‌سازی از شرایط بسیار بدتری جان سالم به در برده است.[1]

فراتر از تصادفی‌سازی، مهندسان برای اطمینان از انتقال روان، به شدت به کالیبراسیون لمسی و شکل‌دهی پاداش متکی هستند. کالیبراسیون لمسی شامل نگاشت بازخورد دقیق گشتاور از موتورهای فیزیکی به داخل شبیه‌سازی است، که تضمین می‌کند ربات مجازی مقاومت را به همان شکلی که ربات واقعی احساس می‌کند، حس کند. شکل‌دهی پاداش شامل افزودن جریمه‌های ریاضی در طول آموزش است تا هوش مصنوعی از سوءاستفاده از اشکالات شبیه‌سازی دست بردارد، مثلاً جریمه کردن حرکات تند برای تشویق مسیرهای روان و سازگار با موتور.[2]

برای وظایف بسیار پیچیده، مانند مونتاژ صنعتی یا قرار دادن یک میخ در یک سوراخ تنگ، انتقال از شبیه‌سازی به واقعیت نیازمند ادغام حتی محکم‌تری است. چارچوب‌های اخیر به مهندسان اجازه می‌دهند تا سیاست‌های تخصصی را برای مونتاژ قطعات متنوع هندسی، کاملاً در شبیه‌سازی آموزش دهند. با مدل‌سازی دقیق تعاملات پربرخورد قطعات فلزی که روی یکدیگر می‌لغزند، این سیاست‌ها می‌توانند به «انتقال بدون آموزش مجدد» دست یابند، به این معنی که مهارت‌های مونتاژ آموخته شده در دنیای مجازی مستقیماً و بدون هیچ تنظیم فیزیکی اضافی، در کف کارخانه اعمال می‌شوند.

این خط لوله همچنین در حال دوطرفه شدن است و منجر به ظهور تکنیک‌های «واقعیت به شبیه‌سازی» شده است. اگر انتقال از شبیه‌سازی به واقعیت در مورد انتقال یک مغز به یک بدن فیزیکی باشد، واقعیت به شبیه‌سازی در مورد اطمینان از این است که زمین آموزش مجازی به طور دقیق محیط استقرار را منعکس کند. محققان با استفاده از اسکن لایدار (LiDAR) و فتوگرامتری، می‌توانند دوقلوهای دیجیتالی از محیط‌های دنیای واقعی—مانند یک آزمایشگاه خاص یا یک اتاق نشیمن نامرتب—را ثبت کرده و آن شبکه‌های سه‌بعدی دقیق را برای تمرین ربات به شبیه‌ساز وارد کنند.[4]

با وجود این پیشرفت‌های سریع، شکاف واقعیت به طور کامل ریشه‌کن نشده است. انتقال از شبیه‌سازی به واقعیت برای دستکاری‌های غیرقابل درک، مانند هل دادن اشیاء سنگین، و برای مدیریت مواد بسیار تغییرشکل‌پذیر مانند پارچه، کابل یا مایعات، همچنان فوق‌العاده دشوار است. شبیه‌سازی فیزیک دقیق یک حوله در حال تا شدن یا یک مایع در حال پاشیدن هنوز از نظر محاسباتی بسیار پرهزینه است، به این معنی که ربات‌های آموزش‌دیده برای مدیریت این مواد اغلب نیازمند تنظیم دقیق گسترده در دنیای واقعی هستند.[3][4]