چگونه تصادفی‌سازی دامنه، شکاف واقعیت را در رباتیک هوش مصنوعی پر می‌کند

آموزش یک ربات فیزیکی برای انجام یک کار جدید، فرآیندی طاقت‌فرسا و پرهزینه است. الگوریتم‌های یادگیری تقویتی برای تسلط بر یک مهارت به میلیون‌ها تلاش آزمون و خطا نیاز دارند. اگر یک بازوی رباتیک فیزیکی بخواهد یک کار جای‌گذاری را یک میلیون بار امتحان کند، این فرآیند ماه‌ها کارکرد مداوم می‌طلبد، به نظارت دائمی انسان برای تنظیم مجدد قطعات افتاده نیاز دارد و احتمالاً در این مسیر موتورهای ربات را از بین می‌برد.

بینگجی تانگ (Bingjie Tang)، پژوهشگر همکار با انویدیا (NVIDIA)، خاطرنشان می‌کند: «شبیه‌سازی ابزاری ضروری برای یادگیری مهارت‌های جدید توسط ربات‌ها است.» در یک محیط مجازی، می‌توان زمان را تسریع کرد، سخت‌افزار هرگز خراب نمی‌شود و میلیون‌ها آزمایش موازی می‌توانند به‌طور همزمان روی خوشه‌ای از پردازنده‌های گرافیکی (GPU) اجرا شوند.[1]

اما شبیه‌سازی مشکل دیگری را به همراه دارد: شکاف واقعیت. موتورهای فیزیک، تقریب‌های ریاضی هستند. آن‌ها نمی‌توانند تغییرات میکروسکوپی در اصطکاک سطح، میزان دقیق خمش یک کابل لاستیکی یا نویز خاص حسگر تولیدشده توسط یک دوربین فیزیکی را بی‌نقص مدل‌سازی کنند.

وقتی یک شبکه عصبی که در یک محیط مجازی دست‌نخورده آموزش دیده است، روی یک ربات فیزیکی بارگذاری می‌شود، این اختلافات کوچک روی هم انباشته می‌شوند. ربات انتظار دارد دنیا دقیقاً مانند شبیه‌ساز رفتار کند. وقتی این‌طور نمی‌شود، سیاست (policy) شکست می‌خورد و ربات قطعه را می‌اندازد یا قفل می‌کند.

در سال ۲۰۱۷، پژوهشگران OpenAI و دانشگاه کالیفرنیا، برکلی (UC Berkeley) راه‌حلی غیرمنتظره برای این شکاف واقعیت پیشنهاد کردند. آن‌ها به‌جای اینکه سال‌ها وقت صرف مهندسی یک شبیه‌ساز بی‌نقص فیزیکی و کاملاً واقع‌گرایانه کنند، تصمیم گرفتند شبیه‌ساز را به‌شدت غیرواقعی بسازند. این تکنیک که با نام تصادفی‌سازی دامنه (domain randomization) شناخته می‌شود، تلاش برای رسیدن به وفاداری کامل را به نفع تنوعی خیره‌کننده کنار می‌گذارد.[3]

در طول یک دوره آموزش تصادفی‌سازی دامنه، شبیه‌ساز پارامترهای محیط را در شروع هر اپیزود تغییر می‌دهد. رنگ میز ممکن است از صورتی نئونی به مشکی مات تغییر کند. زاویه نورپردازی عوض می‌شود. نویز استاتیک تصادفی به دوربین تزریق می‌شود. جرم جسم و ضریب اصطکاک گیره در یک محدوده مشخص تصادفی می‌شوند. لیلیان ونگ (Lilian Weng)، پژوهشگر هوش مصنوعی، توضیح می‌دهد: «با تصادفی‌سازی دامنه (DR)، ما قادر به ایجاد انواع محیط‌های شبیه‌سازی‌شده با ویژگی‌های تصادفی هستیم و مدلی را آموزش می‌دهیم که در همه آن‌ها کار کند.»[2]

با مجبور کردن شبکه عصبی به موفقیت در هزاران محیط عجیب و تصادفی، الگوریتم یاد می‌گیرد که جزئیات نامربوط را نادیده بگیرد. اگر رنگ میز هر سه ثانیه تغییر کند، شبکه یاد می‌گیرد که رنگ میز برای حل مسئله بی‌فایده است. شبکه مجبور می‌شود روی ویژگی‌های اصلی و تغییرناپذیر مسئله، مانند شکل هندسی جسمی که باید بگیرد، تمرکز کند.

نتایج این تعمیم اجباری قابل‌توجه است. در مقاله بنیادین سال ۲۰۱۷، تیم OpenAI و برکلی یک تشخیص‌دهنده اشیا را تنها با استفاده از تصاویر شبیه‌سازی‌شده‌ای که با بافت‌های غیرواقعی و تصادفی پوشیده شده بودند، آموزش دادند. وقتی این سیستم روی سخت‌افزار فیزیکی پیاده‌سازی شد، توانست اشیا را با دقت ۱.۵ سانتی‌متر در دنیای واقعی مکان‌یابی کند. پژوهشگران نتیجه گرفتند: «با وجود تنوع کافی در شبیه‌ساز، دنیای واقعی ممکن است برای مدل تنها به‌عنوان یک تنوع دیگر به نظر برسد.»[3]

این تکنیک به‌سرعت از تشخیص ساده اشیا به دستکاری‌های بسیار پیچیده و پرتماس گسترش یافت. در ژوئیه ۲۰۱۸، OpenAI از داکتیل (Dactyl) رونمایی کرد؛ سیستمی که یاد گرفت یک بلوک چوبی و یک مکعب روبیک را با استفاده از دست ماهر شادو (Shadow Dexterous Hand) دستکاری کند. این دست رباتیک دارای ۲۴ درجه آزادی مستقل بود که کنترل آن را به‌شدت دشوار می‌کرد.

داکتیل کاملاً در یک شبیه‌سازی تصادفی آموزش دیده بود. این سیستم باید با تغییر گرانش مجازی، جرم‌های متغیر اشیا و ضرایب اصطکاک تصادفی سازگار می‌شد. وقتی سیاست نهایی روی دست فیزیکی شادو بارگذاری شد، توانست بلوک را بدون هیچ‌گونه تنظیم دقیق در دنیای واقعی، با موفقیت در پیکربندی‌های هدف بچرخاند. تیم OpenAI گزارش داد: «نتایج ما نشان می‌دهد که می‌توان عامل‌ها را در شبیه‌سازی آموزش داد و از آن‌ها خواست وظایف دنیای واقعی را بدون مدل‌سازی فیزیکی دقیق جهان حل کنند.»

طی چند سال بعد، تصادفی‌سازی دامنه از آزمایشگاه‌های تحقیقاتی به تولید صنعتی راه یافت. تولید با تنوع بالا و حجم پایین نیازمند این است که ربات‌ها با قطعات و موقعیت‌های متنوع سازگار شوند؛ چالشی که برنامه‌نویسی صلب سنتی قادر به حل آن نیست. در مه ۲۰۲۳، انویدیا (NVIDIA) مجموعه الگوریتم‌های اینداست‌ریل (IndustReal) را معرفی کرد که برای انتقال مهارت‌های مونتاژ پرتماس از شبیه‌سازی به کف کارخانه‌های فیزیکی طراحی شده بود.[1]

مونتاژ صنعتی به دقت میلی‌متری نیاز دارد. برای دستیابی به این هدف، مهندسان تصادفی‌سازی دامنه را با استراتژی‌های کنترل پیشرفته ترکیب می‌کنند. سیاست‌ها با استفاده از کنترل امپدانس (impedance control) پیاده‌سازی می‌شوند که نیروهای تعامل دینامیکی بین ربات و محیط را مدیریت می‌کند. روی یک ربات فیزیکی UR10e، این کنترل‌کننده‌های سفارشی دستورات را با نرخ ۵۰۰ هرتز اجرا می‌کنند و به بازو اجازه می‌دهند تا فوراً به تماس فیزیکی که شبیه‌ساز ممکن است کاملاً پیش‌بینی نکرده باشد، واکنش نشان دهد.[5]

تا اواخر سال ۲۰۲۳، مقیاس انتقال شبیه‌ساز به واقعیت به‌طور چشمگیری گسترش یافته بود. پژوهشگران چارچوب‌هایی مانند دکستریم (Dextreme) را ارائه کردند که انتقال مهارت‌های چابک دستکاری درون‌دستی را نشان می‌داد. چارچوب اینداست‌ریل انویدیا به‌روزرسانی‌های سیاست آگاه از شبیه‌سازی را با برنامه‌های آموزشی مبتنی بر نمونه‌برداری ترکیب کرد تا مهارت‌های مونتاژ را در شبیه‌سازی آموزش دهد. این سیستم به‌طور خاص طراحی شده بود تا از سوءاستفاده هوش مصنوعی از بی‌دقتی‌های فیزیک در دنیای مجازی جلوگیری کند.[1][4]

وقتی سیاست‌های اینداست‌ریل آزمایش شدند، به نرخ موفقیت بالایی در مونتاژهای متنوع و پرتماس دست یافتند. با این حال، آزمایش حیاتی، انتقال بدون نمونه (zero-shot) به دنیای واقعی بود. این سیاست‌ها پس از پیاده‌سازی روی یک بازوی رباتیک فیزیکی UR10e مجهز به دوربین‌های استاندارد، در محیط‌های دیده‌نشده برای آزمایش‌های فیزیکی مورد ارزیابی قرار گرفتند.[1]

ربات‌های فیزیکی در دنیای واقعی به نرخ موفقیتی دست یافتند که با خطوط پایه شبیه‌سازی‌شده آن‌ها رقابت می‌کرد. شرایط آموزش تصادفی آن‌قدر نامطلوب و پرهرج‌ومرج بود که محیط آزمایشگاه فیزیکی در واقع برای مسیریابی شبکه عصبی قابل‌مدیریت‌تر به نظر می‌رسید.[1]

موفقیت انتقال بدون نمونه از شبیه‌ساز به واقعیت، اقتصاد رباتیک را اساساً تغییر می‌دهد. استهلاک سخت‌افزار در طول مرحله یادگیری حذف می‌شود. جمع‌آوری داده‌ها به‌جای سرعت زمان فیزیکی، با سرعت محاسبات مقیاس می‌یابد.

از آنجا که موتورهای شبیه‌سازی فیزیک سریع‌تر از زمان واقعی و رندرینگ رهگیری پرتو (ray-traced) را در خود جای داده‌اند، شکاف واقعیت از هر دو طرف در حال باریک شدن است. ربات فیزیکی دیگر دانش‌آموزی نیست که از طریق آزمون و خطا یاد می‌گیرد؛ بلکه صرفاً ظرف نهایی برای هوشی است که در یک میلیون دنیای مجازی تصادفی ساخته شده است.[5]