مدل‌های بزرگ بینایی-زبان-عمل (VLA) چگونه به ربات‌ها قدرت درک و تعامل با جهان فیزیکی می‌دهند؟

تصور کنید یک مغز مصنوعی با ۷ میلیارد پارامتر، که روی نزدیک به یک میلیون عمل رباتیک در دنیای واقعی آموزش دیده است، می‌تواند به یک میز شلوغ نگاه کند، دستور «فنجان آبی را بردار» را بشنود و مستقیماً ولتاژ موتورها را برای انجام آن کار تولید کند.

این دقیقاً مقیاس و توانایی مدل‌های بزرگ بینایی-زبان-عمل (VLA) است. این سیستم‌های پیشرفته نمایانگر یک تغییر بنیادین در نحوه درک و تعامل ماشین‌ها با جهان فیزیکی پیرامون خود هستند و مرزهای هوش مصنوعی تجسم‌یافته را جابه‌جا می‌کنند.

برای دهه‌ها، علم رباتیک به خطوط لوله پردازشی چندتکه و مجزا متکی بود. در این سیستم‌های سنتی، یک ماژول اشیاء را شناسایی می‌کرد، سیستم دیگری مسیر حرکت را برنامه‌ریزی می‌کرد و در نهایت یک کنترل‌کننده مجزا موتورها را به حرکت درمی‌آورد.

مدل‌های VLA تمام این خط لوله پیچیده را در یک شبکه عصبی واحد فشرده می‌کنند. آن‌ها شکاف تاریخی بین استدلال دیجیتالی در فضای مجازی و اجرای فیزیکی در دنیای واقعی را به طور کامل از بین می‌برند.

با در نظر گرفتن اعمال فیزیکی به عنوان شکل دیگری از زبان، این مدل‌ها به ربات‌ها اجازه می‌دهند تا از دانش عظیم موجود در اینترنت برای حل مسائل پیش‌بینی‌نشده در دنیای واقعی استفاده کنند.

ترجمه فیزیک به زبان

مکانیسم اصلی یک مدل VLA بر پایه یک ایده خلاف شهود اما بسیار قدرتمند بنا شده است: در نظر گرفتن حرکات فیزیکی پیوسته به عنوان رشته‌ای از متن. این رویکرد نحوه پردازش اطلاعات را دگرگون می‌کند.

در یک مدل زبانی بزرگ (LLM) سنتی، شبکه عصبی کلمه بعدی را در یک دنباله متنی پیش‌بینی می‌کند. مدل‌های VLA این مفهوم را گسترش می‌دهند تا به جای کلمات، عمل فیزیکی بعدی ربات را پیش‌بینی کنند.

این فرآیند پیچیده با عنوان «توکنیزه کردن عمل» شناخته می‌شود. متغیرهای فیزیکی پیوسته، مانند زاویه دقیق یک بازوی رباتیک یا میزان نیروی گرفتن یک دست مکانیکی، به توکن‌های گسسته و قابل فهم برای ماشین تبدیل می‌شوند.

پژوهشگران گوگل دیپ‌مایند در مقاله بنیادین RT-2 توضیح می‌دهند: «ما بررسی می‌کنیم که چگونه مدل‌های بینایی-زبان آموزش‌دیده روی داده‌های در مقیاس اینترنت، می‌توانند مستقیماً در کنترل رباتیک سرتاسری (End-to-End) ادغام شوند.»[1]

زمانی که مدل یک تصویر را از دوربین خود و یک دستور متنی را از کاربر دریافت می‌کند، آن‌ها را به صورت یکپارچه پردازش می‌کند. خروجی این پردازش، رشته‌ای از توکن‌های عمل است که سخت‌افزار ربات آن‌ها را دوباره به حرکت فیزیکی ترجمه می‌کند.

این رویکرد یکپارچه به این معناست که مدل تنها یک سیب را در تصویر تشخیص نمی‌دهد؛ بلکه به طور ذاتی درک می‌کند که چگونه باید گیره رباتیک را قرار دهد تا سیب را بدون له کردن آن از روی میز بردارد.

معماری درک و تعامل

ساخت یک مدل VLA نیازمند ادغام دو نوع متمایز از معماری‌های هوش مصنوعی است: رمزگذارهای بصری (Visual Encoders) و ستون فقرات زبانی. این ترکیب به ماشین اجازه می‌دهد تا هم ببیند و هم استدلال کند.

رمزگذار بصری به عنوان چشمان ربات عمل می‌کند. در مدل‌های متن‌بازی مانند OpenVLA، این بخش معمولاً ترکیبی از ترانسفورمرهای بینایی تخصصی مانند DINOv2 و SigLIP است که برای درک عمیق تصاویر طراحی شده‌اند.[2]

این رمزگذارها ویژگی‌های فضایی و معنایی عمیقی را از فید ویدیویی دوربین استخراج می‌کنند. آن‌ها محیط فیزیکی و اشیاء درون آن را به یک فضای ریاضیاتی نگاشت می‌کنند که برای مدل زبانی قابل درک باشد.

ستون فقرات زبانی، که اغلب مدلی مانند Llama 2 است، به عنوان موتور استدلال سیستم عمل می‌کند. این بخش ویژگی‌های بصری استخراج‌شده و دستور متنی کاربر را دریافت کرده و تصمیم می‌گیرد که ربات در مرحله بعد چه کاری باید انجام دهد.

از آنجا که ستون فقرات زبانی میلیاردها صفحه متن اینترنتی را در طول آموزش خود مطالعه کرده است، گنجینه‌ای از استدلال‌های مبتنی بر عقل سلیم را به وظایف فیزیکی و مکانیکی ربات اضافه می‌کند که پیش از این غیرممکن بود.

اگر به ربات دستور داده شود که «میوه را به داخل کاسه منتقل کن»، مدل می‌داند که سیب یک میوه است، حتی اگر کلمه «سیب» هرگز به طور صریح در داده‌های آموزش رباتیک آن ذکر نشده باشد.

غلبه بر شکاف تجسم

با وجود قدرت بی‌نظیر استدلال و درک محیط، مدل‌های VLA با یک چالش فیزیکی منحصربه‌فرد به نام «شکاف تجسم» (Embodiment Gap) روبرو هستند که استقرار آن‌ها را در سناریوهای دنیای واقعی و محیط‌های کنترل‌نشده بسیار پیچیده می‌کند.

مدلی که روی داده‌های حرکتی یک بازوی رباتیک خاص در یک آزمایشگاه آموزش دیده است، نمی‌تواند به طور یکپارچه و بدون خطا یک ربات کاملاً متفاوت با مفاصل و موتورهای مجزا را کنترل کند.

ساختار فیزیکی، توزیع وزن، طول بازوها و دینامیک موتورهای ربات جدید، عدم تطابقی جدی با انتظارات و الگوهای یادگرفته‌شده مدل ایجاد می‌کند که می‌تواند منجر به حرکات اشتباه یا خطرناک شود.

برای حل این مشکل بنیادین، پژوهشگران از تکنیک تنظیم دقیق هدفمند (Fine-tuning) استفاده می‌کنند. آن‌ها مدل از پیش آموزش‌دیده VLA را در معرض مجموعه داده کوچکی از نمایش‌های حرکتی ربات جدید قرار می‌دهند تا با فیزیک آن آشنا شود.

تکنیک‌هایی مانند تطبیق رتبه پایین (LoRA) به مهندسان اجازه می‌دهند تا تنها کسر بسیار کوچکی از پارامترهای مدل را تغییر دهند. این رویکرد باعث می‌شود فرآیند انطباق با ربات جدید بسیار سریع و از نظر محاسباتی ارزان باشد.

مطالعات اخیر حتی استقرار مدل‌های VLA را روی بازوهای رباتیک نرم و پیوسته نشان داده‌اند. این آزمایش‌ها ثابت می‌کنند که تنظیم دقیق می‌تواند شکاف بین داده‌های آموزشی ربات‌های صلب و سخت‌افزارهای انعطاف‌پذیر و غیرقابل پیش‌بینی را پر کند.[5]

تلاش برای کارایی محاسباتی

اندازه عظیم مدل‌های VLA که اغلب بین ۷ میلیارد تا ۵۵ میلیارد پارامتر متغیر است، گلوگاه‌های محاسباتی قابل‌توجهی را برای کنترل رباتیک در زمان واقعی ایجاد می‌کند و نیازمند سخت‌افزارهای پردازشی بسیار قدرتمندی است.

یک ربات برای واکنش ایمن به یک محیط پویا، باید ورودی‌های بصری را پردازش کرده و دستورات حرکتی را در کسری از میلی‌ثانیه تولید کند. مدل‌های سنگین تأخیرهای خطرناکی را به این چرخه کنترلی وارد می‌کنند.

پژوهشگران اکنون در حال کشف این واقعیت هستند که این معماری‌های عظیم، زمانی که برای کنترل پیوسته فیزیکی استفاده می‌شوند، دارای افزونگی بازنمایی لایه‌ای (Layer-wise Redundancy) بسیار شدیدی هستند که می‌توان آن‌ها را حذف کرد.

یک مقاله پژوهشی در سال ۲۰۲۶ با عنوان «تنظیم دقیق مدل‌های بینایی-زبان-عمل به لایه‌های کمتری از آنچه فکر می‌کنید نیاز دارد» اشاره می‌کند: «تا ۵۰ درصد از عمق مدل می‌تواند به طور دائم و بدون افت عملکرد فشرده شود.»[4]

با حذف لایه‌های دوقلو و اضافی با استفاده از تکنیک تراز هسته مرکزی (Centered Kernel Alignment)، مهندسان می‌توانند زمان آموزش مدل را به نصف کاهش داده و استنتاج در زمان واقعی را تا ۳۰ درصد تسریع کنند.

این فشرده‌سازی ساختاری کاملاً بدون نیاز به آموزش مجدد انجام می‌شود. این روش نیاز به انتخابگرهای لایه پویا و پیچیده را دور می‌زند و اجرای مدل‌های VLA را روی سخت‌افزارهای تجاری و ارزان‌قیمت امکان‌پذیر می‌سازد.

آینده ربات‌های همه‌منظوره

تکامل از پیشگامان متن‌بسته مانند RT-2 به چارچوب‌های کارآمد و متن‌باز مانند OpenVLA، نشان‌دهنده دموکراتیزه شدن هوش مصنوعی تجسم‌یافته است. این تغییر پارادایم، دسترسی به فناوری‌های پیشرفته رباتیک را برای آزمایشگاه‌های کوچک‌تر فراهم می‌کند.

پژوهشگران دیگر نیازی به مراکز داده عظیم ندارند تا به یک ربات آموزش دهند که چگونه محیط خود را درک کند. دانش بنیادین و درک فیزیکی از قبل در وزن‌های از پیش آموزش‌دیده این مدل‌ها گنجانده شده است.

با رشد مداوم مجموعه داده‌های مرجع مانند Open X-Embodiment، تنوع تعاملات فیزیکی و اشیایی که این مدل‌ها درک می‌کنند، به صورت نمایی گسترش خواهد یافت و قابلیت‌های ربات‌ها را به سطح جدیدی ارتقا می‌دهد.

هدف نهایی در این مسیر، دستیابی به یک سیاست رباتیک همه‌منظوره است: یک مدل واحد و یکپارچه که بتوان آن را دانلود کرد، با کمی تنظیم دقیق تطبیق داد و روی هر ماشینی در هر مکانی مستقر کرد.

مدل‌های VLA با تلفیق عمق شناختی مدل‌های زبانی بزرگ و مهارت فیزیکی سیستم‌های رباتیک، در حال تبدیل کردن جهان فیزیکی به یک فضای کاملاً برنامه‌ریزی‌پذیر و قابل درک برای ماشین‌ها هستند.