رفتن به محتوای اصلی
Koohestun
توضیح کوهستانواقعیت ترکیبیکالبدشکافی· 5 دقیقه مطالعه· در فناوری

کالبدشکافی رایانش فضایی: هدست‌ها واقعاً چگونه دنیای واقعی را به چشمان شما می‌دوزند؟

وقتی هدست‌های واقعیت ترکیبی را روی چشم می‌گذارید، شما در حال تماشای دنیای واقعی نیستید؛ بلکه در حال تماشای یک بازسازی سه‌بعدی هستید که در کمتر از ۲۰ میلی‌ثانیه خلق شده است.

به قلم دلناز نورانی

مهندسان سخت‌افزار 40%پژوهشگران ادراک 30%متخصصان اپتیک محاسباتی 30%
مهندسان سخت‌افزار
تمرکز بر کاهش تاخیر فوتون تا فوتون از طریق طراحی تراشه‌های اختصاصی و دور زدن گلوگاه‌های سیستم‌عامل.
پژوهشگران ادراک
هشدار درباره اثرات روان‌شناختی و بیولوژیکی استفاده طولانی‌مدت از دنیای بازتولید شده.
متخصصان اپتیک محاسباتی
تلاش برای جایگزینی الگوریتم‌های بازتولید تصویر با دوربین‌های میدان نوری برای ثبت پرسپکتیو واقعی.

دیدگاه‌هایی که این گزارش پوشش نداده

  • توسعه‌دهندگان نرم‌افزارهای واقعیت افزوده
  • کاربران نهایی با مشکلات بینایی

چرا مهم است

درک این فناوری به ما نشان می‌دهد چرا ترکیب دنیای دیجیتال و فیزیکی تا این حد دشوار است و چرا هدست‌های جدید به جای پردازنده‌های قوی‌تر، به معماری‌های کاملاً جدیدی برای فریب دادن مغز انسان نیاز دارند.

بازاریابی شرکت‌های فناوری آن را «رایانش فضایی» می‌نامند و وعده می‌دهند که مرز بین دنیای دیجیتال و فیزیکی به شفافیت یک شیشه از بین رفته است. منتقدان اما آن را صرفاً یک نمایشگر سنگین می‌دانند که به صورت بسته شده است و شما را از محیط اطراف منزوی می‌کند. حقیقت در جایی میان این دو ادعا پنهان است: وقتی یک هدست واقعیت ترکیبی مدرن را روی چشم می‌گذارید، شما به هیچ‌وجه در حال تماشای دنیای واقعی نیستید. شما در حال تماشای یک شبیه‌سازی سه‌بعدی و بی‌درنگ از اتاق نشیمن خود هستید که توسط ده‌ها سنسور در کسری از ثانیه خلق شده است.

ساده‌ترین ایده برای ساخت چنین دستگاهی این است که یک دوربین وب‌کم روی هدست نصب کنیم و تصویر آن را مستقیماً به نمایشگرهای داخلی بفرستیم. اما این رویکرد یک فاجعه بیولوژیکی به بار می‌آورد. دلیل آن پدیده‌ای به نام «خطای جابه‌جایی مردمک» (Pupil Offset) است. لنز دوربین‌های روی هدست معمولاً ۳ تا ۵ سانتی‌متر جلوتر از مردمک واقعی چشم شما قرار دارند. اگر این تصویر خام مستقیماً به چشم شما مخابره شود، مغزتان احساس می‌کند که چشم‌هایتان از جمجمه خارج شده‌اند. فواصل اشتباه به نظر می‌رسند، زمین بیش از حد نزدیک احساس می‌شود و حالت تهوع در کمتر از چند ثانیه بر شما غلبه می‌کند.

برای حل این مشکل هندسی، هدست‌ها به یک ترفند محاسباتی عظیم به نام «بازتولید تصویر» (Reprojection) متوسل می‌شوند. دستگاه با استفاده از سنسورهای مادون قرمز و اسکنرهای لایدار (LiDAR)، در هر لحظه یک شبکه سه‌بعدی (Mesh) نامرئی از تمام اشیاء موجود در اتاق شما می‌سازد. این شبکه مانند یک بوم نقاشی خالی است که هندسه دقیق محیط را در خود جای داده است.[2]

پس از ساخت این هندسه، نرم‌افزار هدست پیکسل‌های تخت ثبت‌شده توسط دوربین‌های خارجی را می‌گیرد و آن‌ها را مانند یک کاغذ دیواری روی این شبکه سه‌بعدی می‌چسباند. در مرحله نهایی، الگوریتم محاسبه می‌کند که این صحنه سه‌بعدی، اگر دوربین‌ها دقیقاً در همان نقطه فیزیکی مردمک چشم شما قرار داشتند، چگونه به نظر می‌رسید. این همان جادویی است که باعث می‌شود وقتی در هدست به لیوان روی میز نگاه می‌کنید، پرسپکتیو آن کاملاً طبیعی جلوه کند.[2]

با این حال، این ترفند محاسباتی بی‌نقص نیست و دلیل اصلی تفاوت ویدیوهای تبلیغاتی با تجربه واقعی کاربر همینجاست. وقتی به دست‌های خود در حال حرکت سریع نگاه می‌کنید، اغلب یک حالت «موج‌دار شدن» یا کشیدگی در لبه‌های انگشتان می‌بینید. این آرتیفکت‌های بازتولید زمانی رخ می‌دهند که سنسور عمق‌سنج نتواند لبه‌های دقیق یک شیء متحرک را در کسری از ثانیه نقشه‌برداری کند. در این حالت، الگوریتم مجبور به حدس زدن می‌شود و پیکسل‌ها را مانند یک آینه خمیده می‌کشد.[2]

با این حال، این ترفند محاسباتی بی‌نقص نیست و دلیل اصلی تفاوت ویدیوهای تبلیغاتی با تجربه واقعی کاربر همینجاست.

تمام این فرآیند پیچیده — ثبت نور، ساخت شبکه سه‌بعدی، بازتولید پرسپکتیو و روشن کردن پیکسل‌های نمایشگر OLED — باید در یک چارچوب زمانی بی‌رحمانه انجام شود. این محدودیت زمانی با معیاری به نام «تاخیر فوتون تا فوتون» (Photon-to-photon latency) سنجیده می‌شود؛ یعنی مدت زمانی که طول می‌کشد تا یک فوتون نور به دوربین هدست برخورد کند و فوتون معادل آن از نمایشگر به چشم شما برسد.

سیستم دهلیزی گوش میانی انسان که وظیفه حفظ تعادل را بر عهده دارد، یک قاضی سخت‌گیر است. تحقیقات نشان می‌دهد که اگر شما سر خود را بچرخانید و تصویر دنیای اطراف با تاخیری بیش از ۲۰ میلی‌ثانیه به‌روز شود، مغز متوجه یک ناهماهنگی حسی شدید می‌شود. در این شرایط، سیستم عصبی فرض می‌کند که شما یک سم عصبی مصرف کرده‌اید و برای دفاع از بدن، فرمان حالت تهوع (Cybersickness) را صادر می‌کند.

این آستانه ۲۰ میلی‌ثانیه‌ای دقیقاً همان دلیلی است که رایانش فضایی را نیازمند معماری‌های سخت‌افزاری کاملاً جدید کرده است. یک پردازنده استاندارد که یک سیستم‌عامل معمولی را اجرا می‌کند، نمی‌تواند این سرعت را تضمین کند. اگر یک اپلیکیشن سنگین باعث افت فریم شود یا سیستم‌عامل برای یک لحظه درگیر پردازش پس‌زمینه شود، دنیای واقعی در برابر چشمان شما یخ می‌زند و حالت تهوع فوری ایجاد می‌کند.[1]

شرکت اپل برای حل این بحران در هدست ویژن پرو، به یک معماری دو-تراشه‌ای روی آورده است. در حالی که تراشه M2 وظیفه اجرای اپلیکیشن‌ها و گرافیک را بر عهده دارد، یک تراشه کاملاً مجزا به نام R1 با پهنای باند حافظه ۲۵۶ گیگابایت بر ثانیه، صرفاً برای مدیریت ۱۲ دوربین، ۵ سنسور و ۶ میکروفون طراحی شده است. این تراشه با دور زدن کامل سیستم‌عامل، تاخیر فوتون تا فوتون را به ۱۲ میلی‌ثانیه می‌رساند؛ سرعتی که هشت برابر سریع‌تر از پلک زدن انسان است و مغز را با موفقیت فریب می‌دهد.[1]

اما آیا بازتولید تصویر پایان راه است؟ متخصصان اپتیک محاسباتی چنین باوری ندارند. آزمایشگاه‌های تحقیقاتی شرکت متا در حال کار بر روی نمونه‌های اولیه‌ای مانند «فلامرا» (Flamera) هستند که از فناوری دوربین‌های میدان نوری (Light-field) استفاده می‌کنند. این دوربین‌ها به جای ثبت یک تصویر تخت و تلاش برای سه‌بعدی کردن آن، پرتوهای نور را از زوایای مختلف فیزیکی ثبت می‌کنند و نیاز به حدس زدن نرم‌افزاری و ساخت شبکه سه‌بعدی را به طور کامل از بین می‌برند.[2]

این دستکاری مداوم در سیستم بینایی، نگرانی‌هایی را در جوامع علمی ایجاد کرده است. جرمی بیلن‌سون (Jeremy Bailenson)، استاد دانشگاه استنفورد و مدیر آزمایشگاه تعامل انسانی مجازی، پس از انجام آزمایش‌های طولانی‌مدت روی هدست‌های گذردهی هشدار می‌دهد: «با توجه به پیشرفت چشمگیر هدست‌های مبتنی بر گذردهی ویدیویی، زمان آن فرا رسیده است که تفکر آکادمیک جدی را به اثرات روان‌شناختی و رفتاری این فناوری اختصاص دهیم. ما باید پیامدهای زندگی در دنیایی را درک کنیم که در آن برای دیدن محیط اطرافمان، روزی چند ساعت به گذردهی ویدیویی وابسته هستیم.»[3]

تا زمانی که دوربین‌های میدان نوری به تولید انبوه برسند، رایانش فضایی به عنوان یک توهم درخشان اما شکننده باقی خواهد ماند. این فناوری بیش از آنکه نشان‌دهنده قدرت گرافیکی سیلیکون‌های امروزی باشد، گواهی بر این است که مهندسان تا چه حد دقیق توانسته‌اند محدودیت‌های بیولوژیکی و سیستم عصبی انسان را مهندسی معکوس کنند.[4]

نکات کلیدی

  • رایانش فضایی یک شیشه شفاف نیست، بلکه یک شبیه‌سازی سه‌بعدی بی‌درنگ از دنیای واقعی است.
  • دوربین‌های هدست به دلیل فاصله با چشم انسان، نمی‌توانند تصویر را مستقیماً پخش کنند و نیاز به بازتولید دارند.
  • تاخیر بیش از ۲۰ میلی‌ثانیه در این فرآیند باعث ایجاد ناهماهنگی حسی و حالت تهوع می‌شود.
  • معماری‌های دو-تراشه‌ای برای دور زدن سیستم‌عامل و تضمین سرعت پردازش زیر ۲۰ میلی‌ثانیه طراحی شده‌اند.
  • موج زدن تصویر در اطراف دست‌ها، یک محدودیت فیزیکی در الگوریتم‌های فعلی تخمین عمق است.

اصطلاحات کلیدی

گذردهی ویدیویی (Passthrough)
فناوری‌ای که به جای شیشه شفاف، از دوربین‌ها و نمایشگرها برای نشان دادن دنیای واقعی به کاربر استفاده می‌کند.
بازتولید تصویر (Reprojection)
فرآیند محاسباتی که تصویر ثبت‌شده توسط دوربین‌ها را تغییر شکل می‌دهد تا از زاویه دید دقیق مردمک چشم کاربر به نظر برسد.
خطای جابه‌جایی مردمک (Pupil Offset)
فاصله فیزیکی بین محل قرارگیری دوربین‌های روی هدست و مردمک واقعی چشم کاربر که باعث اعوجاج پرسپکتیو می‌شود.
بیماری حرکت سایبری (Cybersickness)
حالت تهوع و سرگیجه‌ای که به دلیل ناهماهنگی بین آنچه چشم در هدست می‌بیند و آنچه سیستم تعادلی گوش میانی احساس می‌کند، ایجاد می‌شود.

پرسش‌های متداول

آیا دوربین‌های گذردهی دقیقاً همان چیزی را نشان می‌دهند که چشم می‌بیند؟

خیر. دوربین‌ها در جلوی هدست قرار دارند و زاویه دید متفاوتی دارند. نرم‌افزار تصویر را روی یک مدل سه‌بعدی بازتولید می‌کند تا با زاویه چشم شما هماهنگ شود.

چرا هنگام حرکت دست‌ها در هدست، تصویر موج می‌زند؟

این پدیده به دلیل خطای تخمین عمق در الگوریتم بازتولید تصویر (Reprojection) رخ می‌دهد. وقتی سنسورها نتوانند لبه‌های دقیق دست را در حال حرکت سریع تشخیص دهند، پیکسل‌ها کشیده می‌شوند.

تاخیر فوتون تا فوتون چیست؟

مدت زمانی که طول می‌کشد تا نور وارد دوربین هدست شود، پردازش شود و از طریق نمایشگر به چشم شما برسد. برای جلوگیری از حالت تهوع، این زمان باید زیر ۲۰ میلی‌ثانیه باشد.

منابع

پوشش منابع

4 منبع

3 دیدگاه شناسایی‌شده

مهندسان سخت‌افزار 40%پژوهشگران ادراک 30%متخصصان اپتیک محاسباتی 30%
  1. [1]Appleمهندسان سخت‌افزار

    Apple Vision Pro - Technical Specifications

    مطالعه در Apple
  2. [2]Metaمتخصصان اپتیک محاسباتی

    Reality Labs Research at SIGGRAPH 2023: Flamera and Butterscotch Varifocal

    مطالعه در Meta
  3. [3]Stanford Universityپژوهشگران ادراک

    Stanford researchers test passthrough video headsets

    مطالعه در Stanford University
  4. [4]تیم سردبیری کوهستان

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت فناوری اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.