رفتن به محتوای اصلی
توضیح کوهستانرندر هوش مصنوعیکالبدشکافی۲۷ مرداد ۱۴۰۵، ۱۳:۱۷· 6 دقیقه مطالعه· #1 از 3 در فناوری

کالبدشکافی ارتقای مقیاس (DLSS/FSR): کارت گرافیک شما واقعاً چگونه پیکسل‌های نامرئی را حدس می‌زند؟

فناوری‌های ارتقای مقیاس مانند DLSS و FSR به جای رندر کردن تمام پیکسل‌های یک بازی، بخش بزرگی از آن‌ها را با استفاده از داده‌های زمانی و هوش مصنوعی پیش‌بینی می‌کنند. اما این «عملکرد رایگان» چگونه کار می‌کند و چه بهایی دارد؟

به قلم غزل بختیاری

توسعه‌دهندگان بازی 40%پیشگامان هوش مصنوعی 35%تحلیلگران مستقل 25%
توسعه‌دهندگان بازی
آن‌ها ارتقای مقیاس را ابزاری ضروری برای عبور از محدودیت‌های سخت‌افزاری و خلق گرافیک‌های واقع‌گرایانه می‌دانند.
پیشگامان هوش مصنوعی
آن‌ها معتقدند شبکه‌های عصبی تنها راه برای غلبه بر محدودیت‌های فیزیکی رندرینگ سیلیکونی هستند.
تحلیلگران مستقل
آن‌ها ضمن تایید افزایش چشمگیر عملکرد، به خطاهای بصری و تاخیرهای ایجاد شده توسط این فناوری‌ها اشاره می‌کنند.

نکات کلیدی

  1. ارتقای مقیاس زمانی به جای کشیدن ساده تصویر، از داده‌های فریم‌های قبلی برای پیش‌بینی فریم فعلی استفاده می‌کند.
  2. فناوری DLSS انویدیا از هوش مصنوعی و هسته‌های سخت‌افزاری تنسور برای بازسازی دقیق لبه‌ها و بافت‌ها بهره می‌برد.
  3. فناوری FSR شرکت AMD یک استاندارد متن‌باز است که بدون نیاز به هوش مصنوعی، روی اکثر کارت‌های گرافیک و کنسول‌ها کار می‌کند.
  4. قابلیت «تولید فریم» با استفاده از تحلیل جریان نوری، فریم‌های کاملاً جدیدی را بین فریم‌های واقعی خلق می‌کند تا نرخ فریم دو برابر شود.
  5. اتکای این سیستم‌ها به بردارهای حرکتی باعث می‌شود در حرکات سریع و غیرقابل پیش‌بینی، خطاهای بصری مانند شبح‌سازی (Ghosting) رخ دهد.

همه می‌خواهند بازی‌های ویدیویی را با وضوح 4K بومی (Native) و نرخ ۱۲۰ فریم بر ثانیه تجربه کنند. اما مشکل اصلی در این مسیر، قوانین فیزیک و محدودیت‌های پردازشی است. رندر کردن بیش از ۸ میلیون پیکسل، آن هم ۱۲۰ بار در هر ثانیه و با محاسبات سنگین نورپردازی‌های پیچیده مانند رهگیری پرتو (Ray Tracing)، حتی قدرتمندترین و گران‌ترین کارت‌های گرافیک بازار را نیز به زانو درمی‌آورد. راه‌حل صنعت بازی‌سازی برای عبور از این بن‌بست، ساختن سیلیکون‌های غیرممکن و جادویی نبود؛ آن‌ها تصمیم گرفتند به شکل هوشمندانه‌ای تقلب کنند. مهندسان گرافیک تصمیم گرفتند رندر کردن تمام پیکسل‌ها در وضوح 4K را متوقف کنند و در عوض، بخش بزرگی از پیکسل‌های از دست رفته را به سادگی «حدس» بزنند. این تغییر پارادایم، آغازگر عصری بود که در آن کیفیت تصویر دیگر تنها به قدرت خام پردازنده بستگی نداشت.[1][3]

در گذشته، عبارت «ارتقای مقیاس» (Upscaling) یک کلمه منفور در میان گیمرها بود. ارتقادهنده‌های فضایی (Spatial) که در تلویزیون‌ها و کنسول‌های قدیمی استفاده می‌شدند، رویکردی بسیار ابتدایی داشتند. آن‌ها صرفاً یک تصویر با وضوح پایین مانند 1080p را می‌گرفتند، آن را می‌کشیدند تا روی یک صفحه نمایش بزرگتر 4K جا شود، و سپس یک فیلتر وضوح (Sharpening) ساده روی آن اعمال می‌کردند. نتیجه این فرآیند، یک تصویر تار، دندانه‌دار و بی‌کیفیت بود که گیمرها بلافاصله آن را در تنظیمات بازی خاموش می‌کردند. ریاضیات پشت این روش سنتی بیش از حد ساده بود: شما نمی‌توانید جزئیات و بافت‌های پیچیده را از هیچ خلق کنید، آن هم وقتی در هر لحظه فقط در حال پردازش و نگاه کردن به یک فریم منفرد هستید.[4]

انقلاب واقعی در کیفیت تصویر با ظهور ارتقای مقیاس «زمانی» (Temporal) آغاز شد؛ فناوری‌های پیشگامی مانند وضوح فوق‌العاده زمانی (TSR) در موتور بازی‌سازی آنریل انجین و نسخه دوم FSR شرکت AMD. این الگوریتم‌های جدید به جای اینکه فقط به فریم فعلی و اطلاعات محدود آن نگاه کنند، به «گذشته» نگاه می‌کنند. از آنجایی که یک بازی ویدیویی معمولاً با سرعت ۶۰ یا ۱۲۰ فریم بر ثانیه اجرا می‌شود، تفاوت بصری بین فریم اول و فریم دوم در کسری از ثانیه بسیار ناچیز است. با نگه داشتن تاریخچه‌ای از فریم‌های قبلی در حافظه، پردازنده گرافیکی می‌تواند داده‌های باکیفیت گذشته را با هم ترکیب کند تا جزئیات از دست رفته فریم حال حاضر را با دقتی خیره‌کننده پر کند.[2][3]

اما سوال اساسی این است که سیستم چگونه می‌فهمد اشیاء درون بازی به کدام سمت حرکت کرده‌اند تا فریم‌های قبلی را به درستی روی فریم جدید منطبق کند؟ پاسخ در داده‌هایی به نام «بردارهای حرکتی» (Motion Vectors) نهفته است. موتورهای بازی‌سازی مدرن این داده‌های نامرئی را تولید می‌کنند تا به پردازنده گرافیکی دقیقاً بگویند که هر پیکسل در فضای سه‌بعدی در حال حرکت به کدام جهت و با چه سرعتی است. اگر یک شخصیت در بازی به سمت راست بدود، بردارهای حرکتی به الگوریتم ارتقادهنده دستور می‌دهند که جزئیات باکیفیت لباس و چهره آن شخصیت را از فریم قبلی بردارد و برای ساخت فریم جدید، آن‌ها را دقیقاً به همان میزان به سمت راست منتقل کند.[3][4]

شرکت انویدیا (Nvidia) این مفهوم زمانی را یک قدم جلوتر برد و با تزریق هوش مصنوعی به آن، فناوری DLSS را خلق کرد. DLSS به جای استفاده از یک الگوریتم ثابت و دست‌نویس برای ترکیب گذشته و حال، فریم با وضوح پایین، بافر عمق و بردارهای حرکتی را به عنوان ورودی به یک شبکه عصبی پیشرفته می‌خوراند. این مدل هوش مصنوعی روی ابررایانه‌های قدرتمند انویدیا و با استفاده از مقایسه مداوم با تصاویر مرجع با وضوح خیره‌کننده 16K آموزش دیده است. شبکه عصبی در طول این آموزش یاد می‌گیرد که لبه‌های دندانه‌دار و بافت‌های تار، پس از بازسازی کامل و بی‌نقص دقیقاً چگونه باید به نظر برسند و این دانش را در زمان واقعی روی بازی شما اعمال می‌کند.[1][4]

شرکت انویدیا (Nvidia) این مفهوم زمانی را یک قدم جلوتر برد و با تزریق هوش مصنوعی به آن، فناوری DLSS را خلق کرد.

برای انجام این محاسبات سنگین ماتریسی در کسری از میلی‌ثانیه، انویدیا سخت‌افزار فیزیکی اختصاصی به نام «هسته‌های تنسور» (Tensor Cores) را درون معماری کارت‌های گرافیک سری RTX خود تعبیه کرد. از سوی دیگر، فناوری FSR شرکت AMD رویکردی کاملاً متفاوت و دموکراتیک‌تر دارد. FSR یک استاندارد متن‌باز است که برای اجرا نیازی به هسته‌های هوش مصنوعی ندارد و مستقیماً روی هسته‌های سایه‌زن (Shader) سنتی اجرا می‌شود. این فناوری بر ریاضیات الگوریتمی بسیار بهینه‌شده تکیه دارد، که همین امر باعث می‌شود تقریباً با هر کارت گرافیکی از برندهای مختلف، و حتی کنسول‌های خانگی مانند پلی‌استیشن ۵ و ایکس‌باکس سری ایکس، به طور کامل سازگار باشد.[1][2]

رقابت تسلیحاتی در دنیای گرافیک کامپیوتری به بازسازی پیکسل‌ها ختم نشد؛ بلکه خیلی زود به خلق کل فریم‌ها کشیده شد. نسخه‌های جدیدتر این فناوری‌ها، یعنی DLSS 3 و FSR 3، قابلیت انقلابی «تولید فریم» (Frame Generation) را به دنیای بازی‌ها معرفی کردند. در این حالت، پردازنده گرافیکی به جای اینکه فقط یک فریم 1080p را به 4K ارتقا دهد، به فریم اول و فریم سوم نگاه می‌کند و با استفاده از تحلیل پیچیده جریان نوری (Optical Flow)، فریم دوم را به طور کامل در فضای خالی بین آن‌ها توهم‌سازی و خلق می‌کند. این تکنیک می‌تواند نرخ فریم خروجی را فوراً دو برابر کند و یک بازی سنگین ۴۰ فریمی را به یک تجربه بصری روان ۸۰ فریمی تبدیل نماید.[1][2]

با این حال، این «عملکرد رایگان» و نرخ فریم‌های بالا بدون هزینه به دست نمی‌آیند. از آنجایی که کارت گرافیک برای تولید فریم دومِ مصنوعی باید منتظر رندر شدن فریم سومِ واقعی بماند، یک تاخیر ورودی (Input Lag) ذاتی در سیستم ایجاد می‌شود. وقتی شما روی موس کلیک می‌کنید یا دکمه‌ای را روی کنترلر فشار می‌دهید، واکنش بازی روی صفحه نمایش با چند میلی‌ثانیه تاخیر احساس می‌شود. به همین دلیل، هنگام فعال کردن قابلیت تولید فریم، استفاده از فناوری‌های کاهش تاخیر مانند Nvidia Reflex کاملاً اجباری است تا با بهینه‌سازی مسیر ارتباطی پردازنده مرکزی به پردازنده گرافیکی، این زمان‌های از دست رفته تا حد امکان جبران شوند.[1]

علاوه بر مسئله تاخیر، این توهم گرافیکی از نظر بصری نیز کاملاً بی‌نقص نیست. وقتی هوش مصنوعی یا الگوریتم‌های زمانی در پیش‌بینی حرکت اشتباه می‌کنند، شما شاهد «آرتیفکت» (Artifacts) یا خطاهای بصری آزاردهنده‌ای خواهید بود. شایع‌ترین این خطاها «شبح‌سازی» (Ghosting) است؛ پدیده‌ای که در آن یک شیء با حرکت بسیار سریع، ردپایی تار و محو از خود در پس‌زمینه به جا می‌گذارد زیرا تاریخچه زمانی سیستم هنوز نتوانسته خود را با موقعیت جدید تطبیق دهد. اشیاء نازک با کنتراست بالا مانند فنس‌های سیمی، خطوط انتقال برق یا قطرات ریز باران نیز اغلب سوسو می‌زنند، زیرا داده‌های پیکسلی کافی در فریم‌های پایه برای ردیابی دقیق حرکت آن‌ها وجود ندارد.[3][4]

با وجود تمام این نقص‌ها و چالش‌های فنی، ارتقای مقیاس هوش مصنوعی و تولید فریم، مسیر گرافیک کامپیوتری را برای همیشه تغییر داده‌اند. ما اکنون به دورانی رسیده‌ایم که رندر کردن در «وضوح بومی» دیگر استاندارد طلایی و نهایی صنعت نیست. شبکه‌های عصبی و الگوریتم‌های زمانی به قدری پیشرفته شده‌اند که یک تصویر 1440p که توسط DLSS به 4K بازسازی شده، در بسیاری از مواقع بهتر، واضح‌تر و باثبات‌تر از یک تصویر 4K بومی که با روش‌های سنتی پردازش شده است، به نظر می‌رسد. آینده گرافیک در بازی‌های ویدیویی دیگر در رندر کردن پیکسل‌های بیشتر و فشار آوردن به محدودیت‌های سیلیکون نیست؛ بلکه در رندر کردن پیکسل‌های هوشمندتر است.[1][4][5]

اصطلاحات کلیدی

ارتقای مقیاس (Upscaling)
فرآیند گرفتن یک تصویر با وضوح پایین و افزایش ابعاد آن برای نمایش روی یک صفحه نمایش با وضوح بالاتر.
بردارهای حرکتی (Motion Vectors)
داده‌هایی که توسط موتور بازی تولید می‌شوند و جهت و سرعت دقیق حرکت هر پیکسل را روی صفحه نمایش ردیابی می‌کنند.
هسته‌های تنسور (Tensor Cores)
سخت‌افزار تخصصی درون کارت‌های گرافیک سری RTX انویدیا که منحصراً برای تسریع محاسبات هوش مصنوعی طراحی شده‌اند.
تولید فریم (Frame Generation)
فناوری جدیدی که با استفاده از تحلیل جریان نوری، فریم‌های کاملاً جدید و مصنوعی را پیش‌بینی کرده و بین فریم‌های واقعی قرار می‌دهد.
شبح‌سازی (Ghosting)
یک خطای بصری در ارتقای مقیاس زمانی که در آن یک شیء با حرکت سریع، ردپایی تار و محو از موقعیت‌های قبلی خود به جا می‌گذارد.

منابع

پوشش منابع

5 منبع

3 دیدگاه شناسایی‌شده

توسعه‌دهندگان بازی 40%پیشگامان هوش مصنوعی 35%تحلیلگران مستقل 25%
  1. [1]Nvidiaپیشگامان هوش مصنوعی

    NVIDIA DLSS: A suite of neural rendering technologies

    مطالعه در Nvidia
  2. [2]GPUOpenتوسعه‌دهندگان بازی

    AMD FidelityFX Super Resolution 3 (FSR 3)

    مطالعه در GPUOpen
  3. [3]Epic Gamesتوسعه‌دهندگان بازی

    Temporal Super Resolution in Unreal Engine

    مطالعه در Epic Games
  4. [4]Wikipediaتحلیلگران مستقل

    Deep Learning Super Sampling (DLSS)

    مطالعه در Wikipedia
  5. [5]تیم سردبیری کوهستانتحلیلگران مستقل

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت فناوری اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.