چگونه توابع انتقال مرتبط با سر صدای جهت‌دار را در بازی‌ها خلق می‌کنند

در داخل یک اتاق بدون پژواک در یک مرکز تحقیقاتی صدای فضایی، یک سوژه انسانی کاملاً بی‌حرکت نشسته است، در حالی که یک بازوی رباتیک آرایه‌ای از میکروفون‌ها را در یک کره ۳۶۰ درجه به دور سر او می‌چرخاند. این میکروفون‌ها در حال اندازه‌گیری یک اثر انگشت ریاضی هستند: اینکه چگونه چین‌خوردگی‌های خاص گوش خارجی این شخص، پهنای جمجمه و تراکم نیم‌تنه او، فرکانس یک موج صوتی را پیش از رسیدن به پرده گوش تغییر می‌دهند. این اندازه‌گیری، تابع انتقال مرتبط با سر (HRTF) را تولید می‌کند؛ همان الگوریتمی که صدای بازی‌های مدرن را ممکن می‌سازد.[4][5]

در یک شوتر سه‌بعدی رقابتی، شنیدن صدای پا در ارتفاع ۴۵ درجه و زاویه افقی ۱۲۰ درجه، مسئله مرگ و زندگی دیجیتال است. برای شبیه‌سازی این اتفاق از طریق یک جفت هدفون استریوی استاندارد، موتورهای بازی‌سازی به دو نشانه آکوستیک اصلی تکیه می‌کنند. اولین مورد، اختلاف زمانی بین دو گوش (ITD) است. اگر صدایی از سمت چپ بازیکن تولید شود، موج صوتی تقریباً ۳۰۰ تا ۴۰۰ میکروثانیه زودتر از گوش راست، به گوش چپ او برخورد می‌کند.

نشانه دوم، اختلاف سطح بین دو گوش (ILD) است که سایه آکوستیک ایجادشده توسط جمجمه انسان را در نظر می‌گیرد و باعث می‌شود صدا در گوش نزدیک‌تر، به طور قابل‌توجهی بلندتر باشد. با این حال، این دو نشانه به تنهایی نمی‌توانند مشکل «مخروط ابهام» را حل کنند. اگر منبع صدا دقیقاً در جلو یا دقیقاً در پشت بازیکن باشد، تفاوت‌های زمانی و سطحی کاملاً یکسان هستند. مغز برای تشخیص جلو از عقب و بالا از پایین، به مکانیزم سومی نیاز دارد.

این مکانیزم همان لاله گوش است؛ غضروف نامتقارن گوش خارجی. برجستگی‌های لاله گوش مانند یک فیلتر شانه‌ای پیچیده عمل می‌کنند که بسته به زاویه برخورد موج صوتی، فرکانس‌های بالای خاصی را تقویت و برخی دیگر را تضعیف می‌کنند. یک HRTF در واقع یک فیلتر دیجیتال است که دقیقاً همین تغییرات فرکانسی را در لحظه روی یک فایل صوتی تخت اعمال می‌کند. همان‌طور که جف اتوود در تحلیل بنیادین سال ۲۰۰۶ خود در بلاگ کدینگ هارر اشاره کرد: «ما فقط دو گوش داریم، اما می‌توانیم صداها را در سه بعد مکان‌یابی کنیم.»

مشکلی که توسعه‌دهندگان بازی‌های مدرن با آن روبه‌رو هستند این است که شکل گوش انسان مانند اثر انگشت منحصربه‌فرد است. بیشتر بازی‌های رقابتی از یک پروفایل HRTF عمومی استفاده می‌کنند که بر اساس اندازه‌گیری‌های انجام‌شده روی یک سر مانکن به نام کمار (KEMAR) ساخته شده است. اگر شکل فیزیکی گوش و پهنای سر یک بازیکن تا حد زیادی با این مانکن مطابقت داشته باشد، صدای فضایی بازی برای او مثل جادو عمل می‌کند و اجازه می‌دهد اهداف را از پشت موانع جامد ردیابی کند.[1]

اما اگر آناتومی بازیکن تفاوت چشمگیری با مدل مانکن داشته باشد، ریاضیات شکست می‌خورد. نتیجه این امر، گیج شدن مزمن در تشخیص صدای جلو و عقب و خطای شدید در تشخیص ارتفاع است. بازیکن صدای دشمنی را می‌شنود که از درگاه روبه‌رو در حال نزدیک شدن است، زاویه را پیش‌بینی کرده و شلیک می‌کند، اما بلافاصله از بالکنی در پشت سرش تیر می‌خورد. موتور بازی فایل صوتی درستی را پخش کرده، اما فیلتر عمومی HRTF نشانه‌های آکوستیک اشتباهی را برای مغز آن بازیکن خاص اعمال کرده است.[1][2]

برای حل این مشکل، محققان در حال ارزیابی پروفایل‌های آکوستیک سفارشی هستند. یک پیش‌چاپ در سال ۲۰۲۶ که در آرکایو (arXiv) منتشر شد، پنج سطح مختلف از شخصی‌سازی HRTF را در محیط‌های واقعیت مجازی ارزیابی کرد؛ از سرهای مانکن عمومی گرفته تا اسکن‌های آکوستیک کاملاً شخصی‌سازی‌شده. داده‌ها نشان داد که تطبیق الگوریتم با آناتومی کاربر، خطاهای مکان‌یابی فضایی را به شدت کاهش می‌دهد، به ویژه در محور عمودی.[1]

یک مطالعه موازی که در ریسرچ‌گیت (ResearchGate) منتشر شد، این HRTFهای شخصی‌سازی‌شده را به طور خاص در محیط یک بازی شوتر سه‌بعدی ارزیابی کرد. محققان سرعت هدف‌گیری را ردیابی کردند؛ یعنی مدت زمانی که طول می‌کشد تا یک بازیکن یک منبع صوتی نامرئی را پیدا کرده و به سمت آن نشانه برود. داده‌ها یک کاهش قابل‌اندازه‌گیری و کمی در زمان هدف‌گیری را نشان دادند، زمانی که بازیکنان از پروفایلی مطابق با اندازه‌گیری‌های فیزیکی خود استفاده می‌کردند.[2]

با این حال، قرار دادن هر گیمر در یک اتاق بدون پژواک برای نقشه‌برداری از گوش‌هایش از نظر لجستیکی غیرممکن است. به همین دلیل، صنعت بازی به هوش مصنوعی روی آورده است. یک بررسی جامع توسط AIR Unimi نشان داد که چگونه تکنیک‌های یادگیری ماشین در حال پر کردن این شکاف شخصی‌سازی هستند. با تغذیه یک شبکه عصبی از طریق یک عکس ساده گوشی هوشمند از گوش بازیکن، مدل می‌تواند ضرایب فیلتر HRTF شخصی‌سازی‌شده او را بدون نیاز به اندازه‌گیری‌های آکوستیک فیزیکی پیش‌بینی و تولید کند.[3]

این موضوع یک بده‌بستان پردازشی شدید ایجاد می‌کند. گیمینگ رقابتی به شدت محدود به تاخیر است. یک عنوان مدرن ورزش‌های الکترونیک با بودجه تاخیر صوتی کمتر از ۲۰ میلی‌ثانیه کار می‌کند. اعمال یک HRTF عمومی و از پیش محاسبه‌شده روی یک جریان صوتی، از نظر پردازشی سبک است. اما اجرای یک فیلتر HRTF شخصی‌سازی‌شده و ۱۲۸ نقطه‌ای مبتنی بر یادگیری ماشین روی ۶۴ کانال صوتی همزمان—صدای پا، شلیک، خشاب‌گذاری، استفاده از تجهیزات و دیالوگ‌ها—بار پردازشی عظیمی را به سیستم تحمیل می‌کند.[3][5]

همان‌طور که نشریه برودکست بریج در تحلیل خود از فرمت‌های صدای فضایی اشاره کرد، ظهور فناوری HRTF در حال دگرگون کردن همه‌چیز است؛ از واقعیت مجازی سینمایی گرفته تا پخش زنده مسابقات ورزشی. اما گیمینگ نیازمند سطحی از تعامل در لحظه و کارایی سخت‌افزاری است که رسانه‌های منفعل به آن نیازی ندارند. برای یک بیننده فیلم مهم نیست که رندر صدای فضایی ۱۵ میلی‌ثانیه بیشتر طول بکشد؛ اما یک گیمر حرفه‌ای به خاطر همین تاخیر، یک تورنمنت را می‌بازد.[4]

صنعت سخت‌افزار در تلاش است تا با انتقال پردازش صدا به خارج از پردازنده مرکزی (CPU)، این مشکل را با قدرت خام حل کند. واحدهای پردازش صوتی اختصاصی (APU) و سیلیکون‌های ویژه روی مادربردهای گیمینگ رده‌بالا، دقیقاً برای مدیریت ریاضیات ماتریسی مورد نیاز برای HRTFهای شخصی‌سازی‌شده طراحی می‌شوند. تا زمانی که این سخت‌افزارها فراگیر نشوند، توسعه‌دهندگان نرم‌افزار باید بین سازگاری عمومی و دقت آکوستیک یکی را انتخاب کنند.[3][5]

در حال حاضر، این مزیت رقابتی به طور نابرابر توزیع شده است. بازیکنانی که آناتومی فیزیکی آن‌ها به طور طبیعی با سر مانکن کمار همخوانی دارد، همچنان آگاهی محیطی برتری را در مسابقات استاندارد تجربه خواهند کرد. اما کسانی که خارج از این منحنی زنگوله‌ای آناتومیک قرار می‌گیرند، باید برای جبران الگوریتمی که اساساً به مغزشان دروغ می‌گوید، به شدت به نشانه‌های بصری و شناخت نقشه تکیه کنند.[1]

جهش بزرگ بعدی در طراحی بازی‌های رقابتی، به شکستن این گلوگاه بستگی دارد. عامل تعیین‌کننده این نخواهد بود که کدام مدل آکوستیک در یک محیط آزمایشگاهی کنترل‌شده صدای بهتری دارد، بلکه این است که کدام مدل می‌تواند یک منظره صوتی ۳۶۰ درجه را در کمتر از ۲۰ میلی‌ثانیه به دقت رندر کند، آن هم در حالی که کارت گرافیک سیستم از قبل برای حفظ ۲۴۰ فریم بر ثانیه در حال تقلا است.[2][5]