سازوکار ثبت دیجیتال: چگونه فیلتر بایر و دیموزاییک نور را به تصویر رنگی تبدیل می‌کنند؟

گوشی هوشمندتان را از جیب بیرون می‌آورید، غروب خورشید را کادربندی می‌کنید و روی صفحه ضربه می‌زنید. در کسری از ثانیه، به دستگاه اعتماد می‌کنید که رنگ‌های دقیق آسمان، گرادیان ظریف ابرها و سایه‌های عمیق پیش‌زمینه را ثبت کرده است. اما دوربین شما اساساً کوررنگ است. حسگر سیلیکونی پشت لنز هیچ درکی از قرمز، سبز یا آبی ندارد؛ بلکه صرفاً شبکه‌ای از سطل‌های میکروسکوپی است و تنها وظیفه‌اش شمردن تعداد فوتون‌هایی است که در هر کدام می‌افتند.[8]

برای استخراج یک تصویر رنگی از این تمرین تک‌رنگ شمارش فوتون، مهندسان مجبور بودند راهی ابداع کنند تا حسگر را فریب دهند و رنگ‌ها را ببیند. راه‌حلی که هنوز هم تقریباً به تمام دوربین‌های دیجیتال روی زمین قدرت می‌دهد، یک قطعه مهندسی نوری ظریف است که کمتر شبیه یک مدار با تکنولوژی بالا و بیشتر شبیه یک پنجره شیشه‌ای رنگی میکروسکوپی به نظر می‌رسد.[7][8]

در سال ۱۹۷۶، دانشمندی به نام برایس بایر (Bryce Bayer) از شرکت ایستمن کداک، یک آرایه فیلتر رنگی (CFA) خاص را به ثبت رساند که برای قرارگیری مستقیم روی حسگر تصویر طراحی شده بود. مفهوم بایر ساده اما انقلابی بود: اگر یک فیلتر رنگی بسیار کوچک روی هر پیکسل قرار دهید، می‌توانید آن پیکسل را محدود کنید تا فقط نور با آن رنگ خاص را جمع‌آوری کند.[1]

با این حال، بایر رنگ‌ها را به طور مساوی تقسیم نکرد. او تشخیص داد که بینایی انسان دموکراتیک نیست. چشمان ما به طور قابل توجهی نسبت به نور سبز حساس‌ترند، که این امر تعیین‌کننده درک ما از روشنایی، وضوح و جزئیات است. بایر برای تقلید از این ویژگی بیولوژیکی، شبکه‌اش را طوری طراحی کرد که ۵۰ درصد از فیلترها سبز باشند، در حالی که فیلترهای قرمز و آبی هر کدام ۲۵ درصد را تشکیل دهند.[1][2]

این بدان معناست که وقتی شما یک عکس ۱۲ مگاپیکسلی می‌گیرید، دوربین شما در واقع ۱۲ میلیون پیکسل تمام‌رنگ را ثبت نمی‌کند. بلکه ۶ میلیون پیکسل سبز، ۳ میلیون پیکسل قرمز و ۳ میلیون پیکسل آبی را ثبت می‌کند. داده‌های خامی که از حسگر خارج می‌شوند، یک موزاییک شطرنجی تیره از رنگ‌های اصلی هستند که به هیچ وجه شبیه یک عکس قابل تشخیص نیستند.[2][7]

تبدیل این موزاییک به یک تصویر یکپارچه و تمام‌رنگ، نیازمند یک کار محاسباتی سنگین است که به عنوان دیموزاییک شناخته می‌شود. برای تک تک پیکسل‌های روی حسگر، پردازشگر تصویر دوربین باید به صورت ریاضی دو رنگ از دست رفته را حدس بزند. پیکسلی که زیر فیلتر قرمز قرار دارد، دقیقاً می‌داند چقدر نور قرمز به آن تابیده، اما دوربین باید مقادیر سبز و آبی را بر اساس پیکسل‌های اطراف محاسبه کند.[4][7]

در روزهای اولیه عکاسی دیجیتال، دیموزاییک بر درون‌یابی دوخطی (bilinear interpolation) نسبتاً ساده‌ای متکی بود. الگوریتم به همسایگان بلافصل یک پیکسل نگاه می‌کرد و به سادگی میانگین مقادیر آن‌ها را می‌گرفت. اگر یک پیکسل قرمز توسط پیکسل‌های سبزی با مقدار ۱۰۰ احاطه شده بود، الگوریتم فرض می‌کرد که مقدار سبز برای آن پیکسل قرمز نیز ۱۰۰ است.[3]

اگرچه میانگین‌گیری ساده از نظر محاسباتی ارزان بود، اما مصنوعات بصری شدیدی ایجاد می‌کرد. هنگامی که یک عکس شامل یک لبه سخت باشد – مانند شاخه تیره درختی که در مقابل آسمان سفید روشن قرار گرفته است – درون‌یابی دوخطی در طول آن مرز، تاری ایجاد می‌کند. این منجر به پدیده «زیپرینگ» (zippering) می‌شود؛ جایی که حاشیه‌های دندانه‌دار و رنگ‌های کاذب در امتداد لبه‌های اشیا ظاهر می‌شوند، زیرا الگوریتم به اشتباه پیکسل‌های تیره و روشن را با هم ترکیب کرده است.[3][4]

برای حل این مشکل، ریاضیدانان و دانشمندان تصویربرداری، فیلترینگ جهت‌دار را توسعه دادند. به جای میانگین‌گیری کورکورانه در همه جهات، الگوریتم‌های دیموزاییک مدرن ابتدا داده‌های خام را برای تشخیص لبه‌ها و گرادیان‌ها تحلیل می‌کنند. نرم‌افزار عملاً به موزاییک نگاه می‌کند و می‌پرسد: «آیا این یک خط عمودی است، یک خط افقی، یا یک بافت صاف؟»[5]

اگر الگوریتم یک لبه عمودی تیز را تشخیص دهد، درون‌یابی خود را به محور عمودی محدود می‌کند. با قرض گرفتن داده‌های رنگی فقط از پیکسل‌های واقع در امتداد همان لبه، الگوریتم وضوح مرز را حفظ می‌کند و از نشت رنگ‌ها در عرض خط جلوگیری می‌نماید. این وزن‌دهی جهت‌دار همان چیزی است که به تصاویر دیجیتال مدرن ظاهر واضح و بدون مصنوعاتشان را می‌بخشد.[5][8]

دوربین‌های سینمایی پیشرفته، مانند آنهایی که توسط شرکت RED ساخته می‌شوند، این موضوع را یک قدم فراتر می‌برند. آنها از حسگرهای عظیم و الگوریتم‌های دیموزاییک اختصاصی استفاده می‌کنند که وضوح فضایی و وفاداری رنگ را بر سرعت پردازش اولویت می‌دهند و اغلب فرآیند دیموزاییک را به جای انجام در داخل دوربین، در طول پس‌تولید به کامپیوترهای قدرتمند دسکتاپ واگذار می‌کنند.[2]

در مقابل، گوشی هوشمند در جیب شما باید این معجزه ریاضی را در عرض میلی‌ثانیه‌ها انجام دهد، اغلب در حالی که چندین فریم را به طور همزمان مدیریت می‌کند. محدودیت‌های فیزیکی گوشی‌های هوشمند – لنزهای کوچک و پیکسل‌های میکروسکوپی – تکامل رادیکالی را در نحوه استفاده از آرایه بایر تحمیل کرده است.[8]

حسگر «کواد بایر» (Quad Bayer) وارد می‌شود. به جای تناوب رنگ‌ها پیکسل به پیکسل، آرایه کواد بایر چهار پیکسل هم‌رنگ را در یک بلوک ۲x۲ گروه‌بندی می‌کند. اگرچه ممکن است این یک گام به عقب برای وضوح به نظر برسد، اما یک تکنیک قدرتمند جدید را فعال می‌کند: درون‌یابی زمانی چند فریمی.[6]

از آنجا که پیکسل‌ها گروه‌بندی شده‌اند، دوربین می‌تواند به طور همزمان زمان‌های نوردهی متفاوتی را به پیکسل‌های مجاور هم‌رنگ اختصاص دهد. دو پیکسل سبز در یک بلوک ممکن است نوردهی سریعی را برای حفظ جزئیات نقاط روشن در آسمان ثبت کنند، در حالی که دو پیکسل دیگر نوردهی طولانی‌تری را برای بیرون کشیدن جزئیات از سایه‌ها ثبت می‌کنند.[6][8]

سپس الگوریتم دیموزاییک این نوردهی‌های مختلف را در حوزه تفاوت رنگ ادغام می‌کند و یک تصویر واحد با محدوده دینامیکی بالا را سنتز می‌نماید. به همین دلیل است که گوشی‌های هوشمند مدرن می‌توانند در تاریکی مطلق عکس‌های واضح و پر جنب و جوشی بگیرند – شاهکاری که با یک طرح حسگر سنتی از نظر فیزیکی غیرممکن بود.[6]

در نهایت، سازوکار ثبت دیجیتال به ما یادآوری می‌کند که عکاسی مدرن یک هنر ترکیبی است. نیمی اپتیک است و نیمی ریاضیات. دفعه بعد که عکسی می‌گیرید، فقط یک شاتر را باز نمی‌کنید؛ بلکه در حال فعال کردن یک اجماع آماری آبشاری هستید، اختراعی نیم قرنی از کداک که با احتمال محاسباتی مدرن پیوند خورده است، و همه اینها قبل از اینکه حتی صفحه نمایش خود را پایین بیاورید، حل و فصل می‌شود.[1][8]