چگونه معماری یو-نت (U-Net) نویز را در فرآیند دیفیوژن معکوس پیش‌بینی می‌کند

وقتی کاربران دستوری را در یک پلتفرم هوش مصنوعی مولد تایپ می‌کنند، فرض شهودی - که اغلب توسط مفسران فناوری و ناظران عادی تکرار می‌شود - این است که هوش مصنوعی در حال نقاشی یک تصویر از صفر است و پیکسل‌ها را یکی‌یکی کنار هم می‌چیند تا با متن مطابقت داشته باشد. واقعیت ریاضی هوش مصنوعی مولد کاملاً با این موضوع در تضاد است. این مدل‌ها تصویر تولید نمی‌کنند؛ بلکه نویز تولید می‌کنند.

بر اساس مقاله بنیادین «مدل‌های احتمالی دیفیوژن نویززدا» که در سال ۲۰۲۰ در کنفرانس NeurIPS منتشر شد، سیستم کار خود را با بومی از برفک‌های کاملاً تصادفی گاوسی آغاز می‌کند. موتوری که در واقع تصویر را خلق می‌کند، یک شبکه عصبی تخصصی است که به آن برفک نگاه کرده و دقیقاً پیش‌بینی می‌کند کدام پیکسل‌ها نویز هستند، و آن‌ها را گام‌به‌گام کم می‌کند تا تنها تصویر مورد نظر باقی بماند.[1]

معماری‌ای که این پیش‌بینی نویز را انجام می‌دهد، اختراع اخیر دوران شکوفایی هوش مصنوعی مولد نیست. این معماری «یو-نت» (U-Net) نام دارد؛ یک ساختار شبکه عصبی کانولوشنال که اولین بار در سال ۲۰۱۵ توسط اولاف رونه‌برگر، فیلیپ فیشر و توماس بروکس در دانشگاه فرایبورگ توسعه یافت.

یو-نت که در اصل برای بخش‌بندی تصاویر زیست‌پزشکی - به‌طور خاص، ردیابی سلول‌ها در میکروسکوپ نوری - طراحی شده بود، برای حل یک مشکل مشخص ساخته شد: چگونه می‌توان زمینه کلی یک تصویر را بدون از دست دادن جزئیات میکروسکوپی آن درک کرد. تیم رونه‌برگر در مقاله سال ۲۰۱۵ خود نوشتند: «این معماری از یک مسیر منقبض‌شونده برای ثبت زمینه و یک مسیر بسط‌دهنده متقارن که امکان مکان‌یابی دقیق را فراهم می‌کند، تشکیل شده است.»[2]

برای درک اینکه چرا یک الگوریتم ردیابی سلول از سال ۲۰۱۵ به موتور محرک هنر هوش مصنوعی مدرن تبدیل شد، باید به مکانیسم فرآیند دیفیوژن معکوس نگاه کرد. در یک مدل دیفیوژن، یک تصویر با افزودن نویز گاوسی طی مجموعه‌ای از مراحل - اغلب ۱۰۰۰ بازه مجزا - به‌طور سیستماتیک تخریب می‌شود تا جایی که به برفکی غیرقابل تشخیص تبدیل گردد.

هوش مصنوعی آموزش می‌بیند تا این فرآیند را معکوس کند. با این حال، پیش‌بینی مستقیم تصویر اصلی از نویز خالص از نظر محاسباتی غیرممکن است. در عوض، همان‌طور که محققانی چون جاناتان هو، آجی جین و پیتر آبیل در سال ۲۰۲۰ نشان دادند، مدل آموزش می‌بیند تا نویزی را که در آخرین مرحله اضافه شده است، پیش‌بینی کند.[1][5]

اینجاست که شکل منحصربه‌فرد یو-نت ضروری می‌شود. این شبکه دقیقاً به شکل حرف انگلیسی یو است. وقتی یک تصویر نویزدار ۲۵۶ در ۲۵۶ پیکسل وارد شبکه می‌شود، از سمت چپ شبکه پایین می‌رود و از لایه‌های کانولوشنالی عبور می‌کند که ابعاد فضایی را فشرده کرده و در عین حال کانال‌های ویژگی را گسترش می‌دهند.

یک پیاده‌سازی استاندارد ممکن است تصویر را تا یک گلوگاه ۱۶ در ۱۶ پیکسل فشرده کند. در این عمق، شبکه تمام جزئیات ظریف را از دست می‌دهد اما به درک ریاضی عمیقی از ساختار کلی تصویر - یعنی زمینه گسترده الگوی نویز - دست می‌یابد.[7][8]

اگر شبکه در همین نقطه متوقف می‌شد، برای تولید تصویر بی‌فایده بود، زیرا تنها یک نقشه با وضوح پایین خروجی می‌داد. سمت راست شبکه این مشکل را با نمونه‌برداری افزایشی داده‌ها و بازگرداندن آن‌ها به وضوح اصلی ۲۵۶ در ۲۵۶ حل می‌کند.

با این حال، نمونه‌برداری افزایشی به‌تنهایی نتایج تاری به همراه دارد. نوآوری تعیین‌کننده یو-نت، «اتصالات پرشی» آن است. این‌ها پل‌های داده‌ای مستقیمی هستند که گلوگاه را کاملاً دور می‌زنند و جزئیات با وضوح بالا را از مسیر روبه‌پایین کپی کرده و مستقیماً روی لایه‌های مربوطه در مسیر روبه‌بالا می‌چسبانند.[2][5]

تیم علوم داده در دانشگاه واشنگتن توضیح می‌دهد: «با الحاق ویژگی‌های نمونه‌برداری‌افزایشی‌شده با ویژگی‌های متناظر با وضوح بالا از مسیر منقبض‌شونده، شبکه می‌تواند خروجی دقیقی را بر اساس این اطلاعات مونتاژ کند.» در زمینه مدل‌های دیفیوژن، این اتصالات پرشی به یو-نت اجازه می‌دهند تا درک کلی از الگوی نویز در گلوگاه را با تراز فضایی بی‌نقصِ پیکسل‌ها از اتصالات پرشی ترکیب کند تا یک نقشه پیش‌بینی نویز ارائه دهد که کاملاً با ابعاد ورودی مطابقت دارد.[8]

پیاده‌سازی‌های مدرن، طراحی سال ۲۰۱۵ را برای پردازش دستورات متنی تغییر داده‌اند. در سال ۲۰۲۳، محققانی که دینامیک زمانی یو-نت‌ها را در مدل‌های دیفیوژن تجزیه و تحلیل می‌کردند، دریافتند که لایه‌های توجه متقاطع به گلوگاه یو-نت تزریق شده‌اند.

این مکانیسم‌های توجه مانند یک فرمان عمل می‌کنند و به دستور متنی اجازه می‌دهند تا بر پیش‌بینی نویز در عمیق‌ترین سطح شبکه تأثیر بگذارد. این محققان در پیش‌چاپ دسامبر ۲۰۲۳ خود خاطرنشان کردند: «ما مشاهده می‌کنیم که لایه‌های رمزگشای یو-نت در مراحل اولیه نویززدایی بر فرآیند تولید تسلط دارند، در حالی که لایه‌های رمزگذار در مراحل بعدی تأثیرگذارتر می‌شوند.»[3]

کارایی این معماری حیرت‌انگیز است. در طول یک فرآیند استنتاج استاندارد ۵۰ مرحله‌ای، یو-نت ۵۰ بار مجزا فراخوانی می‌شود. در مرحله ۵۰، به برفک خالص نگاه می‌کند و یک نقشه نویز متراکم را پیش‌بینی می‌کند. آن نویز کم می‌شود و تصویری با نویز کمی کمتر باقی می‌ماند.

در مرحله ۴۹، یو-نت به تصویر جدید نگاه می‌کند و نقشه نویز بعدی را پیش‌بینی می‌کند. این حلقه تا مرحله صفر تکرار می‌شود. از آنجا که ابعاد ورودی و خروجی یو-نت یکسان است، می‌تواند به‌طور یکپارچه دوباره به خودش خورانده شود و آن را به موتور کاملی برای نویززدایی تکرارشونده تبدیل کند.[6][7]

تحقیقات اخیر همچنان به اصلاح این فرآیند ادامه می‌دهند. مقاله‌ای در ژوئیه ۲۰۲۳ یک «یو-نت فرکانس-فضایی» را معرفی کرد که نویز را هم در دامنه فضایی پیکسل‌ها و هم در دامنه فرکانسی الگوهای موج پردازش می‌کند. با جداسازی نویز فرکانس بالا که نشان‌دهنده دانه‌های ریز است از نویز فرکانس پایین که نشان‌دهنده تغییرات رنگی گسترده است، این یو-نت اصلاح‌شده به بهبود ۱۵ درصدی در نمرات فاصله آغازین فرشه - یک معیار استاندارد برای کیفیت تصویر - دست یافت.[4]

یو-نت نمایانگر یک بازیافت عمیق در معماری ریاضی است. الگوریتمی که در سال ۲۰۱۵ برای کمک به پزشکان در ردیابی مرزهای سلول‌های هلا زیر میکروسکوپ طراحی شده بود، اکنون هندسه بنیادینی است که به هوش مصنوعی اجازه می‌دهد جهان‌های واقع‌گرایانه را توهم کند.

با چارچوب‌بندی تولید تصویر نه به‌عنوان یک عمل نقاشی، بلکه به‌عنوان عمل حذف هدفمند نویز، یو-نت از محدودیت‌های شبکه‌های مولد پیشین عبور کرد. مرز بعدی برای محققان این است که تعیین کنند آیا فشرده‌سازی فضایی یو-نت کاملاً ضروری است، یا اینکه معماری‌های جدیدتری مانند ترانسفورمرهای بینایی می‌توانند نویز را بدون نیاز به گلوگاه پیش‌بینی کنند.[2][6][9]