جداسازی توجه متقاطع چگونه ویژگی‌های تصویر را از متن تفکیک کرده و ثبات چهره را در مدل‌های دیفیوژن حفظ می‌کند

یک مدل دیفیوژن تبدیل متن به تصویر استاندارد مانند استیبل دیفیوژن ایکس‌ال (SDXL) با حدود ۲٫۶ میلیارد پارامتر کار می‌کند، با این حال در انجام کاری که یک تصویرگر تازه‌کار در روز نخست یاد می‌گیرد بازمی‌ماند: کشیدن دوباره یک چهره کاملاً یکسان.[3][6]

وقتی کاربران می‌کوشند صرفاً با متن ثبات ایجاد کنند، پرامپت‌های طولانی با جزئیات دقیق درباره رنگ مو، فرم چشم و لباس می‌نویسند. با وجود این توصیفات موشکافانه، مدل با تغییر سید (Seed) تولید، در ساختار استخوانی چهره دچار توهم و تغییر می‌شود.[5]

ریشه این فراموشی در سازوکار پردازش دستورها نهفته است. مدل‌های دیفیوژن بر مکانیزمی به نام «توجه متقاطع» (Cross-Attention) تکیه دارند که پلی ریاضی میان پرامپت متنی و بوم پیکسلی در حال شکل‌گیری ایجاد می‌کند.[1][3]

در توجه متقاطع استاندارد، امبدینگ‌های متنی که از یک مدل زبانی می‌آیند نقش «کلید» (Key) و «مقدار» (Value) را بازی می‌کنند و ویژگی‌های درونی تصویر نقش «پرس‌وجو» (Query) را بر عهده دارند. این سازوکار برای تبدیل کلمه به پیکسل عالی است، اما وقتی پای تزریق مستقیم یک تصویر مرجع به میان می‌آید، فرو می‌پاشد.[3]

تنگنای نشت ویژگی در ادغام متن و تصویر

در گام‌های نخست، توسعه‌دهندگان صرفاً فیچرهای تصویر مرجع را به توکن‌های متنی چسباندند (کانکت کردند). این کار شبکه را ناچار می‌کرد هر دو نوع داده متنی و تصویری را همزمان از گلوگاه یکسانی از ماتریس‌های توجه عبور دهد.[2][3]

نتیجه بی‌درنگ این رویکرد، پدیده‌ای موسوم به «نشت ویژگی» (Feature Bleeding) بود. از آنجا که داده متن و تصویر در یک ماتریس درهم‌تنیده می‌شدند، دستوری ساده مانند «شخصیتی با کاپشن قرمز» ممکن بود چهره خود کاراکتر را هم سرخ‌رنگ کند.[2][4]

مدل نمی‌توانست تشخیص دهد کدام بخش تصویر مرجع نشان‌دهنده هویت اصلی چهره است و کدام بخش صرفاً نویز محیطی به شمار می‌رود؛ در نتیجه، پس‌زمینه عکس مرجع بر فضاسازی پرامپت متنی غلبه می‌کرد.[4][5]

برای دور زدن این بن‌بست، سازندگان در گذشته به روش‌های فاین‌تیونینگ نظیر دریم‌بوث (DreamBooth) یا لورا (LoRA) پناه می‌بردند. این تکنیک‌ها وزن‌های شبکه را برای حفظ یک چهره تغییر می‌دهند، اما برای هر سوژه جدید به دقایق متمادی آموزش و منابع پردازشی سنگین نیاز دارند.[2][5]

سازوکار توجه متقاطع تفکیک‌شده

نقطه عطف در دستیابی به ثبات زیروشات (Zero-Shot) با ابداع توجه متقاطع تفکیک‌شده (Decoupled Cross-Attention) رقم خورد که پیشگام آن معماری آی‌پی-آداپتر (IP-Adapter) بود. این روش به‌جای فشردن همه داده‌ها در یک گلوگاه، مسیری موازی برای پردازش باز می‌کند.[2][3]

در یک سیستم تفکیک‌شده، لایه توجه متقاطع اصلی برای متن دست‌نخورده می‌ماند و لایه‌ای مستقل و کاملاً موازی فقط برای ویژگی‌های تصویری تعبیه می‌شود؛ بدین‌ترتیب هویت بصری و فرمان متنی در گام نخست هرگز با هم آمیخته نمی‌شوند.[2][3]

ماتریس پرس‌وجو (Query) که وضعیت تصویر در حال تولید را نشان می‌دهد بین هر دو لایه مشترک است، اما متن ماتریس‌های کلید و مقدار ویژه خود را دارد و تصویر مرجع نیز کلید و مقدار کاملاً مستقلی دریافت می‌کند.[2][3]

خروجی این دو مسیر موازی توجه، پیش از ورود به بخش بعدی شبکه، از نظر ریاضی با هم جمع می‌شوند. این جداسازی به مدل امکان می‌دهد هندسه کلی و چیدمان صحنه را از متن و جزئیات ظریف هویتی را منحصراً از عکس مرجع استخراج کند.[2][3]

ریاضیات تفکیک مدالیته‌ها

بازدهی این معماری تفکیک‌شده چشمگیر است. آی‌پی-آداپتر تنها با دو برابر کردن ماتریس‌های تبدیل کلید و مقدار برای داده‌های تصویری، ثبات چهره را فقط با افزودن ۲۲ میلیون پارامتر به شبکه محقق می‌سازد.[2][3]

در قیاس با یک مدل پایه ۲٫۶ میلیارد پارامتری، این میزان افزایش حجم به کمتر از یک درصد می‌رسد. این واقعیت نشان می‌دهد تفکیک مدالیته‌ها اساساً مسئله‌ای در مسیریابی لایه‌ها است، نه کمبود ظرفیت یا نیاز به مدل‌های عظیم‌تر.[2][6]

از آنجا که مسیرهای اصلی متن به تصویر کاملاً منجمد (فروزن) و بدون تغییر باقی می‌مانند، مدل دانش پیشین خود را حفظ می‌کند؛ بنابراین شبکه توانایی کشیدن شهری سایبرپانکی را صرفاً به این دلیل که به یک چهره خیره شده، از یاد نمی‌برد.[2][3]

تصویر مرجع پیش از ورود به لایه توجه، توسط یک انکودر بینایی به یک بردار امبدینگ ۱۰۲۴ بعدی تبدیل می‌شود. این بازنمایی متراکم ریاضی، چکیده هویت بصری را بدون انتقال نورپردازی، ژست یا پس‌زمینه تصویر اولیه در خود جای می‌دهد.[3][4]

کاربران در زمان تولید می‌توانند ضریب وزنی خاصی را تغییر دهند و اثر تصویر مرجع را کم یا زیاد کنند. وزن پایین‌تر دست مدل را برای تصویرگری آزادانه‌تر متن باز می‌گذارد و وزن بالاتر، هندسه صورت را مو‌به‌مو با مرجع هماهنگ می‌کند.[3]

گسترش معماری برای کنترل چندسوژه‌ای

کاربرد توجه متقاطع تفکیک‌شده از حفظ یک کاراکتر فراتر رفته است. چارچوب‌های جدیدتر با چیدن چندین امبدینگ هویتی روی هم (Stacked ID) پیش از تغذیه به لایه توجه، این استقلال معماری را ارتقا داده‌اند.[2][6]

با دادن سه یا چهار عکس از زوایای گوناگون یک شخص، امبدینگ‌های انباشته ادراکی سه‌بعدی و استوارتر از چهره می‌سازند. این ساختار تعصبات یک عکس تکی را از میان برده و ثبات زاویه‌های تند دوربین را تقویت می‌کند.[2][6]

پژوهشگران اکنون این جداسازی را روی جزئیاتی دقیق‌تر از چهره پیاده می‌کنند. سیستم‌هایی مانند اتری‌استوری (AttriStory) با توابع زیانِ هدفمند روی نقشه‌های توجه، بافت لباس و رنگ پیراهن را در پنل‌های داستانی پیاپی ثابت نگه می‌دارند.[1]

چون این آداپتورها در سطح لایه توجه عمل می‌کنند و وزن‌های مدل اصلی را دستکاری نمی‌کنند، ترکیب‌پذیری بالایی دارند. کاربر می‌تواند یک آداپتور هویت را با ابزارهای کنترل ساختاری مثل کنترل‌نت ادغام کرده و ژست دقیق کاراکتر ثابت را تعیین کند.[2][3]

این ترکیب‌پذیری، مدل‌های دیفیوژن را از ماشین‌های شانس غیرقابل‌پیش‌بینی به موتورهای رندرینگ اتکاپذیر تبدیل می‌کند. طراحان بدون آموزش مدلی اختصاصی، قادرند کمیک‌بوک‌ها و استوری‌بوردهای پیوسته با بازیگران ثابت بسازند.[1][5]

آینده مسیریابی در لایه‌های توجه

موفقیت توجه متقاطع تفکیک‌شده معماری نسل نوین مدل‌های پایه را نیز دگرگون کرده است. سیستم‌های تازه به‌جای الحاق وصله‌پینه‌ای تصویر، مسیرهای پردازشی مجزای مدالیته را از همان آموزش اولیه در بدنه مدل می‌گنجانند.[1][6]

این چرخش به‌ویژه در گذار از معماری‌های یو-نت (U-Net) به دیفیوژن ترنسفورمرها (DiT) نمایان است. هرچند ترنسفورمرهای نخستین همه توکن‌ها را در یک توالی واحد ادغام می‌کردند، اکنون لایه‌های توجه تفکیک‌شده در دل آنها پیاده‌سازی می‌شوند.[1][6]

مهندسان با پالایش دقیق چگونگی تمرکز نقشه‌های توجه در گام‌های نخست نویززدایی، تسلطی بی‌سابقه به کاربران بخشیده‌اند. امکان قفل کردن هویت چهره در عین بازآفرینی بی‌پایان محیط، جهشی بنیادین در هوش مصنوعی است.[1][6]

محدودیت‌ها و چالش رانش بصری

با وجود تمام این دستاوردهای پردازشی، رویکرد توجه تفکیک‌شده جانشین بی‌نقصی برای فاین‌تیونینگ کامل نیست. از آنجا که این روش بر هدایت آنی متکی است و نه حافظه حک‌شده، در سکانس‌های طولانی با افت دقت مواجه می‌شود.[4][5]

در توالی‌های طولانی با تغییرات شدید نوری و زاویه‌های پیچیده، چهره رفته‌رفته دچار «رانش بصری» (Visual Drift) می‌شود. ظرافت‌های ساختاری زمانی که مدل در تطبیق بردار دوبعدی روی حرکات پیچیده درمی‌ماند، تحلیل می‌روند.[4][5]

سیستم همچنین هنگام تضاد آشکار متن با عکس مرجع دچار سردرگمی می‌شود. اگر عکس مرجع موهای کوتاه داشته باشد و پرامپت موهای بلند و پریشان بخواهد، برآیند ماتریس‌های توجه به تداخل و آرتیفکت‌های بصری می‌انجامد.[3][5]

برای استودیوهای انیمیشن تجاری که به ثبات میلی‌متری پیکسل‌ها در هزاران فریم متوالی نیاز دارند، مدل‌های اختصاصی فاین‌تیون‌شده همچنان اولویت هستند. ثبت دائم مشخصات در وزن‌های یک مدل لورا، درک استوارتری از آناتومی به دست می‌دهد.[5][6]

با این همه، توجه تفکیک‌شده چشم‌انداز تصویرسازی سریع و بازآفرینی آنی کاراکترها را دگرگون کرده است. این شیوه نشان داد مرز میان خواست متنی و هویت تصویری شکسته نمی‌شود، مشروط بر اینکه مسیر پردازش هرکدام کاملاً جدا بماند.[1][6]