کانولوشن‌های ۱×۱ با مقداردهی اولیه صفر؛ مهار خطاهای تصادفی در هدایت فضایی مدل‌های دیفیوژن

در اوایل سال ۲۰۲۳ میلادی، پژوهشگران دانشگاه استنفورد—لومین ژانگ، آنیی رائو و منیش آگراوالا—تضادی بنیادین را در سازوکار هوش مصنوعی زاینده رصد کردند: افزودن یک مهارت فضایی یا ساختاری جدید به مدل‌های دیفیوژن، عموماً به فروپاشی دانش معنایی پیشین آن‌ها منجر می‌شد. هدف این بود که خروجی تصویری وادار به رعایت محدودیت‌های هندسی نظیر استخوان‌بندی حالت انسان یا نقشه لبه‌های کَنی (Canny) شود، بدون آنکه صرفاً به توصیف متنی تکیه کند.[1][2]

ریشه این اختلال در پدیده‌ای به نام فراموشی فاجعه‌بار (Catastrophic Forgetting) نهفته بود. فاین‌تیون کردن یک شبکه ۸۶۰ میلیون پارامتری مانند استیبل دیفیوژن ۱.۵ برای انطباق با یک نقشه فضایی، نیازمند دستکاری وزن‌های درونی آن بود. اما در آموزش استاندارد شبکه‌های عصبی، لایه‌های تازه با نویز تصادفی گاوسی مقداردهی می‌شوند تا تقارن بشکند؛ امری که از همان ابتدا توده‌ای از نویز پیش‌بینی‌نشده را به فضای نهان و بهینه‌شده مدل تزریق می‌کرد.[3]

مدل‌های تولید متن به تصویر به‌طور سنتی متکی بر انکودر متنی CLIP هستند. با وجود قدرت بی‌نظیر CLIP در تطابق معنایی—برای نمونه درک ویژگی‌های ظاهری یک سگ نژاد گلدن رتریور—این انکودر اساساً فاقد آگاهی مکانی در سطح پیکسل است. توصیف متنی نمی‌تواند با دقت ریاضی حکم کند که سوژه باید با زاویه دقیق ۴۵ درجه به چپ، در ربع پایینی سمت راست قاب تصویر بنشیند.[3]

تیم استنفورد برای گذر از این بن‌بست، معماری کنترل‌نت (ControlNet) را طراحی کرد؛ چارچوبی که مدل آماده دیفیوژن پایه را کاملاً قفل (Freeze) می‌کند. به‌جای مداخله در ساختار اصلی، یک رونوشت آموزش‌پذیر از لایه‌های انکودر آن شبیه‌سازی شد تا وظیفه جدید را فرابگیرد. بدین ترتیب مدل پایه بدون کوچک‌ترین تغییر، استخوان‌بندی معنایی پایدار را نگاه می‌دارد و نسخه کپی بار یادگیری شرط‌های فضایی را بر دوش می‌کشد.[1][2]

کالبدشکافی ساختار UNet در مدل‌های دیفیوژن

بررسی فنی چرایی کارکرد این سازوکار نیازمند شناخت معماری UNet در استیبل دیفیوژن است. این شبکه از پشته‌ای از بلوک‌های انکودر (کدگذار)، یک بلوک میانی و پشته‌ای از بلوک‌های دیکودر (رمزگشا) تشکیل شده است. اتصالات جهشی (Skip Connections) انکودرها را مستقیماً به دیکودرها متصل کرده و انتقال ویژگی‌های تفکیک‌پذیری بالا را فارغ از گلوگاه مرکزی میسر می‌سازند.[2]

کنترل‌نت تنها بلوک‌های انکودر و بلوک میانی این UNet را بازتولید می‌کند. بلوک‌های دیکودر که وظیفه اصلی بازسازی تصویر نهایی از فضای نهان را بر عهده دارند، کاملاً دست‌نخورده و مسدود باقی می‌مانند. این شبیه‌سازی گزینشی، بار پارامترهای جدید را مهار کرده و فقط داده‌های ورودی ساختاری مورد نیاز را استخراج می‌کند.[2]

این نسخه آموزش‌پذیر، بردار شرطی خارجی را به‌عنوان ورودی دریافت می‌کند. اگر کاربری قصد داشته باشد تصویری را بر مبنای یک طرح خطی خام خلق کند، رونوشت آموزش‌پذیر طرح را تحلیل می‌کند و مدل قفل‌شده پایه، توصیف متنی متعارف را پیش می‌برد. در ادامه این دو جریان اطلاعاتی نیازمند یکپارچه‌سازی و ادغام بدون تداخل هستند.[2]

سازوکار و عملکرد کانولوشن صفر

برای الحاق رونوشت آموزش‌پذیر به مدل پایه‌ی قفل‌شده، این تیم لایه‌های کانولوشن ۱×۱ را به کار گرفت که وزن‌ها و بایاس‌های اولیه آن‌ها دقیقاً برابر صفر تنظیم شده است. این سازوکار تحت عنوان «کانولوشن صفر» (Zero Convolution)، کانون محاسباتی معماری کنترل‌نت به شمار می‌رود و جریان تبادل داده میان دو بخش را بدون آلودگی متقابل هموار می‌کند.[1][2]

پژوهشگران استنفورد در مقاله ارائه‌شده در کنفرانس بین‌المللی بینایی کامپیوتر (ICCV) تصریح کردند: «اتصال معماری عصبی با کانولوشن‌های صفر تضمین می‌کند که پارامترها به‌صورت پیوسته از مقدار صفر رشد کنند تا در مراحل فاین‌تیونینگ، هیچ نویز مخربی عملکرد شبکه را تهدید نکند.»[2]

در منطق معمول شبکه‌های عصبی، صفر کردن کامل وزن‌های اولیه یک خطای مرگبار است زیرا مانع جریان گرادیان و مانع فرآیند یادگیری می‌شود؛ زمانی که خروجی همه نورون‌ها همسان و بی‌اثر باشد، جهت‌دهی معنا ندارد. تفاوت کنترل‌نت در این است که این کانولوشن‌های صفر فقط در لایه‌های پیونددهنده قرار دارند، در حالی که لایه‌های درونی خود رونوشت انکودر از مقداردهی تصادفی مرسوم تبعیت می‌کنند.[2][4]

با اعمال مقدار اولیه صفر روی این کانولوشن‌های ۱×۱، خروجی شرطی‌ساز فضایی در نخستین گام آموزش دقیقاً برابر صفر است. شبکه از حیث ریاضی طوری عمل می‌کند که گویی کنترل‌نتی وجود خارجی ندارد؛ بنابراین تمامیت قابلیت‌های مدل پایه حفظ شده و پیش‌فرض معنایی دست‌نخورده باقی می‌ماند.[1][3]

جداسازی گرادیان و فرایند یادگیری

ظرافت محاسباتی کانولوشن صفر در شیوه رفتار گرادیان نهفته است. در گذر رو به جلو (Forward Pass)، خروجی این لایه صفر است و در نتیجه، تابع زیان (Loss) عملکرد مدل پایه را به همان شکل پیشین می‌سنجد. اما هنگام پس‌انتشار خطا (Backpropagation)، گرادیان زیان نسبت به وزن‌های رونوشت آموزش‌پذیر غیرصفر خواهد بود، زیرا ورودی ارسال‌شده به کانولوشن صفر مقداری غیرصفر دارد.[2][4]

همین گرادیان غیرصفر باعث می‌شود که وزن‌های کانولوشن ۱×۱ از همان نخستین گام بهینه‌ساز به‌روزرسانی شوند. به محض آنکه ارقام این وزن‌ها از صفر فاصله بگیرند، نسخه آموزش‌پذیر تزریق ویژگی‌های فضایی به مدل پایه را آغاز می‌کند. بدین شکل، شبکه به‌طور پیوسته وزن بهینه شرایط فضایی را بازمی‌یابد، بدون آنکه در معرض شوک نویز تصادفی قرار گیرد.[2][4]

این جداسازی اجازه می‌دهد تا نسخه آموزش‌پذیر نرخ‌های یادگیری بالایی مانند 1e-5 را بدون بی‌ثباتی تجربه کند. بدین ترتیب مدل می‌تواند کنترل فضایی تازه را چه با یک مجموعه داده محدود زیر ۵۰ هزار نمونه و چه با پایگاهی افزون بر ۱ میلیون تصویر، بدون خطر فروپاشی توزیع داده فرا بگیرد؛ در حالی که تصور پایه‌ای مدل از مفاهیمی چون «آشپز» یا «آشپزخانه» ثابت باقی می‌ماند.[1][2]

محققان این فرآیند پایدار را روی حالات و ساختارهای مختلف آزمودند. در شرطی‌سازی با لبه‌های کَنی (Canny Edges)، ۳ میلیون جفت داده متشکل از لبه، تصویر و کپشن استفاده شد. در زمینه تشخیص وضعیت اسکلتی بدن انسان، ۸۰ هزار جفت داده به‌وسیله چارچوب OpenPifPaf استخراج شد.[2]

مقیاس‌پذیری و انعطاف روی داده‌های مکانی

میزان تاب‌آوری این معماری در برابر حجم داده‌های آموزشی بسیار جالب‌توجه بود. در آزمایش‌های مربوط به مقیاس‌پذیری، زیرمجموعه‌هایی از داده‌های لبه‌های کنی از ۱٬۰۰۰ تا ۵۰۰٬۰۰۰ نمونه تحلیل شد. یافته‌ها نشان داد که حتی با داده‌های شدیداً محدود، ساختار کانولوشن‌های صفر مانع از بیش‌برازش (Overfitting) روی این مجموعه‌های فضایی کوچک می‌شود.[2]

برای محدودیت‌های فضایی پیچیده‌تر و انتزاعی‌تر نظیر خط‌خطی‌های دست‌نویس (Scribbles)، این گروه ۵۰۰ هزار جفت داده ترکیبی را از طریق آشکارسازی مرز HED به همراه افزونگی‌های داده قوی تولید کردند. تغییرات مورفولوژیک تصادفی و حذف درصدی از خطوط برای شبیه‌سازی نحوه نقاشی آزاد انسان به کار گرفته شد.[2]

محققان علاوه بر این، ساختار فوق را روی نقشه‌های عمق (Depth Maps) پیاده کردند و با گردآوری ۲۰۰ هزار جفت داده، مدل را هم با استیبل دیفیوژن ۱.۵ و هم نگارش ۲.۱ سنجیدند. کارایی این روش روی مدل‌های پایه مختلف نشان داد که سازوکار کانولوشن صفر وابستگی به وزن‌های معین بدنه فریز‌شده ندارد و چونان یک آداپتور منعطف و حافظ دانش مبنایی عمل می‌کند.[2]

برآیند این طراحی، نوعی سامانه ماژولار است. کاربر می‌تواند یک کنترل‌نت آموزش‌دیده برای نقاط کلیدی OpenPose یا مدلی مختص اسکچ‌های دستی را به‌دلخواه جایگزین کند، در حالی که مدل قفل‌شده استیبل دیفیوژن همچنان تولید بافت و جزییات معنایی را مدیریت می‌کند؛ به بیانی دیگر، یادگیری هندسه و ساختار کاملاً از تولید بافت بصری تفکیک شده است.[3]

مزیت چشمگیر در منابع پردازشی

همچنین استفاده از این روش هزینه‌های رایانشی را شدیداً پایین می‌آورد. آموزش یک کنترل‌نت برای نقشه‌های نرمال یا خطوط دستی، تنها به چند صد ساعت پردازش گرافیکی روی سخت‌افزارهای تجاری استاندارد متکی است، در قیاس با هزاران ساعت مصرف GPU که برای آموزش یک مدل پایه از صفر الزامی است.[2]

به‌طور مشخص، آموزش کنترل‌نت وضعیت فیگور انسان تنها ۴۰۰ ساعت پردازش روی یک کارت گرافیک معمولی انویدیا RTX 3090Ti زمان برد. مدل لبه‌های کنی نیز با ۵۰۰ ساعت GPU انویدیا A100 با حافظه ۸۰ گیگابایت به نتیجه رسید. این بهره‌وری، فرایند توسعه شرطی‌سازهای فضایی اختصاصی را بسیار دموکراتیک و دسترس‌پذیر کرد.[2]

هنگام نمونه‌گیری و استنتاج (Inference)، بار محاسباتی اضافه منحصر به همین انکودر بازتولیدشده است. مدل پایه منجمد تمام دانش عظیم حاصل از داده‌های انبوه را حفظ می‌کند و رونوشت یادگیرنده فقط ابعاد فضایی و موقعیتی مختص پروژه را برآورد می‌سازد؛ عاملی که اجرای آن را روی سیستم‌های مصرف‌کننده ممکن می‌سازد.[3]

ترکیب و به‌کارگیری چند شرط به‌صورت هم‌زمان

جامعه متن‌باز هوش مصنوعی پس از انتشار این مقاله با شتابی کم‌نظیر معماری آن را به کار گرفت. محیط‌های کاربری نظیر AUTOMATIC1111 و ComfyUI سازگاری بومی کنترل‌نت را مهیا کردند؛ تا جایی که کاربران اکنون می‌توانند چند پیش‌پردازنده مختلف مانند لبه‌گیر کَنی یا تخمین‌زننده عمق Midas را مستقیماً بدون نیاز به کدنویسی در پایپ‌لاین تولید تصویر خود بگنجانند.[3]

این ادغام شیوه استفاده از هوش مصنوعی مولد در محیط‌های حرفه‌ای را دگرگون ساخت. دیگر نیازی نبود کارگردانان هنری و طراحان گرافیک برای دستیابی به چیدمانی خاص دست به آزمون‌وخطای مکرر با پرامپت‌ها بزنند؛ بلکه اکنون می‌توانند کادربندی را رسم کرده، هندسه تصویر را با کنترل‌نت تثبیت کنند و مدل دیفیوژن را صرفاً به‌مثابه موتوری برای رندر نهایی به کار گیرند.[3][4]

از آنجا که شرطی‌سازهای فضایی تداخلی با وزن‌های مدل اصلی ندارند، امکان چینش و لایه‌بندی چند کنترل‌نت به‌صورت هم‌زمان وجود دارد. برای نمونه، کاربر می‌تواند یک کنترل‌نت نقشه عمق را برای کنترل چیدمان پس‌زمینه تعریف کرده و هم‌زمان کنترل‌نت دیگری را برای تنظیم دقیق فرم ایستادن سوژه به کار ببندد.[1][3]

مهندسی کانولوشن‌های صفر اطمینان می‌دهد که تلاقی این شروط چندگانه تخریب‌کننده نخواهد بود. هر کنترل‌نت به‌سادگی داده‌های ساختاری خود را به بلوک‌های دیکودر مدل مبنا اضافه می‌کند؛ ساختاری که امکان آفرینش صحنه‌های لایه‌بندی‌شده و پیچیده را به دور از هرج‌ومرج پرامپت‌نویسی سنتی محقق ساخته است.[2][4]

در نهایت، کانولوشن‌های صفرمسئله انطباق و کنترل فضایی را حل کردند. این دستاورد به روشنی اثبات کرد که یک مدل بزرگ منجمد می‌تواند به‌راحتی توسط شبکه‌ای فرعی هدایت شود، مشروط بر آنکه نقطه پیوند میان این دو، کار خود را در سکوت مطلقِ ریاضی آغاز کند.[2][4]