چگونه یادگیری مقابله‌ای بازنمایی‌های چندوجهی را بر فراز شکاف وجهی به هم می‌رساند

برای آنکه یک هوش مصنوعی بتواند تصویری از یک سگ را به کلمه مکتوب «سگ» متصل کند، هم پیکسل‌های بصری و هم حروف متنی باید به یک دستگاه مختصات ریاضی کاملاً یکسان ترجمه شوند. اگر داده‌های بصری و متنی در یک فضای هندسی مشترک قرار نگیرند، مدل اساساً از درک نسبت و پیوند میان آن‌ها عاجز خواهد ماند.[1]

این فضای برداری مشترک، مرز بنیادین و قید اصلی هوش مصنوعی چندوجهی مدرن است. در سال ۲۰۲۱، پژوهشگران ساختاری به نام پیش‌آموزش زبان-تصویر مقابله‌ای یا کلیپ (CLIP) را معرفی کردند؛ چارچوبی که مشخصاً مهندسی شده بود تا این دو داده با ماهیت‌های متفاوت را به سوی هم‌راستایی ساختاریافته‌ای سوق دهد که برای ماشین‌ها قابل پردازش باشد.[2][3]

این معماری بر پایه یک عملیات ریاضی به نام زیان آنتروپی متقاطع متقارن کار می‌کند تا تصاویر و متون متناظر را به سمت یکدیگر بکشد و هم‌زمان جفت‌های نامرتبط را از هم دور سازد. چنین سازوکاری به مدل می‌آموزد که مفاهیم را در میان وجوه مختلف تشخیص دهد، بدون آنکه نیازی به دسته‌بندی‌های برچسب‌خورده انسانی یا دستورالعمل‌های صریح داشته باشد.[1][2]

با این حال، زمانی که پژوهشگران طی سال‌های بعد ساختار هندسی حاصل از این فرآیند را بررسی کردند، به یک ناهنجاری ساختاری پیوسته و تامل‌برانگیز برخوردند: حتی زمانی که مدل یک تصویر را با توصیف دقیق آن جفت می‌کند، بازنمایی‌های بصری و متنی همچنان با فاصله‌ای قابل اندازه‌گیری از یکدیگر جدا می‌مانند؛ فاصله‌ای که اصطلاحاً «شکاف وجهی» نامیده می‌شود.[4][6]

معماری یک فضای مشترک

این سازوکار در مرحله آموزش از دو شبکه عصبی مستقل و موازی بهره می‌گیرد. یک رمزگذار تصویر وظیفه پردازش داده‌های بصری را برعهده دارد و هم‌زمان یک رمزگذار متن، توصیف مربوطه را پردازش می‌کند؛ هر دو شبکه در فاز نخست استخراج ویژگی کاملاً مستقل از یکدیگر فعالیت می‌کنند.[2]

هر رمزگذار ورودی خود را به یک بردار ریاضی چگال فشرده می‌کند که بسته به اندازه مدل، معمولاً ۵۱۲ یا ۱۰۲۴ بعد دارد. این بردارها در نقش مختصاتی عمل می‌کنند که معنای بنیادین تصویر یا متن را در گستره‌ای چندبعدی و پهناور نقطه‌گذاری می‌نمایند.[1][3]

تیم تحقیقاتی سازنده این معماری در مقاله پایه خود در سال ۲۰۲۱ خاطرنشان کردند: «رمزگذار متن و رمزگذار تصویر به‌صورت توامان آموزش داده می‌شوند تا شباهت کسینوسی میان تعبیه‌های تصویر و متن برای جفت‌های واقعی موجود در هر دسته بیشینه شود.»[3]

از آنجا که این دو رمزگذار ساختارهای کاملاً متفاوتی دارند — تصاویر اغلب با ترنسفورمر بصری و متن با مدل‌های خودتوجهی پوشش‌دار تحلیل می‌شوند — پیش از آغاز فرایند آموزش، بردارها طبیعتاً در نقاط کاملاً متمایزی از فضای ریاضی جای‌گیری اولیه پیدا می‌کنند.[4]

بدون سازوکاری برای کاهش این فاصله اولیه، مختصات خروجی رمزگذار تصویر هیچ نسبت هندسی مستقیمی با مختصات خروجی رمزگذار متن برقرار نمی‌کرد. از این رو، سیستم نیازمند یک نیروی جاذبه ساختاری بود تا مفاهیم مرتبط را به سمت یکدیگر بکشاند.[6][7]

زیان آنتروپی متقاطع متقارن

این نیروی کشش همان «یادگیری مقابله‌ای» است که از طریق تابع زیان آنتروپی متقاطع متقارن اعمال می‌شود. به جای تلاش برای فهماندن ماهیت تجریدی تصویر به مدل، این تابع صرفاً می‌آموزد که کدام بردار متنی باید در نزدیک‌ترین موقعیت به بردار تصویری در فضای مشترک بنشیند.[1][2]

در جریان آموزش، سیستم برای افزایش کارایی، دسته‌های بسیار حجیمی از داده‌ها را به‌طور هم‌زمان پردازش می‌کند. یک دسته استاندارد شامل ۳۲,۷۶۸ جفت تصویر-متن مجزا است که ماتریس بزرگی از ترکیبات احتمالی پدید می‌آورد و مدل ناچار است تمامی آن‌ها را ارزیابی و امتیازدهی کند.[3]

تابع زیان، شباهت کسینوسی تمام جفت‌های ممکن درون این دسته بزرگ را محاسبه می‌کند. این تابع به شبکه برای بالا بردن امتیاز شباهت ۳۲,۷۶۸ جفت صحیح که در قطر ماتریس ارزیابی قرار گرفته‌اند، پاداش عددی می‌دهد.[1]

هم‌زمان، این تابع متقارن شبکه را به‌خاطر شباهت ثبت‌شده در بیش از یک میلیارد جفت نادرست دیگر به‌شدت جریمه می‌کند. این فشار دوگانه هر دو رمزگذار را ناچار می‌سازد تا نگاشت مختصاتی خود را پیوسته بازتنظیم کنند.[3]

تقارن این تابع تعیین‌کننده است چرا که فضا را هم‌زمان از هر دو جهت بهینه‌سازی می‌کند؛ تابع زیان تضمین می‌نماید که بردار یک تصویر مشخص به بردار متنی صحیح نزدیک باشد و متقابلاً بردار متن نیز در نزدیک‌ترین حالت به همان بردار تصویر متناظر قرار گیرد.[2][7]

با اعمال این فشار ریاضی روی ۴۰۰ میلیون جفت تصویر-متن گردآوری‌شده از وب، مدل بازنمایی مشترک و فوق‌العاده پایداری کسب می‌کند. فضای حاصل به سیستم امکان می‌دهد تا مفاهیم بصری را که پیش‌تر صراحتاً برای آن‌ها آموزش ندیده تشخیص دهد و به اصطلاح قابلیت انتقال زیروشات را محقق سازد.[1][3]

کشف شکاف وجهی

با وجود فشار شدیدی که تابع زیان مقابله‌ای وارد می‌آورد، ساختار هندسی نهایی کاملاً یکدست نیست. پژوهشگرانی که در سال ۲۰۲۲ نقشه این فضا را تحلیل کردند دریافتند که بردارهای تصویر و متن در مدل نهایی آموزش‌دیده هرگز روی هم منطبق نمی‌شوند.[4][6]

این دو وجه به جای درهم‌آمیختن پیوسته، ساختارهای موازی متمایزی درون فضای مشترک شکل می‌دهند. پژوهشگران مطالعه عیب‌یابی ۲۰۲۲ پس از ترسیم این مختصات گزارش دادند: «مشاهدات ما نشان می‌دهد تعبیه‌های این دو وجه در دو ناحیه کاملاً مجزا مستقر شده‌اند.»[4]

این جدایی از نظر ریاضی با عنوان «شکاف وجهی» اندازه‌گیری می‌شود و معمولاً فاصله کسینوسی حدود ۰.۸۲ میان مرکز خوشه تصاویر و مرکز خوشه متون ثبت می‌کند؛ شکافی که در مدل‌هایی با ابعاد مختلف و با مجموعه‌داده‌های گوناگون آموزش همچنان پابرجاست.[6][7]

پژوهشگران ریشه شکل‌گیری این فاصله را مستقیماً به مقداردهی تصادفی اولیه وزن‌های شبکه‌های عصبی نسبت دادند. از آنجا که رمزگذارهای تصویر و متن با وزن‌های متفاوتی آغاز به کار می‌کنند، خروجی‌های پایه آن‌ها از همان گام‌های نخستین آموزش نواحی ناهمسانی از فضای چندبعدی را اشغال می‌نمایند.[4][7]

تابع زیان مقابله‌ای این خوشه‌ها را به یکدیگر نزدیک‌تر می‌سازد، اما فرایند بهینه‌سازی به محض اینکه فواصل نسبی برای تشخیص جفت‌های درست درون یک دسته کفایت کند متوقف می‌شود. این تابع هیچ‌گاه الزام صریحی برای هم‌پوشانی کامل مختصات دو وجه مطالبه نمی‌کند.[6]

علاوه بر این، ویژگی‌های آماری متمایز پیکسل‌ها و توکن‌های متنی، اشکال هندسی اساساً متفاوتی پدید می‌آورند؛ تصاویر داده‌هایی پیوسته و چگال دارند، در حالی که متون مجزا و پراکنده هستند و همین امر سبب می‌شود بردارها در فضای مشترک مخروط‌هایی با اشکال هندسی متفاوت ایجاد کنند.[5][7]

چرا این شکاف مانع کارکرد مدل نمی‌شود؟

به‌طور شهودی به نظر می‌رسد وجود یک شکاف هندسی چشمگیر میان مختصات بصری و متنی مانع از جفت‌سازی صحیح آن‌ها توسط مدل شود. با این وجود، مدل پایه سال ۲۰۲۱ موفق شد در ارزیابی معیار استاندارد ایمیج‌نت (ImageNet) به دقت زیروشات چشمگیر ۷۶.۲ درصدی دست پیدا کند.[3]

موفقیت سیستم از آنجا ناشی می‌شود که یادگیری مقابله‌ای به جای مختصات مطلق، تماماً بر فواصل نسبی متکی است. تا زمانی که بردار کلمه «سگ» نسبت به بردار تصویر «گربه»، به بردار تصویر «سگ» نزدیک‌تر باشد، اندازه مطلق فاصله از شکاف وجهی اهمیتی در نتیجه ایجاد نمی‌کند.[4][6]

زیان آنتروپی متقاطع متقارن ساختار درونی این دو خوشه مجزا را کاملاً موازی و هماهنگ می‌سازد؛ به نحوی که فاصله میان تصویر سگ و تصویر گربه، دقیقاً بازتاب‌دهنده فاصله میان واژه سگ و واژه گربه در خوشه موازی متن است.[1][7]

هنگامی که مدل می‌کوشد تصویری کاملاً ناشناخته را طبقه‌بندی کند، بردار بصری را روی پهنه این شکاف می‌اندازد و نزدیک‌ترین بردار متنی متناظر را می‌یابد. ساختار هندسی موازی تضمین می‌کند که نزدیک‌ترین بردار متنی تقریباً همیشه همان برچسب صحیح باشد.[2][4]

پژوهشگران در بررسی سال ۲۰۲۵ روی پویایی یادگیری چندوجهی مقابله‌ای اشاره کردند: «شکاف وجهی لزوماً عملکرد ارزیابی زیروشات را تضعیف نمی‌کند، چرا که شباهت‌های نسبی دست‌نخورده باقی می‌مانند.» این یافته تایید می‌کند که انطباق موازی برای وظایف بازیابی استاندارد کاملاً کارآمد و کافی است.[7]

کاهش فاصله در مدل‌های نسل آینده

اگرچه این شکاف مانعی برای طبقه‌بندی پایه بدون آموزش پیشین به شمار نمی‌رود، اما توانایی مدل را برای انجام استدلال‌های چندوجهی عمیق‌تر و پیچیده‌تر محدود می‌سازد؛ برای نمونه، تولید مستقیم تصویر بر پایه بردار تعبیه متن مستلزم فضایی بسیار یکپارچه‌تر و منسجم‌تر از نظر هندسی است.[5][7]

تلاش‌های مهندسی اخیر تمرکز ویژه‌ای بر پر کردن صریح این شکاف داشته‌اند. پژوهشگران با به‌کارگیری سازوکارهای تنظیم ضریب دما و لایه‌های پروجکشن غیرخطی تلاش کرده‌اند تا این دو خوشه را در مراحل پایانی فرآیند آموزش وادار به انطباق مطلق و نزدیک‌تر کنند.[4][5]

راهکارهای دیگر با بهره‌گیری از معماری‌های یکپارچه ترنسفورمر که هم پیکسل‌ها و هم توکن‌ها را از مسیرهای عصبی کاملاً یکسانی عبور می‌دهند، مسئله مقداردهی اولیه ناهمگون را دور می‌زنند. این پردازش مشترک از ابتدا مانع پدید آمدن شکاف می‌شود و هم‌ارزی ساختاری ایجاد می‌کند.[7]

با وجود این، اجبار دو وجه به هم‌پوشانی کامل گاه می‌تواند عملکرد کلی مدل را کاهش دهد. ساختار هندسی مجزای خوشه‌های تصویر و متن به حفظ ظرافت‌های معنایی ویژه هر نوع داده کمک می‌کند و این جدایی تا حدی کارکردی سودمند پیدا می‌نماید.[6][7]

زیان آنتروپی متقاطع متقارن همچنان ابزار استاندارد صنعت برای هم‌راستاسازی داده‌های چندوجهی است. شناخت دقیق چگونگی شکل‌دهی هندسی این تابع به فضاهای بازنمایی هوش مصنوعی، پایه‌ای حیاتی برای توسعه سیستم‌هایی است که بتوانند دنیای فیزیکی را بدون اصطکاک در کنار زبان انسان بفهمند.[1][2][5]