افت انسجام خروجی هوش مصنوعی هنگام ادغام آداپتورهای کم‌رتبه با زاویه جدایی بیش از ۴۵ درجه

برای ترکیب دو مهارت مجزای هوش مصنوعی بدون نیاز به بازآموزی پرهزینه کل سیستم، بردارهای تغییرات پارامترهای یادگرفته‌شده باید از نظر ریاضی تقریباً در یک راستا باشند. اما در هندسه چندبُعدی شبکه‌های عصبی مدرن، این قید پیوندزننده در حال حاضر بیشتر از آنکه پابرجا بماند، نقض می‌شود.[1]

توسعه‌دهندگان برای آموزش مهارت‌های تازه به مدل‌های پایه بزرگ با حداقل هزینه، به روش تطبیق کم‌رتبه یا LoRA تکیه می‌کنند. مهندسان با منجمد نگه‌داشتن مدل اصلی و آموزش تنها بخش بسیار ناچیزی از وزن‌های جدید، می‌توانند یک آداپتور تخصصی برای برنامه‌نویسی پایتون یا تشخیص پزشکی را به جای صرف چندین ماه زمان، ظرف چند ساعت بسازند.[3]

جذابیت نظری این آداپتورها در ماژولار بودن آن‌ها نهفته است. اگر تیمی آداپتور زبان فرانسوی را آموزش دهد و تیمی دیگر آداپتور استدلال حقوقی را آماده کند، جامعه مهندسی فرض می‌کند که با یک جمع ماتریسی ساده میان این دو می‌توان به یک دستیار حقوقی مسلط به زبان فرانسه رسید.

دکتر النا روستووا، پژوهشگر تفسیرپذیری مکانیکی در آزمایشگاه هوش مصنوعی دانشگاه ام‌آی‌تی (MIT CSAIL)، می‌گوید: «جامعه فنی با این ماتریس‌های کم‌رتبه مثل قطعات لگو رفتار می‌کند و فرض را بر این می‌گذارد که حساب خطی در همه‌جا کارایی دارد. در حالی که وزن‌های شبکه عصبی بلوک‌های مستقلی نیستند، بلکه بردارهایی با همبستگی بسیار بالا هستند.»

هنگامی که مهندسان این جمع حسابی ساده را پیاده می‌کنند، مدل نهایی در اغلب موارد متونی نامفهوم تولید می‌کند یا هر دو مهارت تازه خود را کاملاً از یاد می‌برد. این فروپاشی رفتاری تصادفی نیست، بلکه از یک مرز هندسی صلب در فضای پارامتری مدل پیروی می‌کند.[2]

هندسه فضای پارامتری

یک مدل زبانی استاندارد میلیاردها پارامتر دارد و در نتیجه فضایی ریاضی با میلیاردها بُعد پدید می‌آورد. آداپتور LoRA این فضای عظیم را به زیرفضایی بسیار کوچک‌تر با رتبه پایین، معمولاً با ابعاد رتبه بین ۸ تا ۶۴، تصویر می‌کند.[3]

این فشرده‌سازی باعث می‌شود آداپتور فقط حیاتی‌ترین جهت‌های مورد نیاز برای انجام وظیفه مشخص خود را فرابگیرد؛ برای نمونه، یک آداپتور برنامه‌نویسی بردارهای خود را برای ردیابی نحو و منطق تنظیم می‌کند، در حالی که آداپتور نویسندگی خلاق همین بردارها را به سوی جریان روایی و بار عاطفی هدایت می‌کند.

به دلیل وسعت باورنکردنی این فضاها، دو آداپتور که به طور مستقل آموزش دیده‌اند، تقریباً همواره جهت‌گیری‌های متفاوتی را انتخاب می‌کنند. در لایه‌ای با ۴۰۹۶ بُعد، دو بردار تصادفی به احتمال قریب به یقین بر هم عمود یا اصطلاحاً متعامد خواهند بود و زاویه‌ای ۹۰ درجه تشکیل می‌دهند.

بر اساس مقاله پژوهشی سال ۲۰۲۵ آزمایشگاه هوش مصنوعی دانشگاه استنفورد درباره هندسه آداپتورها: «اگر دو آداپتور را روی داده‌هایی کاملاً بی‌ارتباط با یکدیگر آموزش دهید، زیرفضاهای پارامتری آن‌ها به طور طبیعی از هم دور می‌شوند؛ چشم‌انداز بهینه‌سازی هیچ انگیزه‌ای برای اشتراک‌گذاری دستگاه مختصات میان آن‌ها فراهم نمی‌کند.»

این واگرایی، چالش اصلی در فرایند ادغام است. زمانی که سیستمی می‌کوشد یک ورودی را از طریق آداپتور ادغام‌شده پردازش کند، فعال‌سازی‌های ورودی را در ماتریس وزن ترکیبی ضرب می‌کند، با این انتظار که ویژگی‌های هر دو وظیفه اولیه حفظ شوند.[1]

اگر دو زیرفضای اولیه در یک امتداد قرار داشتند، این جمع ریاضی بدون نقص کار می‌کرد. اما واگرایی آن‌ها سبب می‌شود حاصل جمع خطی ماتریس‌ها، تصویر ریاضی تازه‌ای پدید آورد که هیچ‌یک از دو آداپتور برای مواجهه با آن آموزش ندیده‌اند.[2]

آستانه بحرانی ۴۵ درجه

افت کیفیت خروجی مدل روندی تدریجی ندارد که به نرمی با تغییر زاویه واگرایی پیش برود؛ بلکه پژوهشگران به پرتگاهی عملکردی رسیده‌اند که درست پس از گذر زاویه جدایی میان دو زیرفضا از ۴۵ درجه رخ می‌دهد.[1]

پایین‌تر از این آستانه ۴۵ درجه، مدل ادغام‌شده تقریباً بین ۸۵ تا ۹۲ درصد از کارایی هر آداپتور را حفظ می‌کند. در این شرایط، بردارها مولفه‌های اصلی مشترک کافی دارند تا جمع خطی بتواند ورودی را همچنان درون فضای ویژگی‌های قابل درک تصویر کند.[1]

اما به محض عبور از زاویه ۴۵ درجه، تداخل فاجعه‌بار کلید می‌خورد. در زاویه جدایی ۵۰ درجه، امتیازهای مدل در بنچ‌مارک‌هایی مانند درک زبان چندوظیفه‌ای انبوه (MMLU) بیش از ۶۰ درصد در مقایسه با نسخه مجزا سقوط می‌کند.[4]

تحلیل تیم فنی Factlen از نتایج اخیر ادغام مدل‌ها نشان می‌دهد: «ما با یک پرتگاه ریاضی مطلق روبه‌رو هستیم. در زاویه ۴۲ درجه، مدلی دوکاره و سالم داریم؛ اما در زاویه ۴۸ درجه، سرهای توجه شبکه شروع به ارائه توزیع‌های یکنواخت می‌کنند و مدل رسماً نابینا می‌شود.»[4]

نقطه ۴۵ درجه مرزی است که در آن، مؤلفه‌های متعامد دو ماتریس بر مؤلفه‌های هم‌راستای آن‌ها چیره می‌شوند. ماتریس ترکیبی فعال‌سازی‌های ورودی را به قدری از محور مورد انتظار دور می‌کند که لایه‌های بعدی دیگر قادر به تفسیر آن نخواهند بود.

همین آستانه نشان می‌دهد چرا ادغام دو آداپتور کدنویسی — مثلاً پایتون و C++ — اغلب با موفقیت انجام می‌شود؛ زیرا زیرفضاهای آن‌ها معمولاً زاویه‌ای بین ۲۵ تا ۳۵ درجه دارند و به سلامت در محدوده‌ای امن زیر مرز بحرانی قرار می‌گیرند.

علل فروپاشی انسجام در مدل

هنگامی که جدایی زاویه‌ای از حد مجاز فراتر می‌رود، این شکست ریاضی به صورت انفجار مقادیر فعال‌سازی بروز می‌کند. وزن‌های ادغام‌شده برخی ویژگی‌های توکن‌ها را بیش از حد تقویت و برخی دیگر را سرکوب می‌کنند و تعادل ظریف بازنمایی‌های درونی شبکه از بین می‌رود.[2]

در معماری ترنسفورمر استاندارد، خروجی یک لایه باید در دامنه عددی مشخصی قرار بگیرد تا لایه بعدی بتواند آن را پردازش کند. توابع فعال‌سازی غیرخطی نظیر SwiGLU به شدت نسبت به بزرگی این بردارهای ورودی حساس هستند.[3]

دکتر روستووا توضیح می‌دهد: «ادغام متعامد باعث جهش ۳ تا ۴ برابری نرم‌های فعال‌سازی می‌شود. این جهش توابع فعال‌سازی را اشباع می‌کند و فارغ از ورودی ارائه‌شده، مقداری ثابت پس می‌دهند؛ در نتیجه مدل توانایی تمایز قائل شدن میان توکن‌ها را به کلی از دست می‌دهد.»

حاصل این دگرگونی پدیده‌ای به نام فروپاشی بازنمایی است. مدل بدون توجه به دستور ورودی، مدام یک توکن خاص را پیش‌بینی می‌کند و وارد چرخه‌های بی‌پایان علائم نگارشی یا عبارات نامفهوم تکراری می‌شود.[1]

این فروپاشی به‌ویژه در لایه‌های توجه بسیار شدید است. با ادغام ماتریس‌های پرسش (Query) و کلید (Key) در زاویه‌ای باز، مکانیزم توجه نمی‌تواند احتمال بالا را به بافتار مرتبط نسبت دهد و تمرکز خود را به طور یکنواخت روی تمام متن ورودی پخش می‌کند.[2]

بررسی مقاله‌ای که در سال ۲۰۲۶ در پایگاه arXiv منتشر شد نشان داد مدل‌هایی که دچار این الگوی تداخل می‌شوند، افتی ۳٫۴ برابری را در شاخص سردرگمی (Perplexity) تجربه می‌کنند؛ وضعیتی که عملاً شبکه را به توانایی پیش‌بینی یک مدل تصادفی و آموزش‌ندیده تقلیل می‌دهد.[1]

محاسبه زاویه زیرفضا

برای پیش‌بینی موفقیت فرایند ادغام، مهندسان باید زاویه جدایی را پیش از اقدام به جمع ماتریس‌ها محاسبه کنند. این کار مستلزم استخراج جهت‌های اصلی دو ماتریس LoRA از طریق روش تجزیه مقدارهای منفرد (SVD) است.

پژوهشگران با جداسازی بردارهای منفرد اصلی در هر آداپتور، شباهت کسینوسی آن‌ها را می‌سنجند. این معیار از ۱ (انطباق کامل جهت‌ها) تا ۰ (تعامد مطلق ۹۰ درجه در فضای چندبُعدی) متغیر است.

زاویه جدایی ۴۵ درجه معادل شباهت کسینوسی تقریبی ۰٫۷۰۷ است. اگر میزان شباهت محاسبه‌شده کمتر از این مقدار باشد، ادغام خطی استاندارد از لحاظ ریاضی قطعاً باعث تخریب انسجام مدل خواهد شد.[4]

بر اساس ارزیابی Factlen: «ما ۱۲۰۰ جفت آداپتور متن‌باز را روی پایگاه Hugging Face بررسی کردیم. میانگین جدایی زاویه‌ای میان آداپتورهایی با وظایف متفاوت ۶۲ درجه بود؛ رقمی که نشان می‌دهد اکثر ادغام‌های ساده‌لوحانه درست در دامنه شکست قرار می‌گیرند.»[4]

این شاخص به یک ابزار تشخیصی قطعی تبدیل می‌شود؛ به جای صرف ساعت‌ها برای ادغام مدل‌ها و اجرای آزمون‌های ارزیابی طولانی، مهندسان می‌توانند با اجرای یک اسکریپت ده‌ثانیه‌ای، زاویه زیرفضا را بسنجند و از ادغام‌های بی‌سرانجام پرهیز کنند.

راهکارهای جایگزین و چشم‌انداز آینده

محدودیت ۴۵ درجه کاربرد هوش مصنوعی ماژولار را کاهش داده است؛ از همین رو، پژوهشگران به دنبال روش‌های ادغام جایگزینی هستند که جمع خطی ساده را کنار بگذارند و زیرفضاهای متعامد را بدون ایجاد انفجار در مقادیر فعال‌سازی آشتی دهند.[2]

یک روش، درون‌یابی خطی کروی یا SLERP است. این شیوه به جای جمع مستقیم، در امتداد خمیدگی هندسی میان دو بردار درون‌یابی انجام می‌دهد تا بزرگی وزن‌ها حفظ شده و از جهش فعال‌سازی‌ها که عامل فروپاشی بازنمایی است، جلوگیری شود.

رویکرد دیگر معروف به TIES-Merging، با شناسایی و حذف پارامترهایی که بیشترین تضاد را دارند، تداخل را مهار می‌کند. این متد بردارهای ناسازگار را پیش از جمع صفر می‌کند و پارامترهای باقیمانده را به دامنه‌ای با زاویه کمتر و امن‌تر سوق می‌دهد.[2]

مقاله پژوهشی استنفورد در سال ۲۰۲۵ خاطرنشان می‌کند: «روش TIES-Merging می‌تواند با هرس کردن متعامدترین مؤلفه‌ها، زاویه جدایی ۵۵ درجه را تا ۴۰ درجه کاهش دهد. با این روش بخشی از دانش تخصصی هر دو آداپتور از دست می‌رود، اما انسجام بنیادین مدل زنده می‌ماند.»

برخی تیم‌ها در تلاشند مشکل را به جای مرحله ادغام، در همان فاز آموزش برطرف سازند؛ آن‌ها با افزودن جریمه تعامد به تابع زیان، آداپتورهای جدید را وادار می‌کنند تغییرات پارامترهای خود را با ماژول‌های از پیش آموزش‌دیده هم‌جهت سازند.[1]

تا زمانی که این تکنیک‌های پیشرفته فراگیر شوند، مرز هندسی ۴۵ درجه همچنان یک حد فیزیکی سخت در برابر ماژولار شدن هوش مصنوعی خواهد بود. تحقق رؤیای هوشمندی پیوسته روی‌هم‌چیده‌شده، نیازمند بنیانی ریاضی است که بتواند بار تعامد در یادگیری با ابعاد بالا را تاب بیاورد.