حل تداخل پارامترها: ادغام مدل‌ها چگونه بدون نیاز به آموزش مجدد، قابلیت‌های هوش مصنوعی را ترکیب می‌کند

موفقیت در ترکیب چندین مدل هوش مصنوعی در یک مدل واحد، نه به نحوه آموزش آن‌ها، بلکه به چگونگی حل‌وفصل اختلافات ریاضی آن‌ها در طول فرآیند ادغام بستگی دارد. وقتی دو مدل زبانی تخصصی با هم تلفیق می‌شوند، پارامترهای بنیادین آن‌ها اغلب در جهت‌های مخالف هم کشیده می‌شوند؛ پدیده‌ای که به عنوان «تداخل علامت» شناخته می‌شود. حل این تداخل، همان گام حیاتی است که تعیین می‌کند آیا مدل نهایی بهترین ویژگی‌های مدل‌های والد خود را به ارث می‌برد یا به یک نویز نامفهوم فرو می‌پاشد.[1]

سال‌هاست که رویکرد استاندارد برای انتقال دانش جدید به یک مدل زبانی بزرگ، «تنظیم دقیق نظارت‌شده» (supervised fine-tuning) بوده است. این فرآیند، وزن‌های داخلی یک مدل را برای تخصص یافتن در یک دامنه خاص مانند ریاضیات، کدنویسی یا ترجمه چندزبانه تنظیم می‌کند. تفاوت بین وزن‌های از پیش آموزش‌دیده اولیه و وزن‌های تنظیم‌شده جدید، در یک ساختار ریاضی به نام «بردار وظیفه» (task vector) ثبت می‌شود.[4]

اگرچه تنظیم دقیق روشی مؤثر است، اما متخصصانی منزوی خلق می‌کند. یک مدل ۷ میلیارد پارامتری که برای کدنویسی پایتون تنظیم شده است، نمی‌تواند به راحتی دانش خود را با مدل مشابهی که برای استدلال پزشکی تنظیم شده به اشتراک بگذارد. از لحاظ تاریخی، ترکیب این قابلیت‌ها نیازمند یادگیری چندوظیفه‌ای بود؛ فرآیندی به شدت پرهزینه که در آن یک مدل واحد روی تمام مجموعه داده‌ها به طور همزمان از نو آموزش می‌دید. ادغام مدل‌ها با انجام عملیات جبری مستقیم روی خود بردارهای وظیفه، این گلوگاه را به طور کامل دور می‌زند.[5]

مانع اصلی بر سر راه این رویکرد جبری، تداخل پارامترهاست. از آنجا که مدل‌های تنظیم‌شده معماری پایه‌ای یکسانی دارند، بردارهای وظیفه آن‌ها با هم هم‌پوشانی پیدا می‌کنند. اگر یک مدل یاد گرفته باشد که برای بهبود توانایی کدنویسی خود، وزن خاصی را به میزان ۰٫۰۰۲ افزایش دهد و مدل دیگر یاد گرفته باشد که دقیقاً همان وزن را برای بهبود لحن گفتگوی خود به میزان ۰٫۰۰۱ کاهش دهد، میانگین‌گیری ساده آن‌ها باعث افت هر دو قابلیت می‌شود.[1]

پژوهشگران دو نوع متمایز از تداخل را شناسایی کرده‌اند: مقادیر پارامتری اضافی و تضادهای علامت. افزونگی به این دلیل رخ می‌دهد که تنظیم دقیق اغلب تغییرات میکروسکوپی و غیرضروری در هزاران وزن ایجاد می‌کند که کمک معناداری به مهارت جدید مدل نمی‌کنند. تضادهای علامت نیز زمانی به وجود می‌آیند که دو مدل بر سر جهت بنیادین یک پارامتر خاص (مثبت یا منفی بودن آن) با هم اختلاف نظر داشته باشند.[1]

برای حل این مشکل، محققان در اواخر سال ۲۰۲۳ الگوریتم TIES-Merging (مخفف هرس، انتخاب علامت و ادغام) را معرفی کردند. الگوریتم TIES ابتدا با هرس کردن بردارهای وظیفه به مسئله افزونگی می‌پردازد؛ به این شکل که به‌روزرسانی‌هایی با کمترین اندازه را دور می‌ریزد و آن پارامترها را به مقادیر اولیه از پیش آموزش‌دیده خود بازمی‌گرداند. معمولاً تنها ۲۰ درصدِ برتر از مهم‌ترین تغییرات وزنی حفظ می‌شوند و بدین ترتیب نویزهای ریاضی پاک‌سازی می‌گردند.[1]

در گام بعدی، TIES به سراغ تضادهای علامت می‌رود. برای هر پارامتری که مدل‌ها بر سر جهت به‌روزرسانی آن اختلاف دارند، این الگوریتم یک رأی‌گیری بر اساس اندازه انجام می‌دهد. سپس یک جهت غالب (مثبت یا منفی) را انتخاب کرده و هرگونه به‌روزرسانی از مدل‌هایی که در جهت مخالف می‌کشند را کنار می‌گذارد. در نهایت، تنها پارامترهایی را که با علامت انتخاب‌شده هم‌راستا هستند میانگین‌گیری می‌کند تا اطمینان حاصل شود که مدل ادغام‌شده یک به‌روزرسانی منسجم و یکپارچه دریافت می‌کند.[1]

این حل تداخل را می‌توان با تکنیکی به نام DARE (مخفف رها کردن و مقیاس‌بندی مجدد) که در اوایل سال ۲۰۲۴ منتشر شد، بیش از پیش تقویت کرد. روش DARE سطح شدیدی از افزونگی را در مدل‌های تنظیم‌شده آشکار می‌کند. این روش به طور تصادفی تا ۹۰ درصد (و در برخی موارد ۹۹ درصد) از پارامترهای بردار وظیفه یک مدل را رها کرده و آن‌ها را روی صفر تنظیم می‌کند، و سپس ۱۰ درصد باقی‌مانده را به نسبت مقیاس‌بندی می‌کند تا اندازه ریاضی کلی بازنمایی‌ها حفظ شود.[2]

هنگامی که DARE به عنوان یک فیلتر اولیه پیش از TIES-Merging اعمال می‌شود، نتایج به شدت هم‌افزا هستند. با حذف تصادفیِ بخش اعظم به‌روزرسانی‌ها پیش از آنکه مدل‌ها حتی با هم تعامل کنند، احتمال تضادهای علامت به شدت کاهش می‌یابد. پارامترهای باقی‌مانده سپس می‌توانند به شکلی بی‌نقص هم‌راستا و ادغام شوند و مدل یکپارچه‌ای را تولید کنند که با وجود کار با تنها کسری از به‌روزرسانی‌های اولیه، قابلیت‌های تخصصی والدین خود را حفظ کرده است.[2]

دموکراتیزه شدن این تکنیک‌ها، چشم‌انداز هوش مصنوعی متن‌باز را به طور بنیادین تغییر داده است. چارچوب‌هایی مانند MergeKit که در سال ۲۰۲۴ منتشر شدند، الگوریتم‌هایی نظیر TIES و DARE را بدون نیاز به سخت‌افزارهای سازمانی در دسترس توسعه‌دهندگان قرار داده‌اند. به جای اجاره خوشه‌های گران‌قیمت پردازنده‌های گرافیکی برای آموزش چندوظیفه‌ای، متخصصان می‌توانند چک‌پوینت‌های تخصصی را از مخازنی مانند Hugging Face دانلود کرده و آن‌ها را به صورت محلی با هم تلفیق کنند.[5]

اثربخشی این رویکرد اکنون به طور سیستماتیک توسط مجموعه‌های ارزیابی مانند MergeBench که توسط محققان دانشگاه ایلینوی اربانا-شمپین در سال ۲۰۲۵ معرفی شد، رصد می‌شود. این بنچمارک، مدل‌های ادغام‌شده را در ۵ دامنه کلیدی ارزیابی می‌کند. همان‌طور که نویسندگان آن اشاره کردند: «ادغام مدل‌ها با ترکیب مدل‌های تخصصیِ تنظیم‌شده از طریق حساب پارامتری، جایگزینی مقیاس‌پذیر برای آموزش چندوظیفه‌ای ارائه می‌دهد و استقرار کارآمد را بدون نیاز به آموزش مشترک یا دسترسی به تمام داده‌های وظایف امکان‌پذیر می‌سازد.»[3]

نتایج تجربی از MergeBench به طور پیوسته نشان می‌دهند که تکنیک‌های ادغام بیش از ۹۰ درصد از عملکردی را که معمولاً نیازمند آموزش مجدد کامل چندوظیفه‌ای است، بازیابی می‌کنند. به طور خاص، در مدل‌های پایه ۸ میلیارد و ۹ میلیارد پارامتری، نرخ بازیابی به طور قابل‌توجهی بالاتر از نسخه‌های کوچک‌ترِ ۲ میلیارد پارامتری است. توانایی حل ریاضی تداخل پارامترها تضمین می‌کند که پیشرفت جمعی توسعه غیرمتمرکز هوش مصنوعی می‌تواند در قالب سیستم‌های یکپارچه تجمیع شود و موانع سنتی محاسبات و سرمایه را به طور کامل دور بزند.[3]